ai-rap

「人工知能ラッパー」でDE DE MOUSEさんとコラボしました

どうもプログラマーの貴田です。

2016/5/21と5/28、原宿Galaxy銀河系にて行われた３回目のHACKist展「DIGITAL DIVREZ」内の、DE DE MOUSEさんとのコラボレーションイベントように「人工知能ラッパー」をつくりました。

 

「人工知能ラッパー」ってどんなの？

「人間のラッパーさんのように、即興でラップできる人工知能を作りたい」という大目標を掲げつつも。

今回はその超初期段階として、DE DE MOUSEさんの曲のビートに合わせ、ぼくがライブ中に与えた任意のフレーズに沿って、即興でリアルタイムに以下をジェネレートするシステムを作りました。

  • 歌詞 : ライム（韻）を踏んだリリック
  • 歌いまわし : フロウ
  • VJ : 映像

 

どんなライムやリリックを生成してくれるの？

こんかい、歌詞パートでは2種類の歌詞生成アルゴリズムを用意しました。

１つ目は、「シンプルにライム（韻）を踏んだワードを繰り返す」というもの。たとえば、「あんこ」と入力すると、こんな感じの結果がでます。

 

2つ目は、「ライム（韻）を踏んだリリックを生成する」というもの。例えば、「”筋肉の歌”を作詞して！」と人工知能にお願いすると、こんな感じの結果がでます。

それっぽい雰囲気のフレーズがでるときもありますが、意味不明なはちゃめちゃなフレーズが出るときもあるところがかわいいところでした。

 

２つ目のアルゴリズムはこんな感じでした。

  • テーマを入力（筋肉の歌）
  • そのテーマをmecabで名詞だけ抽出（筋肉、歌）
  • word2vecで関連語取得（筋肉、全身、神経、腹筋、筋力、股関節、歌、唄、作詞、声、主題歌）
  • その関連ワードをもとに、過去8万曲程度の歌詞を形態素解析したものを、マルコフ連鎖でつなげなおしてフレーズ生成（強烈な腹筋）
  • そのフレーズに韻を踏ませる（饒舌なスッピン）

 

どんなフロウだったの？

フロウは人間と比べる全然できてないのですが、このパートでは、max/mspやsay・soxコマンドを使って、以下のようなことをやりました。

  • バース（小節）の頭に、フレーズの頭が来るようにテンポ同期
  • フレーズレベルの音程、速さ、リバーブ、エコーなどのサウンドエフェクト調整

ラップにはフレーズのはじまりを小節の頭からあえてちょいずらしするテクニックや、フレーズの中で韻を踏んでる部分だけ強調して発話するテクニックなど、いろいろ奥が深いので、そのあたりの再現もっと頑張りたいところでした。

 

ライブは、実際、どんな感じだったの？

本番のときの映像撮ってなかったので、togetter的にエゴサーチ結果貼り付けさせて頂きます！

#HACKist #dedemouse #AI

Amari.さん(@amari_amamam)が投稿した動画 –

 

今回、作った子の裏キャラ設定として、以下のようなのを考えておりました。

  • 文脈ははちゃめちゃだけど、語彙力はすごい
  • おっちょこちょいのフィメール（女子）ラッパー
  • 「ヘイ」「ヨー」などテンポをとるフレーズは人工知能女子らしく「ピ ピ ピ」て言わせました

 

やってみた感想と、次回出演機会募集のお知らせ

人工知能によるラッパーさんの再現はまだまだ到底むずかしくて、言葉遊びを楽しむレベルのものになってしまった感じがありますが、終わったあとに、お客さんから「おもしろかったー」て声が聞こえてきたのは嬉しかったです。

わたし達としては初めての試みでしたが、１回やってみて改善点もたくさん見えたので、これで終わるのはもったいないと思っていて、今後もこの子を育てていきたいのですが、いまのところ、次回出演予定がありません！笑

なので、出演オファーやコラボのご相談など、もしありましたら、このページのお問い合わせメニューから、ご連絡ぜひお待ちしております！

※ 参考にさせて頂いたもの

ラップを学んだり、過去に「コンピュータにラップさせる」にチャレンジされていた方の事例を参考にさせていただきました。

みんなで人工知能ラッパーを作って、人工知能ラッパー同士でのバトルとか勃発すると面白そうです😋😋😋

人工知能ラッパー制作チーム クレジット /

  • 企画・プログラム：貴田達也
  • ビジュアルプログラミング：登山元気、菅沼慎平
  • アートディレクション：竹尾梓

おまけ映像

PC内での実行結果です。現場でターミナル開いてコマンドを打って本当にリアルタイムにワード生成してました。