AI生成音楽アプリ「Riffusion」、バイラルな成功で400万ドルの資金調達に成功

RiffusionというAIによる音楽生成アプリが、開発者のSeth ForsgrenとHayk Martirosによってリリースされ、バイラルな成功を収めた結果、400万ドルの資金調達を実現した。このアプリは、音声ではなく音声のイメージを使用して音楽を生成することができる。直感に反するかもしれないが、これは実際に機能している。

その手法には制約があったが、RiffusionはForsgrenとMartirosに多くの注目を集めた。AIによる音楽生成技術に対する好奇心（および論争）が関わっているため、これは驚くべきことではない。Forsgrenによれば、数百万人の人々がRiffusionを試し、Meta、Google、TikTokの親会社であるByteDanceなどのビッグテック企業の研究論文に引用された。
注目は投資家からも集まった。

今年、ForsgrenとMartirosはRiffusionを商業化することを決定し、The Chainsmokersという音楽デュオのアドバイスを受けながら、Greycroftをリードとする400万ドルのシードラウンドをクローズした。South Park CommonsとSky9も参加している。

Riffusionは、昨年のRiffusionの改良版である新しい無料アプリもリリースしている。このアプリでは、ユーザーは歌詞と音楽スタイルを説明することで、公開または友人と共有できる「リフ」を生成することができる。

Riffusionのパワーアップ版は、Riffusionチームによってゼロからトレーニングされたオーディオモデルによって動作している。オリジナルのRiffusionの背後にあるモデルと同様に、新しいモデルもスペクトログラム（音声の振幅を時間とともに示す視覚的な表現）で微調整されている。

ForsgrenとMartirosは、音楽のスペクトログラムを作成し、それらの画像に「ブルースギター」、「ジャズピアノ」などの関連する用語をタグ付けした。モデルにこのコレクションを与えることで、「特定の音がどのように見えるか」や、テキストのプロンプト（「休日用のローファイビート」、「ケニアのマンボ」、「ミシシッピデルタのフォーキーブルースソング」など）に基づいてそれらを再作成または組み合わせる方法を教えた。

ForsgrenとMartirosはRiffusionのチームの拡大と補完的な新しい生成的AI製品の開発に注力していると述べている。
ただし、Forsgrenは、The Chainsmokersのようなアーティストとより緊密に連携して、その技術を彼らの創造的なプロセスにどのように活用できるかを検討していることも示唆した。