Music.AI
Music AI · 音声・言語
Music.AIはMoisesの開発チームによる法人向けAI音声プラットフォームだ。ステム分離、文字起こし、声の変換、マスタリングなど50以上のモジュールを、ビジュアル画面、API、組み込みSDKから使える。
Music.AI について
About
Music.AIとは
Music.AIは、練習アプリMoisesを手がける企業の法人向け事業だ。Moisesは数千万人規模のミュージシャンに使われており、その音声モデルを部品として切り出したのがこのプラットフォームである。ギターだけを抜き出す、録音から歌詞を取り出す、ミックスをマスタリングする、カタログ全体をAI生成の声がないか走査する。部品は単体で動き、複数をつなげば作業フローになる。AIで音源を分離することが、研究室の技ではなく日常の作業になったのだ。
狙いは実務の効率化にある。スタジオやメディア企業は、ステム分離、メタデータ、文字起こしをそろえるために3社から4社の製品を組み合わせ、その間の接続を自前で維持してきた。Music.AIは50以上のモジュールを1アカウントにまとめ、請求もジョブの待ち行列も1つで済ませる。CyaniteのメタデータやAudible Magicのコンテンツ識別といった外部ツールも、自社モデルと並んで同じ画面に置かれている。
守備範囲は広くない。作詞作曲やテキストからの楽曲生成は扱わない。サビを打ち込めば曲が出てくる入力欄はない。すでに音声ファイルを持ち、それを大量に処理、タグ付け、整理したいチーム向けの運用基盤だ。個人でも従量課金で試せるが、モジュールごとの分単価は長いカタログでは効いてくる。
使い始めるまで
- music.aiで登録し、ダッシュボードを開く。従量課金のアカウントには48時間の一時ストレージと同時実行2件が付く。
- 設定のアプリケーション画面でAPIキーを発行する。コードを書かないなら、そのままOrchestratorで最初のジョブを組めばよい。
- 処理するファイルを指定する。公開済みの署名付きURL、直接アップロード、クラウドストレージのリンクのいずれかを使う。一般的な音声形式と動画形式はほぼ受け付ける。
- music-ai/stems-vocals-accompanimentのようなテンプレートを選ぶか、モジュールを自分でつないで流れを作る。
- ジョブを送信し、IDで進捗を確認してから、ステム、書き起こし、メタデータをダウンロードする。
AIツール情報
Music.AIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- アプリ開発者：練習、編集、カラオケ機能を作るチームは、1本のREST APIでステム分離と音程ツールを手に入れられる。自前でモデルを学習する必要はない。処理した分だけ費用がかさむ点は予算に入れておきたい。
- レーベルとカタログ保有企業：大人数のスタッフが大きな音源庫をまとめて文字起こしし、タグを付け、合成音声の混入を確認できる。規模が膨らんだ段階で法人向けの数量価格に切り替わる。
- 放送局とポストプロダクション：セリフ、音楽、効果音を実用レベルまで分けられるので、サウンドトラックの組み直しや多言語版の制作がしやすい。処理のたびに分単位の料金が発生する。
- 個人プロデューサー：無料枠で数件試せる。ステムの品質を確かめてから有料プランに進めばよい。
タスク
- ミックスをボーカル、ドラム、ベース、ギター、キーボード、ストリングスに分け、リミックスや練習用の音源を作る。
- 完成した音源から歌詞、コード、曲のセクションを取り出し、単語や音節の単位で同期させる。
- 公開前にAI生成の声や合成音声が入っていないか調べる。
- リリース用のマスタリングを行う、あるいは参照曲に音量と音色を合わせる。
- 歌詞と音声を80以上の言語に翻訳し、各地域向けの版を作る。
シーン
- 動画投稿サイトが、公開前にユーザー投稿を著作権楽曲と合成音声の両面から検査する。
- 音楽教室が速度を落としてループ再生できる練習ツールを用意し、生徒が自分の楽器だけを消せるようにする。
- ポストプロダクションが、映画のサウンドトラックを複数国の吹き替えと字幕に合わせて整える。
主な機能
17種類以上のステム分離
同社はステム分離のSDRスコアが最も近い競合より15.8%高いと公表している。ミックスからボーカル、ドラム、ベース、ギター、キーボード、ピアノ、ストリングス、管楽器を抜き出せる。キック、スネア、タム、ハイハット、シンバルまで細かく分けることも可能だ。映画向けのモードでは、セリフ、音楽、効果音を分ける。
APIとコード不要のOrchestrator
どのモジュールも、音声文字起こしAPIも含めて同じRESTエンドポイントを通る。Orchestratorでブロックを並べて試したジョブは、作り直さずにコードへ移せる。APIは公開URLを受け取り、ジョブIDを返し、処理が終われば出力へのリンクを渡す。無料枠を含め、どのアカウントも初日からAPIを使える。
単語と音節まで合わせる文字起こし
歌詞と話し言葉は別のモデルで処理する。歌と会話では音の性質が違うためだ。出力にはタイムスタンプ、話者の分離、字幕用の音節単位の同期が含まれる。同社は単語誤り率がOpenAIより27.49%低いとしている。
声の変換と合成音声の検出
声の変換は、ある声の音色を別の演奏に重ねる機能だ。企業向けに専用の声セットも作れる。逆方向の機能として、AI音楽、AI音声、合成音声を判定するモジュールもそろう。権利管理の担当者は公開前の確認に使える。
ミックス、マスタリング、ノイズ処理
ミックスとマスタリングは独立したモジュールとして動く。1分0.5セント程度の基本ミキサーから、1分0.20ドルのAIマスタリングまで幅がある。エフェクトにはリミッター、ノーマライズ、ピッチシフト、残響除去、ノイズ抑制があり、録ったままの音源を別のソフトなしでリリース水準まで持っていける。
端末内で動く組み込みSDK
組み込みSDKは、ステム分離のモデルをスマートフォンやテレビなどの機器上で実行する。遅延が小さく、音声をネットワークに出さずに済む。完全オフラインでも、重い処理だけクラウドに回すハイブリッド構成でも動く。民生機器に音声機能を載せたい製品チーム向けの選択肢だ。
メリットとデメリット
メリット
- 50以上のモジュールが1アカウントに集まり、音声ベンダーを何社も掛け持ちして請求書を分ける手間が減る。
- モジュール単位の従量課金なので、試しの1件はたいてい1ドル未満で済む。
- 無料枠でもAPIが使えるため、支払う前に実際の出力を確認できる。
- 文字起こしに同期と話者分離が組み込まれており、字幕の手作業が減る。
- 端末側SDKがあるので、音声を機器の外に出せない案件にも対応できる。
デメリット
- 大きなカタログでは分単価が積み上がる。1000時間を複数モジュールにかけると4桁ドルに届く。
- テキストからの楽曲生成や作詞作曲はできない。創作には別のツールが要る。
- 無料枠の出力は48時間しか残らない。早めにダウンロードしないと消える。
- コードと歌詞の解析はクリーンな録音ほど精度が高い。歪みの強い素材や低音質の音源は、あとから人が確認する必要がある。
よくある質問
音声を大量に処理する基盤だ。ファイルをAIモジュールの流れに通すと、分離したステム、書き起こし、メタデータ、マスタリング済みのミックス、変換した声が返ってくる。運営元はミュージシャン向けアプリMoisesも開発している。
関連コンテンツ
Music.AIに関連するツール、スキル、記事を探す。
Music.AIの代替ツール
Foley
Hanamori Labs, LLC · 音声・言語 · 生産性向上 · AIアシスタントFoleyは音声ToDoリストだ。話した一文をプロジェクト・日付・時刻まで入ったタスクとして整理し、その後はすでにあるリストを軸に一日の順番を組み立てる。
HireKey
HireKey · 音声・言語 · 生産性向上 · 学習HireKey は元テック業界リクルーターが作った AI 求職コパイロット。求人適合分析、職務経歴書のカスタマイズ、面接練習、応募管理を一つの画面にまとめる。
Fluence
Yay Software (Yannick Huchard) · ライティング · 音声・言語 · 生産性向上Fluence は Android 向けのドキュメントリーダーだ。PDF、EPUB、Word 文書、ウェブ記事を読み上げ、発話中の文を画面で追わせ、本文についての質問にも端末上で答える。