F5 TTS
Shanghai Jiao Tong University (X-LANCE lab) · 音声・言語
F5-TTSは上海交通大学が公開したオープンソースの音声合成モデル。数秒の参照音声から声をクローンし、追加学習なしで複数言語を読み上げる。
F5 TTS について
What Is F5-TTS
F5-TTSは、上海交通大学のX-LANCE研究室が開発し、SWividプロジェクトとして公開した音声合成モデル。名前はFast、Flexible、Fine-grained TTSの頭文字で、やることは一つに絞られている。渡した声を使って、書かれたテキストを自然な音声に変える。AI音声合成はここ数年で大きく進み、この音声クローンモデルは手順を安くして、オープンソース音声合成の流れをさらに押し進めた。
このモデルは従来型の処理の流れではなく、flow matchingとDiffusion Transformerを組み合わせて動く。その設計により、古いシステムが頼っていた長さ予測、テキストエンコーダ、音素アライメントが不要になった。誰かが話す短いクリップを1つ入れると、その話者の声で新しい文章を読み上げる。
かつて声のクローンには数時間の録音と微調整が必要だった。F5-TTSはその工程を飛ばす。数秒から10秒ほどのクリーンな参照音声で足りるため、ゼロショット音声クローンと呼ばれる。コードは公開されており、自分で動かせる。
注意点は、これが開発者向けのツールであり、完成したアプリではないことだ。文章を打ち込めば音声をダウンロードできる公式サイトはない。自分でインストールし、自分でホストし、呼び出すスクリプトやUIを書く必要がある。
Getting Started
- Python 3.10以降を導入し、音声処理用にFFmpegを設定する。
- 仮想環境を作り、pip install f5-ttsを実行する。学習まで行うならリポジトリをクローンする。
- f5-tts_infer-gradioでGradioのWeb画面を起動するか、コマンドラインでf5-tts_infer-cliを使う。
- 参照音声ファイルをアップロードし、その文字起こしを添えて、読み上げたいテキストを入力する。
- 音声を生成し、できたファイルをダウンロードするか自分のプロジェクトへ流し込む。
AIツール情報
F5 TTSの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 製品に音声を足したい開発者
- 特定の声を使いたい制作者
- 音声モデルを研究する人
タスク
- 短い音声から声をクローンする
- 複数言語の音声を生成する
- オーディオブックや長いナレーションを作る
- 吹き替えと声の差し替え
シーン
- 音声アシスタントを試作する
- 動画を別言語にローカライズする
- クラウド費用なしでアプリにナレーションを足す
主な機能
ゼロショット音声クローン
F5-TTSは短い参照クリップから声を写し取る。学習も微調整も不要だ。数秒の明瞭な音声を指定し、対応する文字起こしを添えれば、その話者の声で新しい文章を読む。これが古いシステムとの分かれ目で、以前は数時間分のデータが必要だった。参照音声がクリーンなほど似方が上がる。
Flow MatchingとDiffusion Transformer
モデルはflow matchingにDiffusion TransformerとConvNeXt V2のテキスト精製器を組み合わせる。この構成により、以前の拡散モデルより少ないサンプリングステップで音声を生成でき、待ち時間が縮む。論文が示す推論のリアルタイム係数は0.15で、試したハードウェアでは再生より速く音声を作る。バッチ処理を回す人ほど、この差は積み上がる。
多言語出力と言語の切り替え
多言語TTSの設定一つで複数言語をまかない、同じ文中で言語を切り替えられる。台本が別言語に英語の用語を混ぜるときに役立つ。技術ナレーションではよくある。言語ごとに別モデルを用意する必要はない。発音は言語によって変わるので、使うものは自分で試す。
Swayサンプリングによる品質向上
Swayサンプリングは、生成中にモデルがflowのステップを選ぶ方法を変える推論時の工夫だ。再学習なしで音声の品質と安定性を高め、他のflow matchingモデルにも入れられると著者らは述べる。設定ファイルやCLIのサンプリング項目で制御する。自分の内容に合わせて調整すると効いてくる類のオプションだ。
長文向けの分割推論
長い台本は分割され、つなぎ直されることで、全体を通して声が安定する。これでオーディオブックの章や長いナレーションが現実的になる。一文ずつ処理する必要はない。モデルはセグメント間で一定のトーンを保つ。非常に長いファイルは書き出し時間を多めに見積もる。
ローカルでの学習と微調整
推論だけでなく、F5-TTSは自分のデータで回せる学習と微調整のコードも備える。Hugging Face Accelerateを使う経路と、視覚的な作業を好む人向けのGradio画面がある。独自の声や訛りを持つチームはベースモデルを調整できる。GPUと、学習ループに付き合う忍耐が要る。
いくつもの実行方法
F5-TTSは手軽な推論用のpipパッケージとして入れることも、全てを握るためにリポジトリをクローンすることも、Dockerイメージを引くこともできる。Gradioアプリはブラウザ画面を、CLIはスクリプト用途を担う。TritonとTensorRT-LLMによる常時起動のデプロイなら、単一のL20 GPUで遅延を約253ミリ秒まで下げられる。公開の仕方に合う道を選べばいい。
メリットとデメリット
メリット
- 数秒の音声から声をクローンでき、事前の微調整が要らない
- MITライセンスのオープンソースで、コードを読んで変えられる
- 1つのモデルで多言語と言語の切り替えをこなす
- ローカルで動くため、音声は自分のハードウェアに残る
- 学習、微調整、常時起動デプロイのツールを同梱する
デメリット
- 公式のホスト済みAPIがなく、ホストと保守は自分持ちになる
- 事前学習済みモデルはCC-BY-NCライセンスで、商用利用ができない
- 快適な速度にはそれなりのGPUが要り、モデルファイルも大きい
- 品質は参照クリップ次第で、ノイズのある音声は結果を悪くする
よくある質問
F5-TTSはテキストを音声に変え、選んだ声を模倣する。ナレーション、吹き替え、音声アシスタント、音声モデルの研究などで使われる。大きなプロジェクトに組み込む部品であり、単体の製品ではない。
関連コンテンツ
F5 TTSに関連するツール、スキル、記事を探す。
F5 TTSの代替ツール
Prosp
Prosp · ライティング · 音声・言語 · マーケティングProspは、代理店や営業チーム向けに作られたAI LinkedInアプローチツールだ。見込み客ごとに自分の声でメッセージとボイスメッセージを書き、相手が本当に返信するように仕向ける。アカウントをつなぎ、リードを見つけ、AIにパーソナライズされたメッセージを大量に下書きさせて送信させる。すべて1つの受信トレイから行える。大量のアウトバウンドを回す人向けにできている。それがこの製品の売り込みのすべてだ。それでも各接点は人間らしく感じられなければならない。
Wordly AI Translation
Wordly · 音声・言語 · 生産性向上Wordly AI Translationは、会議・カンファレンス・イベント向けに作られたリアルタイムAI翻訳・字幕プラットフォームだ。60以上の言語でライブ翻訳、字幕、文字起こし、要約を提供し、参加者は専用ヘッドセットを使わず、QRコードを読み取るかリンクを開くだけで参加できる。Zoom、Microsoft Teams、Google Meet、Webexと連携し、セッションごとに人間の通訳を雇わずに多言語対応したい組織に向く。それだけのことだ。
Musicful
Musicful AI · 音声・言語 · 動画Musicfulは、テキストを数分で音楽に変えるAI音楽ジェネレーター兼AIミュージックビデオ作成ツール。テキストの指示、歌詞、あるいは口ずさんだメロディーを渡すと、ボーカルと楽器が入った完成したトラックを返す。AI楽曲ジェネレーターとしても機能し、自分が作った曲からミュージックビデオを生成し、AIカバーツールと開発者向けAPIも備える。ウェブブラウザとAndroidアプリで動くので、パソコンで曲を始めてスマホで続きを進められる。