Orpheus TTS
Canopy Labs · 音声・言語
Orpheus TTS は Llama 3B をベースにした Canopy Labs のオープンソース音声合成モデルで、ゼロショットで声を複製し、感情タグを付け、低遅延で音声を配信する。
Orpheus TTS について
About
Orpheus TTS とは
Orpheus TTS は Canopy Labs が公開したオープンソースの音声合成モデルだ。土台は Llama 3B で、従来の音響パイプラインではなく、大規模言語モデルの手法を音声合成に持ち込んでいる。出てくる音声はリズム、イントネーション、感情が自然で、コードとモデルの重みも公開されているため誰でも自分で動かせる。
考え方は単純だ。古い音声システムは、テキスト解析、タイミング、音声生成といった各段階を別々の部品で処理していた。Orpheus はこれを、言語モデルがもともと得意な生成タスクとして扱う。モデルは言語モデルが単語を生み出すのと同じように音声トークンを生み出すことを学び、その捉え方が、著者いわく一部のクローズドソースを凌ぐこともある創発的な振る舞いを引き出した。
手に入るのは開発者向けの道具であって、完成したアプリではない。一文を打ち込んでファイルを保存できるようなサイトはない。パッケージを入れて、モデルをホストし、自分の製品に組み込む。リクエストごとの課金なしで音声出力が欲しいならこの柔軟さは効くが、そのぶんハードウェアと環境は自分で面倒を見ることになる。
はじめかた
- リポジトリをクローンするか、pip install orpheus-speech でパッケージを入れる。内部では高速推論のために vllm を使っている。
- OrpheusModel クラスから canopylabs/orpheus-tts-0.1-finetune-prod などのモデルを読み込む。
- 話者名と感情タグを任意で付けたテキストを書き、generate_speech を一覧にある声で呼び出す。
- 返ってきた音声チャンクを WAV ファイルに書き出すか、アプリへ直接流してリアルタイム再生する。
- 自分の声を使うなら、Hugging Face のデータセットを用意して微調整スクリプトを走らせる。話者ごとに 300 例ほどを目安にする。
AIツール情報
Orpheus TTSの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- アプリに音声を足したい開発者：Orpheus TTS は自分のマシンで動くので、リクエストごとに払わず音声出力を加えられる。快適な速度には Python の腕と GPU が要る。
- 特定の声が欲しい作り手：ナレーターや動画編集者は、複製した声かプリセットの声で台本を読ませられる。きれいな参照録音を用意したい。背景ノイズはそのまま出力に乗る。
- リアルタイムの会話を作る人：ストリーミング設計は、素早い音声応答が要る音声アシスタントやチャットエージェントに向く。出力を安定させるため繰り返しの設定を調整する前提で臨みたい。
タスク
- 短い見本から声を複製する：数秒の参照音声を渡すと、事前学習済みモデルが新しいテキストでその話者をまねる。テキストと音声の組を多く渡すほど、合致が安定する。
- ナレーションに感情を足す：笑い、ため息、息をのむ音などのタグで語り口を導ける。再学習は不要で、対話や語りが平板に聞こえにくくなる。
- 複数言語の音声を生成する：研究版は共通のプロンプト形式で複数言語をカバーする。発音は言語ごとに違うので、使うものは試しておく。
- プライバシーのためにローカルで動かす：自分でホストすれば音声は外部サーバーに出ない。内容が機微なときに効く。そのぶんハードウェアは自分で管理する。
シーン
- 音声アシスタントの対話ループを動かす：モデルを音声認識と大規模言語モデルにつなげば、話し言葉のチャットが組める。低遅延が会話を生きたものにする。
- オーディオブックや長い台本を読ませる：長い区間でも同じ声を保つ。ただ、とても長いファイルは生成に時間がかかる。
- 動画を別言語に吹き替える：同じ台本を第二の言語で生成し、元の調子を保つ。映像のコマに合わせる作業は手作業になる。
主な機能
人間らしい音声
Orpheus TTS は、著者いわくトップクラスのクローズドソースに匹敵するか凌ぐイントネーション、感情、リズムを生み出す。テキストの手がかりを拾い、書かれ方が示す場所にため息や笑いを差し込む。これが最大の売りであり、プロジェクトがオープンソースの話題に上がった理由でもある。手がかりが明確な整ったテキストほど結果が良い。
ゼロショット声複製
事前学習済みモデルは、微調整なしで声を複製できる。プロンプトにテキストと音声の組を一つ以上渡すと、新しいテキストでその話者をまねる。渡す組が多いほど正しい声に安定して寄る。何時間もの録音が要った旧来のシステムとの違いはここにある。
感情とイントネーションの誘導
笑い、くすくす笑い、ため息、咳、鼻をすする音、うめき、あくび、息をのむ音といった単純なタグで語り口を導く。モデルはこれらをテキストの一部として読み、その周りに音声を組み立てる。対話、オーディオブック、人間らしく聞こえてほしいチャットボットでは、この制御が大きく効く。対応するタグは多言語版では言語ごとに異なる。
低遅延ストリーミング
ストリーミングの遅延はおよそ 200 ミリ秒で、入力をストリーミングすると 100 ミリ秒近くまで下がると資料にある。音声アシスタントのようなリアルタイム用途では、この差が会話の自然さを決める。パッケージは生成されたそばから音声チャンクを流すので、全体ができる前に再生を始められる。
複数のモデルサイズ
英語の微調整版と事前学習版に加え、1B、400M、150M パラメータの小型版も計画されている。小さいモデルは品質を少し譲って速度と軽いハードウェアを取る。非力なマシンに載せるときに効いてくる。ロードマップには今後のリリースとして並んでいる。
自分の声で微調整
リポジトリには学習とデータ処理のスクリプトがあり、土台のモデルを自分の話者に合わせられる。50 例ほどで結果が出はじめ、最良を狙うなら話者ごとに 300 例が目安だとチームは勧める。手順は Trainer と Transformers で言語モデルを微調整するのと似ており、機械学習の素養があると楽だ。
いくつもの実行方法
Orpheus TTS は Python パッケージ、llama.cpp を使う GPU なしの経路、そしてプロジェクトが推奨する推論パートナー Baseten での専用デプロイで動かせる。コミュニティ版は OpenAI 互換の API と Gradio の Web 画面を足している。出し方に合う道を選べばいい。
メリットとデメリット
メリット
- クローズドソース勢と競える自然な感情とリズムで話す
- 短い見本からゼロショットで声を複製でき、微調整は不要
- 約 200 ミリ秒の遅延で音声を配信し、リアルタイムアプリに向く
- 重みもコードもオープンで、自分で動かせる
- 感情タグで語り口を細かく制御できる
デメリット
- 公式のホスト型 API はなく、自分でホストして維持する必要がある
- 高速推論には GPU が要り、土台モデルのファイルも大きい
- 仕上がりは参照クリップ次第で、ノイズの多い音声は結果を落とす
- 多言語のそろい踏みはまだ研究プレビューの段階
よくある質問
Orpheus TTS はテキストを自然な音声に変え、選んだ声をまねる。開発者は音声アシスタント、ナレーション、吹き替え、音声モデルの研究に使う。単体の製品ではなく、より大きなプロジェクトに組み込む部品だ。
関連コンテンツ
Orpheus TTSに関連するツール、スキル、記事を探す。
Orpheus TTSの代替ツール
Foley
Hanamori Labs, LLC · 音声・言語 · 生産性向上 · AIアシスタントFoleyは音声ToDoリストだ。話した一文をプロジェクト・日付・時刻まで入ったタスクとして整理し、その後はすでにあるリストを軸に一日の順番を組み立てる。
HireKey
HireKey · 音声・言語 · 生産性向上 · 学習HireKey は元テック業界リクルーターが作った AI 求職コパイロット。求人適合分析、職務経歴書のカスタマイズ、面接練習、応募管理を一つの画面にまとめる。
Fluence
Yay Software (Yannick Huchard) · ライティング · 音声・言語 · 生産性向上Fluence は Android 向けのドキュメントリーダーだ。PDF、EPUB、Word 文書、ウェブ記事を読み上げ、発話中の文を画面で追わせ、本文についての質問にも端末上で答える。