Zyphra Zonos
Zyphra · 音声・言語
ZonosはZyphraのオープンウェイトな音声合成モデルで、声のクローン、感情の調整、多言語の読み上げに対応する。ローカルでもAPI経由でも動かせる。
Zyphra Zonos について
What Is Zyphra Zonos
Zonosは、オープンな基盤モデルに取り組むAIラボZyphraが作った音声合成モデルだ。このオープンソース音声合成は書いたテキストを音声に変え、短い参照音声から話し声をまねる。参照用のクリーンな音声は10〜30秒ほどで足りる。重みはHugging FaceでApache 2.0ライセンスの下に公開されており、自分のマシンで動かしても、ZyphraのplaygroundやAPIを呼んでもいい。
Zonos v0.1には2種類ある。標準的なTransformerモデルと、TransformerにMambaの状態空間設計を組み合わせたハイブリッドだ。どちらも16億パラメータで、20万時間を超える多言語音声で学習している。Zyphraによれば、このハイブリッドはこれら2つのアーキテクチャを組み合わせた初のTTSモデルだという。出力は44kHzで、競合の多くが返す24kHzを上回る。
注意したいのは、これがモデルであって、すぐ使える消費者向けアプリではない点だ。Pythonパッケージを入れて重みをダウンロードし、速度を求めるならGPUも用意する。Apache 2.0ライセンスは法的・倫理的な責任も利用者側に置く。同意なく他人の声をクローンする行為は多くの国で違法で、ライセンスがそれを守ってくれるわけではない。
Getting Started
- ZonosのPythonパッケージとPyTorchを入れ、Hugging FaceからTransformerかハイブリッドの重みを取得する。
- クローンしたい話者の10〜30秒の参照音声を読み込み、モデルに話者埋め込みを作らせる。
- テキストを書き、言語や話速、ピッチ、感情といった条件を設定する。
- 音声を生成してWAVで保存する。ブラウザでよければ同梱のGradioインターフェースを開く。
- 設定なしで試したいなら、playground.zyphra.com/audioのホスト版を触ってみるといい。
AIツール情報
Zyphra Zonosの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 個人開発者：重みを落として自分のハードで動かせば、APIの文字数課金を避けられる。
- ポッドキャストやオーディオブックの制作者：数秒の参照音声で、長い台本でもナレーターの声を一定に保てる。
- 音声アシスタントの開発者：感情と話速の調整で、平板な一本調子ではなく文脈に合う語り口を作れる。
タスク
- 特定の人物の声をクローンする：短い音声を渡すとモデルが音色をかなり正確になぞる。テスト用の声優を雇う手間が減る。
- 多言語のナレーション：この多言語音声合成は英語、日本語、中国語、フランス語、ドイツ語を話すので、1つの流れで複数の言語トラックをそろえられる。
- 感情の込めた読み上げ：淡々とした読みでは伝わらないとき、喜びや悲しみ、怒り、恐れを調整できる。
シーン
- 音声プロダクトの試作：有料のTTSベンダーに決める前に、ローカルで一連の流れを試せる。
- 動画ナレーションのローカライズ：同じ台本を複数言語で生成しつつ、声は1つに保てる。
- 非公開の音声パイプライン構築：モデルがオフラインで動くため、音声が手元のマシンから出ない。
主な機能
ゼロショット声クローン
声クローンモデルであるZonos TTSは、10〜30秒ほどの参照音声から声をまねる。追加の学習は要らない。クリーンな音声とテキストを渡すと、その話者が台本をどう読むかを予測する。Zyphraによれば、短いサンプルのクローンは一聴で説得力があると評価者に映ったが、長い段落ではリズムがずれることがある。
音声プレフィックス入力
話者埋め込みに加えて、テキストと一緒に音声プレフィックスを渡せる。これでささやきのような、埋め込みだけでは再現しにくい話し方をモデルに促せる。似ているかどうかより、細かな語り方そのものを重視したいときに役立つ。
感情と音質の調整
条件設定では話速、ピッチの変動、最大周波数、音質を調整できる。喜びや怒り、悲しみ、恐れといった感情も設定可能だ。キャラクターの掛け合いや芝居がかった朗読を作る人にとって、この調整幅こそ、固定の声しか出せない生成器ではなくZonosを選ぶ理由になる。
多言語の読み上げ
Zonos v0.1は英語、日本語、中国語、フランス語、ドイツ語を扱う。20万時間を超える学習データでは英語が大部分を占めるため、仕上がりが最も細かいのは英語で、他の言語は使えるが磨き込みは少ない。本来なら複数のツールが要る多言語プロジェクトには十分だ。
2つのモデルアーキテクチャ
Transformerのバックボーンと、Transformer-Mambaのハイブリッドから選べる。Zyphraは、ハイブリッドがこれらの設計を組み合わせた初のTTSモデルだと主張する。どちらもパラメータの規模は同じなので、選択は自分のハードと内容でどちらがどう振る舞うかで決まる。
セルフホストでの運用
Apache 2.0の重みは完全にオフラインで動き、同梱のDockerファイルがセットアップを担う。Zyphraによれば、モデルはRTX 4090で約2倍のリアルタイム係数、つまり計算1秒あたり音声2秒を生成する。ローカルで動かせば音声は非公開のままで、継続的な利用課金もなくなる。
メリットとデメリット
メリット
- Apache 2.0のオープンウェイトで、オフラインで動かせて中身も確認できる。
- 数秒の音声からでもゼロショットのクローンがしっかり効く。
- 話速、ピッチ、感情を1か所で細かく調整できる。
- 44kHzの出力は、多くの競合が返す24kHzを上回る。
デメリット
- 導入にはPython、PyTorch、高速生成にはGPUが要り、非技術者にはハードルが高い。
- 英語以外は使えるが、明らかに見劣りする。
- クローンには法的・倫理的なリスクが実際に伴い、その責任は利用者側にある。
- ホスト版のAPIとプレイグラウンドは別料金で、無料でローカル運用するなら自分のハードを管理することになる。
よくある質問
Zonosはテキストを音声に変え、短い音声から目的の声をクローンする。ナレーション、オーディオブック、音声アシスタントなど、安定した声や独自の声が要るプロジェクトで使われる。
関連コンテンツ
Zyphra Zonosに関連するツール、スキル、記事を探す。
Zyphra Zonosの代替ツール
Prosp
Prosp · ライティング · 音声・言語 · マーケティングProspは、代理店や営業チーム向けに作られたAI LinkedInアプローチツールだ。見込み客ごとに自分の声でメッセージとボイスメッセージを書き、相手が本当に返信するように仕向ける。アカウントをつなぎ、リードを見つけ、AIにパーソナライズされたメッセージを大量に下書きさせて送信させる。すべて1つの受信トレイから行える。大量のアウトバウンドを回す人向けにできている。それがこの製品の売り込みのすべてだ。それでも各接点は人間らしく感じられなければならない。
Wordly AI Translation
Wordly · 音声・言語 · 生産性向上Wordly AI Translationは、会議・カンファレンス・イベント向けに作られたリアルタイムAI翻訳・字幕プラットフォームだ。60以上の言語でライブ翻訳、字幕、文字起こし、要約を提供し、参加者は専用ヘッドセットを使わず、QRコードを読み取るかリンクを開くだけで参加できる。Zoom、Microsoft Teams、Google Meet、Webexと連携し、セッションごとに人間の通訳を雇わずに多言語対応したい組織に向く。それだけのことだ。
Musicful
Musicful AI · 音声・言語 · 動画Musicfulは、テキストを数分で音楽に変えるAI音楽ジェネレーター兼AIミュージックビデオ作成ツール。テキストの指示、歌詞、あるいは口ずさんだメロディーを渡すと、ボーカルと楽器が入った完成したトラックを返す。AI楽曲ジェネレーターとしても機能し、自分が作った曲からミュージックビデオを生成し、AIカバーツールと開発者向けAPIも備える。ウェブブラウザとAndroidアプリで動くので、パソコンで曲を始めてスマホで続きを進められる。