Applio

1本のファイルを変換する機能が、ほとんどの人の入口になる。WAVを読み込み、最初のパスでピッチを0にしておけば、言葉とリズムを保ったまま、エンジンが対象の声でクリップを再合成する。バッチモードでは同じモデルと同じ設定をフォルダ全体へ繰り返し適用でき、テイクが何十本も溜まったときに効いてくる。

リアルタイムのワークスペースは、マイク入力を小さなブロックに区切って処理し、低遅延で変換後の音声を返す。チャンクサイズ、クロスフェード、追加コンテキストの3つが、遅延と安定性のバランスを決める。デスクトップ版にはパススルーのホットキーとトレイ操作もあるため、配信を止めずに地声へ戻せる。

ここでは既存の声を写すのではなく、録音から声を作る。前処理、特徴量の抽出、学習、インデックス生成までを、自動の一括実行でも、自分で繰り返せる個別ステップでも進められる。デスクトップ版はアーキテクチャが対応する範囲で32〜48kHzのサンプリングレートを扱い、HiFi-GANとRefineGANのボコーダも選べる。

Applioは台本をEdge TTSへ送って合成し、その音声をRVCモデルに通す。TTSの声が言語と読み方を決め、モデルが話し手のアイデンティティを担う。この分担のおかげで、対応するTTSの声を選びさえすれば、同じモデルで英語もスペイン語も日本語も読ませられる。

変換には複数の処理を重ねられる。長いファイルの分割、音階へのオートチューン、目標ピッチの指定、ノイズ除去、フォルマントシフト、そしてリバーブ、ディレイ、リミッター、コーラス、コンプレッサー、ビットクラッシュを含む後処理チェーンだ。別の編集ソフトへ戻る手間が省ける。ただし何段も同時にかけると、どこが効いたのか分かりにくくなる。

エンジンはMITライセンスで、リポジトリには推論、バッチ変換、テキスト読み上げ用のコマンドラインインターフェースが含まれる。繰り返しの変換は十数回のクリックではなくシェルコマンド1行になり、同じコードを大きな研究プロジェクトへ組み込むこともできる。

エンジンは1つ、入口は2つ。デスクトップアプリはワークスペース、ジョブ履歴、セットアップ診断をまとめ、Gradio版はブラウザのタブで動くため既存のローカル環境やクラウドノートブックの流れに合う。エンベッダとインデックスを組で保てば、音声モデルは両者の間で使い回せる。