sync.so

sync-3は同社の現行最上位モデルで、旧来のツールが破綻するカットを想定して作られている。極端な角度、横顔、複数の話者、暗い照明、手ぶれ映像に対応し、最大4K・60fpsで出力する。難しい素材での取り直しと手作業の修正を減らすのが狙いで、ここは多くのリップシンクツールが崩れるところだ。

モデルは1つではなく、ラインアップで提供される。lipsync-2は一般用途をこなし話し手のスタイルを保ち、lipsync-2-proは速度を顔の細部と引き換えにし、lipsync-1.9は単純なクリップ向けの高速版、react-1は短く表情豊かなカットを狙う。毎回最上位を選ぶのではなく、作業に合うモデルを選べる。

全モデルが1つのAPIの背後で動き、映画、ポッドキャスト、ゲーム、さらにはアニメーションまで、実在の素材で機能する。公式のPython・TypeScript SDKがあれば、統合は研究プロジェクトではなく短いコードで済む。Webhookが処理中の状態を通知するので、ループで問い合わせ続けなくてよい。

全員がコードを書くわけではない。Webスタジオはブラウザで動画を上げ、音声を足し、タイムラインを覚えずに同期を生成できるツールだ。パイプライン作業向けにはAdobe PremiereプラグインとComfyUIノードがあり、同じモデルを編集者が普段使うソフトに組み込める。

内蔵のダビングフローは音声を29言語に変換し、リップシンクの工程自体はこの一覧に縛られないので、音声を用意できる言語ならほぼどれでも吹き替えられる。同社はボイスクローンにも対応し、上位プランほど保持できるカスタムボイスの数が増える。

Scale以上ではバッチ処理が1回の呼び出しで最大500件の生成をこなす。シーズン丸ごとやカタログ全体をさばくスタジオには重要な点だ。同時実行数もプランに応じて広がり、Hobbyistの1件からScaleの15件まで、長時間のレンダリングがキューを止めない。

声は録るのではなく生成できる。Sync Labsはテキスト読み上げとカスタムボイスのクローンに対応し、クリエイタープラン以上では自前のTTS APIキーを持ち込める。台本が1か所で同期済みの演技になり、別の音声ベンダーが要らない。