OmniHuman by ByteDance

OmniHumanはリグやモーションキャプチャースーツ、俳優を撮った動画ではなく、画像1枚から始める。縦横比も人物の写り方も問わないので、顔のアップ、腰から上の肖像、全身の写真がそのまま使え、事前の切り抜きは不要だ。体はバラバラにならず1つのまとまりとして動く。浮いた頭が硬い胴体に乗るのではない。作る側からすれば、手持ちのカットで始められることが多い。

モデルは音声を読み、口の動き以上のものを生む。この音声駆動リップシンクは全身を動かす。声がジェスチャーや姿勢、リズムに合った小さな待機動作を導く。歌唱にも対応し、高音やフレーズの間もこなす。動きは曲調に応じて変わる。単に口だけを動かすリップシンクフィルターとの違いはここにある。

混合した動作シグナルで訓練しているため、音声で止まらない。参照動画をたどって特定の身体動作をまねたり、音声と映像を混ぜて、声が演技を導きながら特定のジェスチャーなどの細部を制御したりできる。この柔軟さは、動作条件を別々の専用モデルに分けず、混ぜて訓練する方針から来ている。

1.5版は描画の前に動きを計画する推論ステップを足した。マルチモーダル大規模言語モデルが画像、音声、テキストプロンプトを読み、キャラクターが何をいつ行うかの構造化された計画を書き出す。描画側はその計画に従う。手紙を読むという一行が、手を伸ばして開いて目を通す一連の動きになり、場当たりのジェスチャーにはならない。チームはこの組み合わせをシステム1とシステム2と呼び、速い思考と遅い思考の心理学から用語を借りている。

プロンプトを書いてシーンを導ける。デモのプロンプトは、ゆっくりしたパンや手持ち風の撮影といったカメラワーク、レンズの方を向く、レンズに手を伸ばすといった動作をカバーする。モデルは指示に従いながらリップシンクを保つので、カメラが動いてもキャラクターは正しい言葉に口を合わせ続ける。カットを設計する人にとって、テキスト1行が画面の下書きになる。

OmniHuman-1.5は、各音声トラックを同じ画面の正しいキャラクターに届けることで、複数人がいるシーンを扱う。集団の会話やアンサンブルのカットは、別々のクリップをつなぐことなく成立する。様式化された入力にも対応し、カートゥーンや3Dキャラクターから本物の動物までこなす。人間の型を押し付けず、被写体ごとのスタイルに動きを合わせる。

1.5モデルは1分を超えるクリップを、途切れないカメラワークと複雑な相互作用つきで生成する。多くのアバターツールが数秒のループで止まるのを大きく超える長さだ。チーム自身のデモは、その長さにわたって動的な動きを見せており、ゆっくり流れる静止したポーズではない。長尺は語りに効く。シーンは数秒ごとに振り出しに戻るのではなく、呼吸する余地が要る。