Animate Anyone 2

人物動画ジェネレーターとして、このモデルは動きだけでなく場面の文脈に頼る。初代Animate Anyoneからの最大の変化がここだ。背景を条件付き入力のまとまりとして扱い、駆動動画から環境を引き出し、それを占めるようにキャラクターを生成する。人物は場面と光や床の接地、奥行きを共有し、上に乗るのではなくなる。グリーンバックの効果を手作業で組んだことがある人には、ここが最も時間を節約できる部分だ。

軽量な物体ガイドが、キャラクターが関わる物体の特徴を引き出し、空間ブレンドでノイズ除去の段階に混ぜ込む。実際にはこれが、カップを包む手やスケートボードに乗る足を保つ。物体との接触は画像から動画の作品が最も崩れる箇所であり、見せられる動画かそうでないかを分ける点だから、この機能は効く。

体の輪郭にぴったり合わせるのではなく、キャラクターと周囲の空間の関係を示すマスクを使う。標準的なシルエットに収まらない体、たとえば違う姿勢や比率にも寛容になる。人物の縁をきれいに切りにくいときにも役立つ。髪が乱れていたり服がなびいたりするときによく起きる。

単一の固定した骨格では扱えない、より多様な動きに対応するため、姿勢の変調という方法を使う。ひねりや大きな手足の動き、素早い方向転換がよく通る。これで動かせる動画の幅が広がり、落ち着いた会話のカットから全身のダンスまでこなす。

根幹では、Animate Anyone 2は駆動動画の動きをキャラクター画像に移す。画像の見た目はそのままに、動画から動きを借りる。顔と服の一貫性はフレームを通じて保たれる。Animate Anyoneの系列全体がここを土台にしている。

出力は元画像の背景でも動画の背景でも生成できる。画像の背景は人物を自分の場に残したいときに合い、動画の背景は参照動画の場面にキャラクターを落とす。パラメータは1つだけで、モデルが環境をどこまで再現するかを決める。

同じ能力はAnimateAnyone gen2モデルとして提供され、型番はanimate-anyone-gen2、Alibaba Cloud Model Studio経由で使う。呼び出しは非同期のタスクで、タスクを投げてから結果を問い合わせる。アニメーションAPIはAlibaba Cloudの特定リージョンにあり、キーは登録したリージョンに結び付くので、リージョンをまたぐ呼び出しは失敗する。