DreamActor-M1 From ByteDance
ByteDance · 動画
DreamActor-M1はByteDanceのAI人物アニメーションモデルだ。参照写真1枚から、駆動動画の動きを写し取って人物を動かす。
DreamActor-M1 From ByteDance について
About
DreamActor-M1とは
DreamActor-M1は、ByteDance Intelligent Creationが手がけた人物画像アニメーションモデルである。同社の生成メディア研究を担うグループの成果だ。人物の参照写真1枚と駆動動画を渡すと、その人物が動画と同じように動く映像を組み上げる。出力では顔、体、そして人物の同一性が保たれ、ポーズや表情、カメラ角度だけが変わる。
このモデルが埋めるのは、これまでのツールが残してきた隙間だ。大半のシステムは顔のアップか全身のどちらかにしか対応せず、手足が画面から外れたり、クリップが長くなったりすると崩れる。DreamActor-M1はその両方をカバーするとうたい、頭肩の寄りから全身の画まで対応し、長めの動画でも一貫性を保つ。これは研究としての公開であり、論文とプロジェクトページという形で出ている。一般ユーザー向けアプリではない。ByteDance 人物アニメーションの向きをうかがう材料であり、DreaminaやCapCutといった製品に載っているアニメーション機能と見比べられる成果の束だ。AI ポートレートアニメーションを追っている人なら、より閉じたツールを指すいくつもの発想に気づくだろう。全身アニメーションモデルとして、公開の競合に対する敷居も示している。
ツールを探している側からすると、この違いは大きい。登録も価格ページもダウンロードリンクもないため、今すぐ自分でDreamActor-M1を動かすことはできない。ByteDanceのアニメーション技術がどこへ向かうかを示すものであり、DreaminaやCapCutといった製品に載っているアニメーション機能と見比べられる成果の束だ。
はじめかた
- 公式プロジェクトページを開き、駆動動画と生成結果を並べた比較デモを見る
- 論文（arXiv:2504.01724）を読み、手法と学習の段階、他モデルとの比較表を確認する
- ホストされたデモもAPIもリポジトリも公開されていないため、自分の写真と動画をアップロードする公開手段はない点に注意する
- 人物アニメーションが今すぐ必要な場合は、DreaminaやCapCutなど既にリリース済みのByteDance製ツールか、公開アクセスのある競合モデルを見る
AIツール情報
DreamActor-M1 From ByteDanceの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- AI研究者と学生：拡散トランスフォーマーによる人物アニメーションの手法を学べる。論文には手法の全体とアブレーションの表がある
- 動画クリエイターとアニメーター：今すぐ使えるツールにお金を払う前に、1枚の画像からのアニメーションで何ができるかをつかめる
- アニメーションの構成を検討する開発者：同一性の保持と時間的一貫性についてDreamActor-M1が掲げる内容を、実際に呼び出せるモデルと比べられる
- メディアやECのプロダクト担当：アバターや商品動画の自動制作がどう変わるかを見極め、一般提供されているツールを軸に計画を立てられる
タスク
- 静止した肖像をしゃべる・動くクリップに変える：自分で動きを撮らず、参照動画で1枚の写真を動かす
- ポーズ転移：人物を新しい体勢に移しつつ、顔と服の見え方を保つ
- 部分的な動きの制御：全身を写したくないとき、顔の表情と頭の動きだけを転移する
- 音声駆動の顔アニメーション：プロジェクトのデモによれば、複数言語の音声に口の動きを合わせる
- アニメーション品質の比較：プロジェクトで使うモデルを選ぶ前に、他の人物アニメーションモデルと直接見比べる
シーン
- 短編や広告の素材を探す：撮影では押さえなかった動きをする俳優のカットを思い描く
- 古い写真をよみがえらせる：穏やかな動きのクリップで昔の肖像に命を吹き込む
- アバター制作の流れを試作する：サブスクを買う前に、1枚の画像からのアニメーションが自分の作業に合うか確かめる
- 生成動画の授業を行う：公開されたデモと論文を具体的な事例として使う
- ベンダーを見極める：ライセンスや統合の話に入る前に、手法と限界を読む
主な機能
ハイブリッドな動きの誘導
制御システムは3つの信号を組み合わせる。暗黙の顔表現、3Dの頭部球体、3Dの身体骨格だ。頭部球体が頭の位置と向きを追い、骨格が体の動きを担い、顔の符号化が表情を乗せる。ByteDanceによれば、この組み合わせで顔と体を同時に動かせる。片方を犠牲にする骨格だけのアニメーションの弱点を避ける狙いだ。
マルチスケールへの適応
DreamActor-M1はどの画角でも機能するよう作られており、寄りの肖像から全身の画まで、被写体が画面の中で小さくなっても品質が落ちない。ByteDanceは解像度とスケールの異なるデータを使い、段階を追って学習させた。1つのモデルが寄りとダンスの両方をカバーできるか、どちらかを選ぶ必要があるかを分けるのがこの部分だ。
長時間の一貫性
長めのクリップでは、モデルが連続するフレームから動きのパターンを取り出し、さらに視覚的な参照を足す。参照画像に写っていない部位の処理は、これが大半を担う。プロジェクトのデモはこの仕組みに頼り、手や背中が画面に入ったり出たりしても安定させる。多くのアニメーションツールがちらつきや歪みを起こすところだ。
部分的な動きの転移
動きの一部だけを移せる。プロジェクトでは、顔と頭だけを転移し体は元のポーズに残す例や、骨の長さを調整して背の高い・低い被写体でも形を崩さず動かす例が示されている。体全体を再現するのではなく、表情の変化だけを足したいときに役立つ。
音声駆動の顔アニメーション
動画による動きの誘導だけでなく、モデルは音声にも広がる。複数言語の音声からリップシンクを生成し、吹き替えやバーチャルプレゼンターを視野に入れる。デモでは口が音声に合い、他の動きは一貫したまま保たれる。
拡散トランスフォーマーの基盤
エンジンは拡散トランスフォーマー（DiT）で、現在の画像・動画モデルの多くと同じ系統だ。この拡散トランスフォーマー アニメーションの手法では、3D VAEがクリップを符号化し、ポーズエンコーダが骨格と頭部球体を扱い、顔動作エンコーダが交差注意を通じて表情を加える。AI ポーズ転移の要になる骨格の処理も、ここで受け持つ。参照画像とノイズの乗った動画は同じトランスフォーマーの重みを通る。これが出力で同一性を保つ仕組みだ。
メリットとデメリット
メリット
- 1つのモデルで肖像・上半身・全身のアニメーションをまかなえるため、画角ごとにツールを変えずに済む
- 長いクリップでも同一性と細部を保ち、参照画像に写っていない部位まで対応する
- 部分的な転移に対応し、全身が要らないときは顔と頭だけ動かせる
- 複数言語の音声によるリップシンクを足し、動画から動画という枠を超える
- 手法の詳細と比較を載せた論文があり、主張を確かめられる
デメリット
- 公開デモもAPIもコードもなく、自分の写真と動画で今すぐ動かせない
- 価格も登録も利用者向けドキュメントもなく、すぐ買えるツールにはならない
- 品質を判断するには、自分のテストではなくプロジェクト側のデモと表に頼るしかない
- こうした研究成果は製品化の前に止まることもあり、計画できる日程がない
よくある質問
DreamActor-M1はByteDanceの人物画像アニメーションモデルだ。参照写真1枚と駆動動画があれば、その人物が動画のように動く映像を生成し、顔と同一性を保つ。ByteDance Intelligent CreationチームがICCV 2025で発表した。
関連コンテンツ
DreamActor-M1 From ByteDanceに関連するツール、スキル、記事を探す。
DreamActor-M1 From ByteDanceの代替ツール
Griffin by Tavus
Tavus · 音声・言語 · 動画 · チャットボットGriffin by Tavus は最初のヒューマンインタラクションモデルだ。全二重の動画から動画へのシステムで、AIビデオ通話の最中に相手を見て、聞いて、即座に応答する。
Syllaby AI Avatar 2.0
Syllaby · 動画 · マーケティングSyllaby AI Avatar 2.0は台本からAIプレゼンター動画を作るツールだ。使い回せるアバター、自然な音声、Bロール、自動字幕までを一つの流れで仕上げる。
Vitra.ai
Vitra.ai · 音声・言語 · 動画 · マーケティングVitra.aiは、ひとつのブリーフから動画・画像・文書・アプリのコンテンツを120言語で制作、翻訳、レビュー、公開できるエージェント型コンテンツプラットフォームだ。