DreamActor-M1 From ByteDance
ByteDance · 影片
DreamActor-M1 是 ByteDance 的 AI 人物動畫模型，只要一張參考照片，就能複製驅動影片的動作，讓照片裡的人動起來。
關於 DreamActor-M1 From ByteDance
About
DreamActor-M1 是什麼
DreamActor-M1 是 ByteDance Intelligent Creation 的人物圖像動畫模型，這個團隊負責該公司旗下的生成式媒體研究。你給它一張人物參考照片和一段驅動影片，它就會重建出這個人照著影片動起來的畫面。成品保留臉孔、身體和整體身分，同時換掉姿勢、表情與鏡頭角度。
這個模型補的是早期工具留下來的缺口。多數系統只能處理特寫或全身其中一種，一旦肢體跑出畫面，或影片一拉長，人物就會走樣。DreamActor-M1 宣稱兩種都涵蓋，從緊湊的頭肩特寫一路到全身畫面，而且能把一致性維持在較長的影片上。它是研究性質的發布，以論文和專案頁面呈現，不是給一般使用者用的 App。
如果你想找的是工具，這個差別很重要。它沒有註冊、沒有價目頁，也沒有下載連結，所以你今天沒辦法自己跑 DreamActor-M1。它透露的是 ByteDance 人物動畫的走向，也是你一組可以拿來對照 Dreamina、CapCut 等產品內建動畫功能的成果。如果你本來就在看 AI 肖像動畫，這裡有幾個點子，已經指向更封閉的工具。以全身動畫模型來說，它也替開放的競爭對手畫出了門檻。
開始使用
- 打開官方專案頁面，看並排的示範，畫面會把驅動影片和生成結果放在一起
- 讀論文（arXiv:2504.01724），了解做法、訓練階段，以及和其他模型的對照表
- 留意官方沒有釋出線上示範、API 或程式碼，所以沒有任何公開管道能上傳你自己的照片和影片
- 如果你現在就需要人物動畫，可以看 ByteDance 已經推出的工具，例如 Dreamina 和 CapCut，或是有公開存取權的競爭模型
產品資訊
快速了解 DreamActor-M1 From ByteDance 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- AI 研究人員與學生：研究用擴散 Transformer 做人物動畫的做法，論文裡有完整方法和消融實驗表
- 影片創作者與動畫師：在花錢買現成工具之前，先摸清單張照片動畫能做到什麼程度
- 評估動畫技術堆疊的開發者：把 DreamActor-M1 在身分保留與時間一致性上的說法，拿來和他們真的能呼叫的模型比一比
- 媒體與電商團隊的產品人員：評估自動化分身與商品影片的製作方式正在怎麼變，並以已經普遍可用的工具來規劃
任務
- 把靜態肖像變成會說話或會動的短片：用一段參考影片驅動單張照片，不必自己拍動作
- 姿勢轉移：把人物換到新的身體姿勢，臉孔和衣物維持一致
- 局部動作控制：只轉移臉部表情與頭部動作，不必整個身體都複製
- 音訊驅動臉部動畫：依專案示範，把嘴形對上多種語言的語音
- 比較動畫品質：在挑模型做專案前，直接對照其他人物動畫模型的成果
情境
- 為短片或廣告找素材：想像一個演員動作是拍攝時沒拍到的鏡頭
- 讓老照片重生：用一段輕柔的動作影片，替舊肖像注入動態
- 試做分身流程：在訂閱付費工具前，先看單張照片動畫能不能接進你的工作流程
- 教生成式影片課程：把官方釋出的示範和論文當成具體案例
- 評估供應商：在談授權或整合之前，先讀懂它的做法和限制
主要功能
混合動作引導
控制系統結合了三種訊號：隱式臉部表徵、3D 頭部球體，以及 3D 身體骨架。頭部球體追蹤頭的位置和朝向，骨架負責身體動作，臉部編碼則帶著表情。根據 ByteDance 的說法，這套組合讓臉和身體一起動，而不是犧牲一邊換另一邊，這正是純骨架動畫常見的弱點。
多尺度適應
DreamActor-M1 對任何取景都適用，從緊湊肖像到全身畫面都行，人物在畫面裡變小時品質也不會掉。ByteDance 用不同解析度與尺度的資料，分階段逐步訓練。這一項決定單一模型能不能同時吃下特寫和跳舞影片，還是你只能二選一。
長時間一致性
面對較長的影片，模型會從連續影格抓出動作模式，再補上額外的視覺參考，替參考照片從沒拍到的部位做完大半工作。專案示範靠這一點，讓手或背在進出畫面時保持穩定，而這正是很多動畫工具開始閃爍或扭曲的地方。
局部動作轉移
你可以只移一部分動作。專案展示了只轉移臉和頭、身體留在原本姿勢的成果，也有調整骨骼長度、讓高矮不同的主體在不破壞身形下動起來的案例。當你要的是一點表情變化，而不是全身重演時，這就派得上用場。
音訊驅動臉部動畫
除了影片驅動，模型也延伸到語音。它能用多種語言的音訊生成對嘴，指向配音和虛擬主播的用途。示範裡嘴巴對上音訊，其餘演出維持一致。
擴散 Transformer 底層
引擎是擴散 Transformer（DiT），和當前許多圖像、影片模型是同一類架構。這種擴散 Transformer 動畫的做法，把 3D VAE、姿勢編碼器和臉部動作編碼器串在一起。3D VAE 負責編碼影片，姿勢編碼器處理骨架與頭部球體，臉部動作編碼器透過交叉注意力加上表情。參考照片和帶雜訊的影片走同一組 Transformer 權重，身分就是這樣在成品裡定住。
優缺點
優點
- 單一模型就涵蓋肖像、半身與全身動畫，不必按取景換工具
- 較長影片也能守住身分與細節，包括參考照片沒拍到的部位
- 支援局部轉移，不想用全身時，只驅動臉和頭就好
- 補上多語言音訊對嘴，用途不只限於影片轉影片
- 有已發表的論文撐著，方法和比較都寫在裡面，說法可以查證
缺點
- 沒有公開示範、API 或程式碼，你今天無法用自己的照片和影片跑它
- 沒有價格、註冊或給終端使用者的文件，直接排除在即買即用工具之外
- 要判斷品質，只能靠專案自己的示範和表格，沒辦法用自己的測試
- 這類研究成果有可能在變成產品前就停住，所以沒有時間表可以規劃
常見問題
DreamActor-M1 是 ByteDance 的人物圖像動畫模型。給它一張參考照片和一段驅動影片，它會生出這個人照著影片動起來的畫面，臉孔和身分都保留。它由 ByteDance Intelligent Creation 團隊在 ICCV 2025 上發表。
相關內容
探索與 DreamActor-M1 From ByteDance 相關的工具、技能與文章。
DreamActor-M1 From ByteDance 替代方案
Vadu AI
Vadu AI · 圖片 · 影片Vadu AI 是一款網頁式 AI 影片生成器，能把文字提示或靜態圖片變成短影片，也能自行生成圖片。你輸入想要的內容，挑選模型與風格，平台就會在幾分鐘內算好成品。免費方案足以應付輕度測試，付費方案則依你消耗的點數，每月從 9 美元到 77.40 美元不等。
Mykaraoke Video
MyKaraoke Video · 影片Mykaraoke Video 是一款線上卡拉 OK 影片與歌詞影片製作工具，能直接在瀏覽器裡把任何歌曲變成成品影片，歌詞也同步完成。它幫你處理最費時的部分。AI 會從混音中抽出人聲，並把歌詞對上節拍，接著讓你自訂背景、字型與顏色，最後匯出 1080p 的 MP4。如果你要為社群媒體、派對夜晚或音樂宣傳製作歌詞影片，它讓你完全省去安裝軟體與手動對時間的功夫。 想要一款不會吃掉你整個晚上的卡拉 OK 影片產生器嗎？這就是它的賣點。
Finalframe
Finalframe · 影片Finalframe 是一組免費的瀏覽器工具，用來從影片片段中抓出精確的影格。它最知名的功能「最後一格擷取工具」讓你擷取任何影片的最後一格，當作 Luma Dream Machine、Runway 或 Kling 等 AI 影片工具的起始圖片。想把片段接下去？那一格就是你的起點。這項工具在你的瀏覽器本機執行，不必註冊，也不收費。同一個團隊另一款付費的 AI 影片生成 App 目前下線中，正在重新打造。