OmniHuman by ByteDance

OmniHuman 從一張圖開始，不需要骨架、動態捕捉服，也不用演員預錄影片。它接受任何長寬比與任何人物比例，所以臉部特寫、半身肖像與全身照都能直接用，不必先裁切。身體是整體一起動，而不是拆成一顆飄浮的頭配一副僵硬軀幹。對創作者來說，手邊現成的那張照片往往就夠開始了。

模型會讀取音訊，產生的不只動嘴。這套音訊驅動對嘴技術會帶動全身：語音驅動手勢、姿態，以及跟著節奏出現的細微待機動作。唱歌也適用，連高音與樂句之間的停頓都處理得到，動作還會隨曲風改變。這正是 OmniHuman 和單純對嘴濾鏡分道揚鑣的地方，後者從頭到尾只會動嘴巴。

模型在混合動作訊號上訓練，所以不會只停在音訊。它能跟著參考影片複製特定的身體動作，也能把音訊與影片合併，在語音帶動表演的同時，控制某個特定手勢之類的細節。這種彈性來自訓練方式：把各種動作條件混在一起，而不是拆成幾個各自專門的模型。

1.5 版加入一道推理步驟，在算圖之前先規劃動作。一個多模態大型語言模型會讀取影像、音訊與任何文字提示，接著寫出一份結構化計畫，說明角色該做什麼、何時做。算圖端照著計畫走，於是「讀一封信」這句話會變成伸手、拆開、細看的連續動作，而不是隨機擺個手勢。團隊把這組搭配稱為系統一與系統二，借用了快思慢想的心理學說法。

你可以寫一段提示來引導場景。展示中的提示涵蓋鏡頭運動，例如緩慢橫搖或手持感運鏡，也包含轉身面對鏡頭、伸手碰鏡頭之類的動作。模型在聽從指令的同時維持對嘴同步，鏡頭移動時角色依然對上正確的字。對要規劃鏡位的人來說，這等於把一行文字變成畫面的初稿。

OmniHuman-1.5 能處理多人場景，做法是把每一條音軌送到同一個畫面裡對應的角色身上。群體對話與多人合演不必切成好幾段影片拼接。模型也支援風格化素材，從卡通、3D 角色到真實動物都行，並讓動作配合各主體自身的風格，而不是硬套一套人類範本上去。

1.5 模型能生成超過一分鐘的影片，過程中鏡頭持續移動、角色互動複雜，遠超過許多虛擬人工具只做到幾秒的循環。團隊自家的展示在這樣的長度裡呈現動態動作，而不是一具慢慢飄移的靜態姿勢。更長的影片對說故事很重要，因為一場戲需要呼吸的空間，而不是每隔幾秒就重新開始。