LivePortrait

LivePortrait

Kuaishou Technology (KwaiVGI) · 圖片 · 影片

LivePortrait 是快手推出的開源人像動畫模型。給它一張照片和一段簡短參考影片,它會把影片裡的表情、眨眼與轉頭動作複製到照片的臉上。

LivePortrait 的介面預覽

關於 LivePortrait

About

LivePortrait 是什麼

LivePortrait 是快手在 2024 年 7 月釋出的臉部動畫模型。你準備一張靜態圖片,再準備一段有人動臉的短影片。模型讀出影片裡的動作,套到圖片的臉上,輸出一段新的影片,讓你的照片開口說話、眨眼、轉頭。

成品看起來比較像真人演出,不像濾鏡。身分特徵不會跑掉,動的只有表情和頭部姿態。這種克制在照片動畫工具裡並不常見。

它不是那種註冊帳號、按月付費的網站。它是一個研究專案,裡面有程式碼、預訓練權重和一套 Gradio 介面,全部跑在你自己的機器上。代價很清楚:沒有月費,但安裝、顯卡和檔案都得自己處理。

團隊用的是隱式關鍵點,不是擴散模型,速度就是從這裡來的。根據官方技術報告,在 RTX 4090 上生成一張畫面大約 12.8 毫秒,訓練資料約 6900 萬張高品質畫面。這些數字出自快手,而且只算單張推論那一步,不含裁切與影片編碼。

開始使用

  1. 安裝 git、conda 和 FFmpeg,然後從 GitHub 取得快手的 LivePortrait 專案。
  2. 建立 Python 環境(3.9 或 3.10),啟用後安裝需求清單。Windows 使用者可以用官方一鍵安裝包跳過大半步驟。
  3. 把預訓練權重下載到 pretrained_weights 資料夾。預設是人類模型,動物模型另外提供。
  4. 用來源圖片和參考影片執行 inference.py,或啟動 app.py 在瀏覽器打開 Gradio 介面。
  5. 到 animations 資料夾拿成品,或直接用介面上的匯出按鈕。

產品資訊

快速了解 LivePortrait 的定價、支援平台與效能。

免費方案是
付費方案None, the code and weights are free to download
平台Windows, Linux, macOS with Apple Silicon; NVIDIA GPU recommended
開發者Kuaishou Technology (KwaiVGI)
類別圖片 · 影片
發布日期Jul 2024
最近更新Jan 2025
網站訪問量16.7K
網站全球排名1.6M
API 提供狀態否

適合對象

這項工具最適合的使用者、任務與情境。

使用者

  • 社群短片創作者:你想要角色、吉祥物或自己的生動表情影片,又不想進棚拍攝,手邊有一台配中階 NVIDIA 顯卡的電腦。
  • 開發者與 AI 研究者:你需要一份讀得懂的 PyTorch 實作,能改、能微調、能拿來量測的關鍵點式臉部動畫模型。
  • 小型動畫與遊戲團隊:你在為提案或原型抓角色表情,還不到買每人授權的時候。

任務

  • 讓老照片動起來:一段開頭表情中性的短影片,就夠把一張人像做成紀念影片裡的動態片段。
  • 製作短影音用的說話人頭:把錄好的表演套到繪畫或插畫角色上,不必真的找人入鏡。
  • 修改既有影片裡的表情:影片轉影片模式可以換掉一個微笑或一張閉著的嘴,不用重拍。
  • 在 ComfyUI 裡做原型:社群維護的 ComfyUI 節點可以把模型和放大、遮罩、影片工具串在同一張工作流程圖裡。

情境

  • 不想上傳照片的離線作業:全部在本機執行,客戶人像和未公開的角色設定都留在自己的硬碟裡。
  • 先試再決定要不要付費:在家跑幾段影片,看動作質感合不合專案需求,再判斷雲端工具值不值得花錢。
  • 課堂與實驗室示範:Gradio 介面把前置步驟壓得夠短,適合現場講解圖片轉影片的流程怎麼運作。

主要功能

一張照片就能生成影片

一張圖就是全部的外觀參考。模型先估出這張臉的頭部姿態與表情,再隨著參考影片的動作逐格重建。人像、油畫、雕塑、3D 渲染圖都能當來源,所以不只適用真人照片,也吃得下風格化角色。

完整頭部姿態的動作轉移

參考影片控制的不只是嘴巴。轉頭、歪頭、挑眉、視線方向都會轉移過去,成品會跟著原演出反應。這種完整姿態轉移,正是「看起來像真的」和「只會點頭的虛擬人偶」之間的差別。

多人同框的自動縫合

多數臉部動畫模型一碰到兩個人同框就出問題。LivePortrait 會分別處理每張臉,再用縫合模組接回去,團體照的邊緣不會糊掉,每個人的長相也維持原樣。

唇形重定向與眼部控制

兩組小型控制網路讓你各用一個數值調整眼睛張開程度和嘴巴張開程度。想要閉嘴或張大嘴、眨眼或直視,都不必另外找參考影片。剪輯師常用它修掉某一格壞畫面,而不必整段重算。

影片轉影片編輯

v2v 模式收的是影片而不是圖片,直接改掉裡面的表情。一段情緒可以換成另一種,人物、構圖、時間點都不動。這個功能讓它從玩具變成後製工具。

動物人像

另外微調的動物模型可以用人類影片驅動貓、狗和貓熊,動物會跟著做出頭部動作和嘴形。權重是另一套,所以要預留第二次下載和另一支啟動腳本。

優缺點

優點

  • 免費且開源,程式碼與預訓練權重都由團隊公開,沒有點數制,也不按影片計價。
  • 在單張消費級顯卡上就能接近即時地反覆試做,調一個風格的成本很低。
  • 眼睛與嘴唇可用單一數值微調,Gradio 介面還能直接改來源人像的姿態。
  • 吃得下油畫、動漫風插畫、雕塑這類風格化來源,不只真人照片。
  • 社群活躍,有 ComfyUI 節點、Windows 安裝包,以及核心專案之外維護的公開展示頁。

缺點

  • 需要一張不算太舊的 NVIDIA 顯卡,還要處理 conda、CUDA 和 FFmpeg。用內顯筆電跑,不是慢到無法接受,就是根本起不來。
  • 沒有官方託管的 API,也沒有支援合約,要上線就得自己負責部署。
  • 成品很吃素材。臉在畫面裡太小、側得太明顯或被遮住一半,常常偵測失敗或糊掉。
  • 同意權與授權得自己扛。專案有自己的授權條款,拿別人的臉來做動畫而沒有取得同意,法律與倫理風險都是真的。

常見問題

不用。程式碼和預訓練權重都能免費下載,也沒有訂閱方案。商用前請先讀專案裡的授權檔案,因為條款同時管程式碼和權重。