ToonCrafter AI
Tencent AI Lab, CUHK, City University of Hong Kong · 影片
ToonCrafter AI 是開源研究模型，專門補上兩張卡通圖之間缺少的影格，讓你在自己的 GPU 上把關鍵影格變成短動畫。
關於 ToonCrafter AI
About
ToonCrafter AI 是什麼
ToonCrafter AI 是一套卡通補幀的 AI 動畫工具，由香港中文大學、香港城市大學與騰訊 AI Lab 的研究人員共同開發，發表於 SIGGRAPH Asia 2024。你給它一張起始圖、一張結束圖，它負責推測中間該長什麼樣子。輸出是 512x320、最多 16 張影格的短片。
底座是一個用實拍影片訓練的圖生影片擴散模型，團隊再把它調成看得懂平塗線稿的版本，並加上第二個解碼器，把壓縮過程丟掉的細節補回每一格。這一步很關鍵，因為一般影片模型碰到賽璐璐上色的角色，線條會糊、色塊會拖，補出來的畫面根本不能用。
使用上有三個明確限制。模型並不真的理解畫面裡是什麼物件，所以該是硬的零件可能像布一樣擺動。有東西進入或離開畫面時，它容易出錯。長度最多 16 格，換算下來大約兩秒動作，不是一整場戲。另外，官方沒有架設網站服務，README 寫得很清楚，所以任何打著「ToonCrafter」名號收費的網站都是第三方。
開始使用
- 從 GitHub 複製專案，建立 Python 3.8.5 的 conda 環境，安裝 requirements.txt 裡的套件。
- 從 Hugging Face 下載模型檔，放進 checkpoints/tooncrafter_512_interp_v1。
- 挑兩張同角色、同風格的圖，裁到接近 512x320 的比例，再寫一句簡短提示描述動作。
- 在終端機執行 scripts/run.sh，或執行 python gradio_app.py 開瀏覽器介面上傳圖片。
- 調整 ddim_steps 控制速度、frame_stride 控制每格之間的動作幅度，成果會放在 results 資料夾。
產品資訊
快速了解 ToonCrafter AI 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 2D 動畫師：在正式動手畫中間張之前，先看看兩張草稿之間的轉場順不順。需要 CUDA 顯卡，也要摸得慣終端機。
- 獨立遊戲開發者：兩個 sprite 姿勢就能跑出一段短動作，方便檢查攻擊或跳躍的節奏，之後再匯出影格回引擎重排圖集。
- 學生與研究團隊：程式碼與權重都公開，可以讀懂流程、換掉取樣器，或拿自己的資料和其他補間模型比較。
任務
- 關鍵影格補間：給一張起始姿勢、一張結束姿勢，模型幫你畫出中間缺的動作，不用再一格一格重畫。
- 草圖動畫：補一張粗略的中間草圖，就能指定角色往哪個方向動，比用文字描述動作快得多。
- 線稿上色：拿一張上色完成的參考圖搭配黑白序列，模型會把配色帶到整段影片。
情境
- 提案看片：兩秒短片就能讓客戶知道這個鏡頭怎麼讀，不必先花一週做 clean-up。
- 遊戲動作原型：先跑一輪 2D 動畫流程，在引擎裡確認時間感，再決定這個動作值不值得細修。
- 測試畫風：同一組圖用不同提示與隨機種子多跑幾次，看哪一種表現在小尺寸下還站得住。
主要功能
兩張關鍵影格補出整段動作
這是核心功能，也是 AI 影格插值真正派上用場的地方：兩張圖進去，一串畫面出來。模型能處理遮擋與幅度大、非線性的動作，這正是傳統影格混合最容易崩掉的情況。整個過程只跑一次推論，不必訓練，也不用為每個鏡頭微調。
稀疏草圖引導
你可以在片段中的特定時刻補上一張或幾張粗略草圖，模型會照著走。這給的是逐格控制時間點與方向，不只是文字提示。畫走路循環或手勢時，隨手兩筆往往比一整段提示詞更能說清楚意圖。
參考圖上色
把一張上色完成的參考圖和線稿動畫一起送進去，工具會把配色套到每一格。它接受單張或雙張參考，方便控制陰影層次。工作室常用這招在調色師動工前先試色腳本。
針對卡通調整的擴散底座
原始的圖生影片模型是從實拍影片學會動作的，團隊用數十萬段挑過的動畫片段做校正訓練，讓動作先驗貼近手繪角色。接著再由雙參考的 3D 解碼器把壓縮潛空間丟掉的細節救回來。
本機瀏覽器介面
專案附了一個 Gradio 應用程式。上傳兩張圖、輸入提示、按下生成，完全不用碰設定檔。命令列則提供同樣的參數外加取樣控制，所以快速測試用介面，批次處理用腳本。
程式碼與權重全公開
推論程式與模型檔都是公開的。你可以讀懂取樣流程、替換元件，或把模型接進更大的工具裡。也因為這樣，專案在發布後幾週內就傳遍動畫圈與 ComfyUI 社群。
優缺點
優點
- 沒有訂閱，也沒有點數制度。模型檔放進硬碟後，生成只花電費。
- 處理遮擋與大動作比一般補間模型穩，專案頁也拿 AnimeInterp、FILM、SEINE 的結果並排比較。
- 草圖引導與參考圖上色補上了純提示式影片工具打不到的兩件事。
- 以擴散專案來說安裝算輕：一個 Python 環境、一個模型檔、一份 YAML 設定。
- 輸出可重現，變異由隨機種子控制，同一個鏡頭可以重跑到動作看起來對為止。
缺點
- 16 格、512x320 的上限等於兩秒低解析度動作。這裡只能預覽鏡頭，做不完一個鏡頭。
- 參考實作要約 24GB 顯卡記憶體，就算社群版本壓到 10GB，也得是較新的 NVIDIA 卡。普通筆電只能去租雲端 GPU。
- 模型不懂物件，硬質零件會晃，東西進出畫面就破功。一段能用的片段通常要試好幾個種子。
- 安裝是開發者等級的工作。官方沒有網站服務，README 也提醒收費網站與團隊無關。
常見問題
它補上兩張卡通圖之間缺少的影格，讓你用一組關鍵影格得到一段短動畫。專案頁另外展示了草圖引導與參考圖上色兩種用法。
相關內容
探索與 ToonCrafter AI 相關的工具、技能與文章。
ToonCrafter AI 替代方案
ngram 2.0
ngram · 影片 · 行銷ngram 2.0 是給團隊使用的 AI 影片生成器。一句描述、一段螢幕錄影或一個產品網址，就能變成配好旁白的解說影片、產品示範或 AI 虛擬主播影片，而且每個場景都還能修改。
OpenScreen 2
OpenScreen (open-source project) · 影片 · 生產力OpenScreen 2 是免費的開源螢幕錄影與示範影片剪輯工具，支援 Windows、macOS 與 Linux，會自動縮放、套上邊框與本機字幕，還能交給代理編輯。
Skreno
Skreno · 影片 · 生產力Skreno 是瀏覽器螢幕錄影工具，能錄下單一分頁、單一視窗或整個螢幕，再把 AI 逐字稿、摘要與主控台紀錄綁進同一個分享連結。