ToonCrafter
Tencent AI Lab, The Chinese University of Hong Kong, City University of Hong Kong · 影片
ToonCrafter 是騰訊 AI Lab 與香港中文大學共同釋出的免費開源模型，只要給兩張關鍵影格，就能生出卡通動畫的中間幀，把起點與終點畫稿接成一段短影片。
關於 ToonCrafter
About
ToonCrafter 是什麼
ToonCrafter 是研究團隊放出來的 2D 動畫工具，不是要你訂閱的商用產品。它由騰訊 AI Lab 與香港中文大學、香港城市大學的研究者合作開發，成果發表於 SIGGRAPH Asia 2024，收錄在 ACM Transactions on Graphics。程式碼與模型權重於 2024 年 5 月 29 日公開，任何人都能下載。
它要解決的是中間畫。動畫師畫好關鍵姿勢之後，還得有人把姿勢之間的所有畫面畫出來，動作才看得懂。一般的影片補幀模型假設畫面之間是直線運動，這套假設在卡通上幾乎不成立：身體會拉長、壓扁，角色還會互相遮擋。ToonCrafter 改從動畫素材學習運動規律，不硬套線性對應，所以 AI 中間幀有機會跟上大幅度的揮擊或突然的跳躍。
限制和功能一樣重要。單次執行最多產出 16 幀、解析度 512x320，換算約 8 fps 的兩秒鐘。完整權重需要約 24 GB 顯示記憶體，作者也明說不是每個鏡頭都能成功。它省下的是鉛筆時數，不是整個動畫部門。
開始使用
- 複製專案，建立 Python 3.8.5 環境，安裝需求套件。
- 下載 ToonCrafter_512 權重，把 model.ckpt 放進 checkpoints/tooncrafter_512_interp_v1/。
- 用 gradio_app.py 開啟 Gradio 介面，或改跑 shell 腳本批次處理。想走節點流程的話，另有 ComfyUI 與 Colab 版本。
- 載入比例一致的第一張與最後一張圖，設定幀數與 fps，需要時再補上文字提示或草圖。
- 檢查產出的影格，進剪輯軟體組起來。
產品資訊
快速了解 ToonCrafter 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 負責中間畫的 2D 動畫師：給兩張關鍵畫稿就能在幾分鐘內得到粗略的中間稿，不必耗掉一個下午。門檻是一張 12 GB 以上的 CUDA 顯示卡。
- 獨立創作者與遊戲美術：短循環動作與待機動畫剛好卡在 16 幀上限內，適合做 sprite 與社群短片。
- 學生與 AI 研究者：權重、論文加上精簡的程式碼，讓它成為研究影片先驗的入門基礎。
任務
- 補上同一角色兩個姿勢之間的空白：兩張畫稿風格一致時，模型會沿著動作弧線補幀，包含手臂橫過身體的畫面。
- 幫線稿上色：草圖與上色流程吃一張線稿加一張配色參考，回傳已經上色的影格。
- 花預算前先試動作：先看攝影機運動或某個打擊動作順不順，再決定要不要畫完整段。
- 做原型的 sprite sheet：匯出影格，打包進遊戲引擎測試。
情境
- 向客戶提案前先做動態預覽：兩秒短片比兩張靜圖更能說明想法。
- 串 ComfyUI 流程：社群節點直接插進既有節點圖，不用額外設定。
- 課堂或報告要重現論文結果：官方權重與腳本不必靠私有叢集就能跑。
主要功能
兩張圖之間的卡通動畫補幀
核心功能就是卡通動畫補幀：你提供起始影格與結束影格，模型把中間的畫面合成一段連續序列。它不需要先有影片，這一點讓它和只能處理現成素材的補幀濾鏡分開。也因為這樣，它被當成 2D 動畫生成工具，而不是修片濾鏡。
針對卡通調整的運動先驗
底層是先用實拍影片訓練的圖生影片擴散模型，之後再用動畫素材校正。校正保留了原本學到的運動穩定性，同時把它拉向手繪的物理感。實際使用時，誇張姿勢與快速弧線的存活率明顯高於一般補幀工具。
雙參考 3D 解碼器
第二個解碼器從兩張輸入圖抽取細節，再注入生成的影格。壓縮過的潛在空間最先糊掉的就是細線與平塗色塊，這條路徑讓輪廓不至於爛成一片。臉部與小道具的穩定度因此好上不少。
草圖引導動畫
草圖編碼器讓你直接畫出想要的動態，模型照著走。它逐幀運作，所以你可以只標幾張影格，也可以整段都標，看鏡頭需要多少控制。這項功能把猜測變成調度，也是工作室願意自己安裝的主要原因。
線稿上色
除了補幀，把草圖與配色參考配成一對，就能做線稿上色。模型把調色盤與陰影風格轉移到畫稿上，不是單純填色塊。正式上色之前拿來試色彩腳本很好用。
本機執行與節點整合
全部跑在自己的機器上。有 Gradio 介面做快速測試，有命令列處理批次，有 ComfyUI 包裝節點，也有社群維護的 Windows 與 Colab 版本。社群剪枝過的 fp16 權重把記憶體壓到約 12 GB，一般消費級顯示卡就能負擔。
優缺點
優點
- 權重與程式碼免費，不用帳號、不扣點數、不算單次渲染費。
- 能處理誇張動作、遮擋與大幅擺動，這些正是標準影片補幀會失手的地方。
- 草圖引導提供逐幀控制，角色往哪走由你決定。
- 一張顯示卡就能跑，社群 fp16 版本把門檻降到約 12 GB。
- 能接進 ComfyUI，和放大模型、其他 AI 節點放在同一張節點圖裡。
缺點
- 單次上限 16 幀、512x320，長鏡頭得分段跑再接到一起。
- 官方版本要約 24 GB 顯示記憶體，A100 跑 50 步大約 24 秒一段。
- 沒有官方 API，也沒有託管服務。用這個名字收費的網站不是作者開的，專案頁特別提醒過。
- 品質取決於兩張輸入圖的風格與構圖是否一致。圖不搭就會出現五官漂移與看起來隨機的轉場。
常見問題
它負責生出兩張卡通關鍵畫稿之間的所有影格，也就是業界說的中間畫。另外也能幫線稿上色、做短秒數的動作測試。輸出是一段短片，不是完整場次。
相關內容
探索與 ToonCrafter 相關的工具、技能與文章。
ToonCrafter 替代方案
ngram 2.0
ngram · 影片 · 行銷ngram 2.0 是給團隊使用的 AI 影片生成器。一句描述、一段螢幕錄影或一個產品網址，就能變成配好旁白的解說影片、產品示範或 AI 虛擬主播影片，而且每個場景都還能修改。
OpenScreen 2
OpenScreen (open-source project) · 影片 · 生產力OpenScreen 2 是免費的開源螢幕錄影與示範影片剪輯工具，支援 Windows、macOS 與 Linux，會自動縮放、套上邊框與本機字幕，還能交給代理編輯。
Skreno
Skreno · 影片 · 生產力Skreno 是瀏覽器螢幕錄影工具，能錄下單一分頁、單一視窗或整個螢幕，再把 AI 逐字稿、摘要與主控台紀錄綁進同一個分享連結。