ToonCrafter
Tencent AI Lab, The Chinese University of Hong Kong, City University of Hong Kong · 動画
ToonCrafterはTencent AI Labと香港中文大学が公開した無料のオープンソースモデルで、カートゥーンのキーフレーム2枚から中間フレームを生成し、始点と終点の原画を短い動画につなぐ。
ToonCrafter について
About
ToonCrafterとは
ToonCrafterは研究チームが公開した2Dアニメーションツールであり、月額課金の商用製品ではない。Tencent AI Labと香港中文大学、香港城市大学の研究者が共同で開発し、SIGGRAPH Asia 2024のジャーナルトラック（ACM Transactions on Graphics）に採録された。コードとモデル重みは2024年5月29日に公開され、誰でもダウンロードできる。
狙いは中割りにある。アニメーターがキーポーズを描いたあと、動きが伝わるように姿勢と姿勢の間を全部描く作業が残る。一般的な動画補間モデルはフレーム間が直線的に動く前提で作られており、カートゥーンではほぼ通用しない。体は伸び、つぶれ、キャラクター同士が重なる。ToonCrafterは線形対応を押しつけず、アニメ素材から動きを学ぶ。だからこそAI中間フレームが大きな振りや急なジャンプについていける。
制約は機能と同じくらい重要だ。1回の実行で最大16フレーム、解像度は512x320で、8fpsなら2秒程度になる。フル精度のチェックポイントは約24GBのGPUメモリを要求し、著者もすべてのカットで成功する保証はないと明言している。鉛筆の時間を削る道具であって、作画部門の代替ではない。
使い始める
- リポジトリを複製し、Python 3.8.5の環境を作って依存パッケージを入れる。
- ToonCrafter_512のチェックポイントを取得し、model.ckptをcheckpoints/tooncrafter_512_interp_v1/に置く。
- gradio_app.pyでGradio画面を起動する。バッチ処理ならシェルスクリプトを使う。ComfyUIやColab向けの構成も用意されている。
- 同じアスペクト比の最初と最後のフレームを読み込み、フレーム数とfpsを設定する。必要ならテキスト指示やスケッチを足す。
- 出力フレームを確認し、編集ソフトで組み上げる。
AIツール情報
ToonCrafterの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 中割りを担当する2Dアニメーター：キー原画2枚からラフな中割りを数分で出せる。12GB以上のCUDA対応GPUが前提だ。
- 個人制作のクリエイターやゲームアーティスト：短いループ動作や待機モーションは16フレームの上限に収まり、スプライトやSNS向け短片と相性がいい。
- 学生やAI研究者：重み、論文、小さなコードベースが揃い、動画の事前分布を学ぶ読みやすい土台になる。
タスク
- 同じキャラクターの2ポーズ間を埋める：絵柄が揃っていれば、腕が体の前を横切るフレームも含めて動きの弧を補間する。
- 線画の彩色：スケッチと彩色の経路は線画と色の参照画像を受け取り、塗り済みのフレームを返す。
- 予算をかける前に動きを確認する：カメラワークやアクションの山が成立するかを、全コマ描く前に見極められる。
- 試作向けのスプライトシート作成：書き出したフレームをエンジン用にまとめる。
シーン
- クライアント提案前のプリビズ：2秒のクリップは静止画2枚より企画を伝えやすい。
- ComfyUIのパイプラインに組み込む：コミュニティ製ノードを既存グラフに挿すだけで動く。
- 授業やレポートで論文の結果を再現する：公式チェックポイントとスクリプトは私有クラスタなしで動く。
主な機能
2枚の画像のあいだを埋めるカートゥーン補間
中核は静止画2枚からのカートゥーン補間だ。始点フレームと終点フレームを渡すと、その間を連続したシーケンスとして合成する。元になる動画が不要な点が、既存映像をなめらかにするだけの補間フィルタとの違いになる。だから仕上げ用のフィルタではなく、2Dアニメ生成ツールとして使われる。
アニメ向けに調整した動きの事前分布
土台は実写映像で学習した画像から動画への拡散モデルで、そのあとアニメ素材で補正をかけている。この補正が、元モデルが持つ動きの安定性を保ちながら、手描きの物理感へ寄せる。実際、誇張した姿勢や速い弧は汎用の補間より持ちこたえる。
二重参照の3Dデコーダ
2つ目のデコーダが入力2枚から細部を取り出し、生成フレームに注入する。圧縮された潜在空間では細い線と平坦な塗りが最初に崩れる。この経路が輪郭の溃れを防ぐ。顔や小さな小道具の安定感は明らかに違う。
スケッチガイドによる動きの指示
スケッチエンコーダを使えば、望む動きを自分で描いてモデルに追わせられる。フレーム単位で動くため、数フレームだけ指示するか全編に指示するかを、カットの必要に応じて選べる。当て推量を演出に変える機能であり、スタジオがローカル導入を選ぶ最大の理由でもある。
線画の彩色
補間だけでなく、スケッチと色の参照画像を組にすると線画の彩色もこなす。塗りつぶしではなく、配色と陰影の傾向を絵に移す。本番の彩色前にカラースクリプトを試す用途に向く。
ローカル実行とノード連携
すべて手元のマシンで動く。試作用のGradioアプリ、バッチ向けのコマンドライン、ComfyUIラッパー、そしてWindowsとColab向けのコミュニティ版がある。コミュニティが削ったfp16チェックポイントならメモリは約12GBまで下がり、コンシューマー向けGPU1枚で扱える。
メリットとデメリット
メリット
- 重みもコードも無料で、アカウントもクレジットも1回ごとの課金もない。
- 標準的な動画補間が苦手とする誇張動作、遮蔽、大きな振りに対応する。
- スケッチガイドでフレーム単位の方向づけができる。
- GPU1枚で動き、コミュニティのfp16版なら約12GBまで下がる。
- ComfyUIに組み込めるため、アップスケーラーや他のAIノードと同じグラフに置ける。
デメリット
- 1回あたり16フレーム、512x320が上限で、長いカットは分割して後からつなぐ必要がある。
- 公式版は約24GBのVRAMを要求し、A100で50ステップなら1クリップ約24秒かかる。
- 公式APIもホスト型サービスもない。同名で課金するサイトは著者と無関係だとリポジトリが警告している。
- 2枚の入力の絵柄と構図が揃わないと品質が落ちる。ずれると顔のパーツが流れ、切り替わりが不自然になる。
よくある質問
カートゥーンのキー原画2枚のあいだのフレームを生成する。業界で中割りと呼ばれる工程だ。線画の彩色や短いモーションテストにも使える。出力は短いクリップで、シーン全体ではない。
関連コンテンツ
ToonCrafterに関連するツール、スキル、記事を探す。
ToonCrafterの代替ツール
ngram 2.0
ngram · 動画 · マーケティングngram 2.0はチーム向けのAI動画生成ツールだ。プロンプト、画面録画、製品URLのいずれかから、ナレーション付きのAI解説動画、製品デモ、AIアバター動画を作れる。生成後も全シーンを編集できる。
OpenScreen 2
OpenScreen (open-source project) · 動画 · 生産性向上OpenScreen 2 は Windows、macOS、Linux に対応した無料のオープンソースの画面録画ソフト兼デモ動画編集ツール。クリックに合わせた自動ズーム、枠、ローカル字幕、エージェント編集を備える。
Skreno
Skreno · 動画 · 生産性向上Skreno はブラウザ画面録画ツールだ。タブ、ウインドウ、画面全体をそのまま録り、AI 文字起こしと要約、コンソールログをひとつの共有リンクに載せる。