ToonCrafter AI
Tencent AI Lab, CUHK, City University of Hong Kong · 動画
ToonCrafter AIは、2枚のトゥーン画の間のコマを埋めるオープンソースの研究モデルだ。手元のGPUでキーフレームを短いアニメに変える。
ToonCrafter AI について
About
ToonCrafter AIとは
ToonCrafter AIは、トゥーン補間を専門にする生成モデルを使ったAIアニメーションツールである。香港中文大学、香港城市大学、Tencent AI Labの研究者が開発し、SIGGRAPH Asia 2024で発表された。始点の絵と終点の絵を渡すと、その間の絵を推測する。出力は512x320、最大16コマの短いクリップだ。
土台は実写映像で学習した画像から動画への拡散モデルで、これを線のくっきりした平塗りの2D表現に合わせて調整し直している。さらに2つ目のデコーダが、圧縮で失われた細部を各コマに戻す。ここが効くのは、汎用の動画モデルがセル画調のキャラクターで輪郭をぼかし、色をにじませるからだ。そのままでは実制作に使えない。
使ううえで制約は3つある。モデルは物体を理解していないので、硬い部品が布のようにしなることがある。何かが画面に入ったり出たりすると崩れやすい。長さは16コマで止まるため、動きは2秒程度で、カットとして完成はしない。公式のホスティングサービスもない。READMEがそう明記しているので、「ToonCrafter」の名で課金するサイトはすべて第三者だ。
はじめかた
- GitHubのリポジトリをクローンし、Python 3.8.5のconda環境を作ってrequirements.txtのパッケージを入れる。
- Hugging Faceからチェックポイントを取得し、checkpoints/tooncrafter_512_interp_v1に置く。
- 同じキャラクター、同じ画風の2枚を選び、512x320に近い比率で切り抜き、動きを説明する短いプロンプトを書く。
- ターミナルでscripts/run.shを実行するか、python gradio_app.pyでブラウザ画面を開いて画像を送る。
- 速度はddim_steps、コマ間の動きの大きさはframe_strideで調整する。動画はresultsフォルダに出力される。
AIツール情報
ToonCrafter AIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 2Dアニメーター
- インディーゲーム開発者
- 学生と研究チーム
タスク
- キーフレーム補間
- スケッチアニメーション
- 線画の彩色
シーン
- カットの提案
- ゲームモーションの試作
- 画風の検証
主な機能
2枚のキーフレームから動きを作る
中心となる機能であり、ai フレーム補間の効果がはっきり出るところだ。2枚を入れると連番が出てくる。オクルージョンや、振り幅の大きい非線形な動きも扱える。従来のフレーム混合が破綻するのは、まさにそういう場面である。推論は1回で終わり、学習もカットごとの微調整も要らない。
まばらなスケッチによる誘導
クリップの特定の瞬間にラフなスケッチを1枚か数枚足すと、モデルはそれに従う。時間の位置と方向をコマ単位で決められる。テキストのヒントだけでは届かない領域だ。歩きのサイクルや手のしぐさなら、走り書きの2本の線のほうが段落ひとつより意図を伝える。
参照画像による彩色
彩色済みの参照画像を線画アニメと一緒に入れると、その配色を動くコマに適用する。参照は1枚でも2枚でもよく、陰影の制御がしやすい。スタジオがカラースクリプトを試す段階で、彩色担当が入る前に使う使い方だ。
トゥーン向けに調整した拡散モデル
元の画像から動画へのモデルは実写から動きを学んでいる。チームは厳選した数十万本のアニメ映像で補正学習を行い、動きの前提を手描きのキャラクターに合わせた。そのうえで二重参照の3Dデコーダが、圧縮された潜在空間で捨てられた細部を戻す。
ローカルのブラウザ画面
リポジトリにはGradioのアプリが入っている。2枚をアップロードし、プロンプトを入れて生成を押すだけで、設定ファイルに触れずに済む。コマンドラインでは同じ設定に加えてサンプラーの制御も使えるので、試作は画面、まとめ処理はスクリプトと使い分けられる。
コードと重みの公開
推論コードもチェックポイントも公開されている。サンプラーの動きを読み、部品を入れ替え、より大きなツールに組み込める。公開から数週間でアニメーション界隈とComfyUIコミュニティに広まったのは、この開放性が大きい。
メリットとデメリット
メリット
- サブスクもクレジット制もない。チェックポイントを保存してしまえば、生成コストは電気代だけだ。
- オクルージョンや大きな動きは汎用の補間モデルより安定する。プロジェクトページではAnimeInterp、FILM、SEINEとの比較も並べている。
- スケッチ誘導と参照彩色は、プロンプトだけの動画ツールが直接狙えない2つの作業をカバーする。
- 拡散モデルのプロジェクトとしては導入が軽い。Python環境1つ、チェックポイント1つ、YAML1枚で済む。
- 出力は再現性があり、ばらつきはシードで制御できる。動きが決まるまで同じカットを回し直せる。
デメリット
- 16コマ、512x320の上限は、低解像度で2秒ほどの動きにしかならない。カットを仕上げる場ではなく、確認する場だ。
- 参照実装は約24GBのGPUメモリを要求する。10GBで動くコミュニティ版でも新しいNVIDIA製カードが要る。普通のノートPCではクラウドGPUを借りるしかない。
- モデルは物体を理解しないので、硬い部品が揺れ、何かが画面に出入りすると破綻する。使えるクリップ1本に何度もシードを試す前提で考えたい。
- 導入は開発者向けの作業だ。公式のWebアプリはなく、READMEも名前を使った課金サイトは無関係だと警告している。
よくある質問
2枚のトゥーン画の間に欠けたコマを生成し、キーフレームの組から短いアニメを作る。プロジェクトページではスケッチ誘導と参照画像による彩色の例も公開されている。
関連コンテンツ
ToonCrafter AIに関連するツール、スキル、記事を探す。
ToonCrafter AIの代替ツール
ngram 2.0
ngram · 動画 · マーケティングngram 2.0はチーム向けのAI動画生成ツールだ。プロンプト、画面録画、製品URLのいずれかから、ナレーション付きのAI解説動画、製品デモ、AIアバター動画を作れる。生成後も全シーンを編集できる。
OpenScreen 2
OpenScreen (open-source project) · 動画 · 生産性向上OpenScreen 2 は Windows、macOS、Linux に対応した無料のオープンソースの画面録画ソフト兼デモ動画編集ツール。クリックに合わせた自動ズーム、枠、ローカル字幕、エージェント編集を備える。
Skreno
Skreno · 動画 · 生産性向上Skreno はブラウザ画面録画ツールだ。タブ、ウインドウ、画面全体をそのまま録り、AI 文字起こしと要約、コンソールログをひとつの共有リンクに載せる。