ToonCrafter
Tencent AI Lab, The Chinese University of Hong Kong, City University of Hong Kong · Video
ToonCrafter ist ein freies Open-Source-Modell von Tencent AI Lab und der CUHK, das die Zwischenbilder einer Cartoon-Sequenz aus zwei Keyframes erzeugt und aus Anfangs- und Endzeichnung einen kurzen Clip macht.
Über ToonCrafter
About
Was ist ToonCrafter
ToonCrafter ist ein 2D-Animationswerkzeug aus der Forschung, kein Abo-Produkt. Tencent AI Lab hat es mit Forschenden der Chinese University of Hong Kong und der City University of Hong Kong entwickelt, und die Arbeit erschien 2024 auf der SIGGRAPH Asia im Journal Track von ACM Transactions on Graphics. Code und Gewichte sind seit dem 29. Mai 2024 öffentlich, jeder kann sie herunterladen.
Die Aufgabe, die es angeht, ist das Zwischenzeichnen. Animierende zeichnen die Schlüsselposen, danach muss jemand alles dazwischen zeichnen, damit die Bewegung lesbar wird. Übliche Video-Interpolatoren gehen davon aus, dass Bewegung zwischen zwei Bildern geradlinig verläuft, und bei Cartoons stimmt das fast nie: Körper dehnen sich, stauchen sich und verdecken einander. ToonCrafter lernt Bewegung aus Animationsmaterial, statt lineare Zuordnung zu erzwingen. Deshalb können KI-Zwischenbilder einem weiten Schwung oder einem harten Sprung folgen, ohne zu reißen.
Die Grenzen wiegen hier so schwer wie die Funktionen. Ein Lauf liefert höchstens 16 Bilder in 512x320, also rund zwei Sekunden bei 8 fps. Der vollständige Checkpoint braucht etwa 24 GB GPU-Speicher, und die Autoren sagen offen, dass der Erfolg nicht bei jeder Einstellung garantiert ist. Wer es nutzt, spart Bleistiftstunden und ersetzt keine Animationsabteilung.
Erste Schritte
- Repository klonen, eine Umgebung mit Python 3.8.5 anlegen und die Abhängigkeiten installieren.
- Den Checkpoint ToonCrafter_512 herunterladen und model.ckpt in checkpoints/tooncrafter_512_interp_v1/ ablegen.
- Die Gradio-Oberfläche mit gradio_app.py starten oder das Shell-Skript für Stapel nutzen. Für ComfyUI und Colab gibt es eigene Varianten.
- Erstes und letztes Bild im gleichen Seitenverhältnis laden, Bildanzahl und fps einstellen und bei Bedarf einen Text oder eine Skizze als Vorgabe ergänzen.
- Die erzeugten Bilder prüfen und im Schnittprogramm zusammensetzen.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von ToonCrafter.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- 2D-Animierende mit Zwischenzeichnungen
- Unabhängige Kreative und Game-Artists
- Studierende und Forschende
Aufgaben
- Die Lücke zwischen zwei Posen derselben Figur füllen
- Strichzeichnungen kolorieren
- Bewegung prüfen, bevor Budget fließt
- Sprite-Sheets für Prototypen bauen
Szenarien
- Eine Szene vorab visualisieren, um sie einem Kunden zu verkaufen
- Eine ComfyUI-Pipeline aufbauen
- Ein Paper-Ergebnis für ein Seminar oder einen Bericht nachvollziehen
Wichtigste Funktionen
Interpolation von Cartoon-Animation zwischen zwei Bildern
Die Kernfunktion ist die Interpolation von Cartoon-Animation aus zwei stehenden Bildern. Sie geben ein Startbild und ein Endbild vor, und das Modell erzeugt die Bilder dazwischen als fortlaufende Sequenz. Ein Ausgangsvideo braucht es nicht, und genau das trennt es von Filtern, die nur vorhandenes Material glätten. Darum dient es als Cartoon-Animationsgenerator und nicht als Aufräumfilter.
Auf Cartoons angepasster Bewegungs-Prior
Die Basis ist ein Bild-zu-Video-Diffusionsmodell, das mit Realfilm trainiert und danach mit Animationsmaterial korrigiert wurde. Diese Korrektur bewahrt die stabile Bewegung des Ausgangsmodells und neigt sie zur Physik der Zeichnung. Übertriebene Posen und schnelle Bögen halten dadurch besser durch als bei einem allgemeinen Interpolator.
3D-Decoder mit doppelter Referenz
Ein zweiter Decoder holt Details aus beiden Eingabebildern und schreibt sie in die erzeugten Bilder zurück. Feine Linien und Flächen mit Volltonfarbe verwischen in einem komprimierten latenten Raum zuerst, und dieser Pfad verhindert, dass Konturen zu Brei werden. Gesichter und kleine Requisiten halten deutlich besser.
Skizzengeführte Animation
Ein Skizzen-Encoder lässt Sie die gewünschte Bewegung zeichnen, und das Modell folgt ihr. Weil er bildweise arbeitet, können Sie wenige oder viele Bilder mit Vorgaben versehen, je nachdem wie viel Kontrolle die Einstellung braucht. Diese Funktion ersetzt Rätselraten durch Regie und ist der Hauptgrund, warum Studios die lokale Installation überhaupt in Kauf nehmen.
Kolorierung von Line Art
Über die Interpolation hinaus übernimmt ToonCrafter die Kolorierung von Line Art, wenn Sie eine Skizze mit einer Farbvorlage kombinieren. Das Modell überträgt Palette und Schattierungsstil auf die Zeichnung, statt Flächen nur flach zu füllen. Praktisch, um Farbkonzepte vor dem eigentlichen Malen zu testen.
Lokaler Betrieb und Node-Anbindung
Alles läuft auf Ihrer Maschine. Es gibt eine Gradio-App für schnelle Tests, einen Kommandozeilenweg für Stapel, einen ComfyUI-Wrapper und Community-Builds für Windows und Colab. Ein beschnittenes fp16-Checkpoint drückt den Speicher auf etwa 12 GB, womit das Werkzeug auf eine einzelne Consumer-Karte passt.
Vor- und Nachteile
Vorteile
- Gewichte und Code kostenlos, ohne Konto, Credits oder Gebühr pro Rendering.
- Fängt übertriebene Bewegung, Verdeckungen und weite Bögen ab, an denen normale Video-Interpolation scheitert.
- Die Skizzenvorgabe gibt bildgenaue Kontrolle darüber, wohin sich eine Figur bewegt.
- Läuft auf einer GPU, und die fp16-Version aus der Community senkt die Hürde auf rund 12 GB.
- Fügt sich in ComfyUI ein und steht dort neben Upscalern und anderen KI-Nodes im selben Graphen.
Nachteile
- Höchstens 16 Bilder in 512x320 pro Lauf, längere Einstellungen brauchen mehrere Durchgänge und einen Schnitt dazwischen.
- Die offizielle Version verlangt etwa 24 GB VRAM, und ein Clip dauert auf einer A100 mit 50 Schritten rund 24 Sekunden.
- Es gibt keine offizielle API und keinen gehosteten Dienst. Bezahlseiten mit diesem Namen stammen nicht von den Autoren, das Repository warnt ausdrücklich davor.
- Die Qualität hängt davon ab, dass beide Eingaben in Stil und Bildausschnitt zusammenpassen. Bei ungleichen Bildern driften Details und Übergänge wirken zufällig.
Häufige Fragen
Es erzeugt die Bilder zwischen zwei Schlüsselzeichnungen, also die Arbeit, die in der Branche Zwischenzeichnen heißt. Außerdem koloriert es Line Art und liefert kurze Bewegungstests. Das Ergebnis ist ein kurzer Clip, keine komplette Szene.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu ToonCrafter.
Alternativen zu ToonCrafter
Griffin by Tavus
Tavus · Stimme & Sprache · Video · ChatbotGriffin by Tavus ist das erste Modell für menschliche Interaktion: ein Full-Duplex-System von Video zu Video, das in einem KI-Videoanruf in Echtzeit beobachtet, zuhört und antwortet.
Syllaby AI Avatar 2.0
Syllaby · Video · MarketingSyllaby AI Avatar 2.0 macht aus einem Skript ein Video mit KI-Präsentator: wiederverwendbarer Avatar, natürliche Stimme, B-Roll und automatische Untertitel in einem Ablauf.
Vitra.ai
Vitra.ai · Stimme & Sprache · Video · MarketingVitra.ai ist eine agentische Content-Plattform, die Videos, Bilder, Dokumente und App-Inhalte in 120 Sprachen aus einem gemeinsamen Briefing erstellt, übersetzt, prüft und veröffentlicht.