ToonCrafter AI
Tencent AI Lab, CUHK, City University of Hong Kong · Video
ToonCrafter AI ist ein Open-Source-Forschungsmodell, das die Bilder zwischen zwei Zeichnungen füllt und Keyframes auf der eigenen GPU in kurze Animationsclips verwandelt.
Über ToonCrafter AI
About
Was ist ToonCrafter AI
ToonCrafter AI ist ein KI-Tool für Zeichentrick, das auf einem generativen Modell für cartoon interpolation aufbaut. Dahinter stehen Forschende der Chinese University of Hong Kong, der City University of Hong Kong und des Tencent AI Lab, vorgestellt auf der SIGGRAPH Asia 2024. Sie geben eine Startzeichnung und eine Endzeichnung vor, das System sagt die Bilder dazwischen voraus. Heraus kommt ein Clip in 512x320 mit bis zu 16 Bildern.
Ausgangspunkt ist ein Bild-zu-Video-Diffusionsmodell, das mit echtem Filmmaterial trainiert wurde und danach für flache 2D-Kunst mit klaren Linien nachjustiert wurde. Ein zweiter Decoder holt feine Details in jedes erzeugte Bild zurück. Das ist nötig, weil allgemeine Videomodelle Konturen verwischen und Flächenfarben auf Cel-Shading-Figuren verschmieren. Damit lässt sich nicht ernsthaft animieren.
Drei Grenzen bestimmen den Einsatz. Das Modell versteht nicht wirklich, was die Objekte sind, deshalb kann ein starres Bauteil wie Stoff schwingen. Es scheitert, wenn etwas ins Bild kommt oder es verlässt. Und bei 16 Bildern ist Schluss, also rund zwei Sekunden Bewegung, keine fertige Szene. Eine offizielle gehostete App gibt es nicht. Das README sagt das offen, also ist jede Seite, die Geld für "ToonCrafter" verlangt, ein Drittanbieter.
Erste Schritte
- Repository von GitHub klonen, eine Conda-Umgebung mit Python 3.8.5 anlegen und die Pakete aus requirements.txt installieren.
- Den Checkpoint von Hugging Face herunterladen und nach checkpoints/tooncrafter_512_interp_v1 legen.
- Zwei Bilder derselben Figur im selben Stil wählen, nahe am Format 512x320 zuschneiden und einen kurzen Prompt zur Bewegung schreiben.
- scripts/run.sh im Terminal starten oder die Browser-Oberfläche mit python gradio_app.py öffnen und die Bilder dort hochladen.
- ddim_steps für Tempo und frame_stride für die Bewegungsweite zwischen zwei Bildern anpassen. Das Video landet im Ordner results.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von ToonCrafter AI.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- 2D-Animatorinnen und -Animatoren
- Indie-Entwickler
- Studierende und Forschungsteams
Aufgaben
- Keyframe interpolation
- Animation aus Skizzen
- Line Art kolorieren
Szenarien
- Ein Shot-Pitch
- Spieleanimation prototypen
- Einen Stil testen
Wichtigste Funktionen
Interpolation mit zwei Keyframes
Das ist die Kernfunktion, und hier wird KI-Interpolation sichtbar. KI-Animation heißt an dieser Stelle: zwei Bilder hinein, eine Sequenz heraus. Das Modell löst Verdeckungen und große, nicht lineare Bewegungen, genau dort, wo gewöhnliches Frame-Blending auseinanderfällt. Alles passiert in einem Inferenzdurchlauf, ohne Training und ohne Feintuning pro Shot.
Steuerung über sparsame Skizzen
Sie können für einzelne Momente im Clip eine oder mehrere grobe Skizzen beilegen, und das Modell folgt ihnen. Das gibt Kontrolle über Timing und Richtung Bild für Bild, nicht nur einen Texthinweis. Für einen Gehzyklus oder eine Handbewegung sagen zwei schnelle Striche mehr über die Absicht als ein Absatz Prompt.
Kolorierung nach Referenz
Legen Sie ein farbiges Referenzbild neben die Linienanimation, überträgt das Werkzeug diese Palette auf die bewegten Bilder. Eine Referenz oder zwei sind möglich, wenn Sie die Schattierung genauer steuern wollen. Studios testen damit Color Scripts, bevor jemand am Shot sitzt.
Auf Zeichentrick angepasste Diffusionsbasis
Das ursprüngliche Bild-zu-Video-Modell hat Bewegung aus echtem Filmmaterial gelernt. Das Team hat es mit einer Rectification-Stufe an rund Hunderttausenden ausgewählten Animationsclips angepasst, damit die Bewegungsannahme zu gezeichneten Figuren passt. Ein 3D-Decoder mit doppelter Referenz holt danach Details zurück, die der komprimierte latente Raum wegwirft.
Lokale Oberfläche im Browser
Im Repository liegt eine Gradio-App. Sie laden die zwei Bilder hoch, tippen einen Prompt und drücken auf Generieren, ohne eine Konfigurationsdatei anzufassen. Die Kommandozeile bietet dieselben Einstellungen plus die Sampler-Regler, also bleibt die Oberfläche für schnelle Tests und das Skript für Serien.
Offener Code und offene Gewichte
Inferenzcode und Checkpoint sind öffentlich. Sie können nachlesen, wie der Sampler arbeitet, Bauteile austauschen oder das Modell in ein größeres Werkzeug einhängen. Diese Offenheit erklärt, warum sich das Projekt innerhalb weniger Wochen in der Animations- und der ComfyUI-Community verbreitet hat.
Vor- und Nachteile
Vorteile
- Kein Abo, kein Credit-System. Liegt der Checkpoint auf der Platte, kostet das Erzeugen nur Strom.
- Verdeckungen und weite Bewegungen sitzen besser als bei allgemeinen Interpolationsmodellen, und die Projektseite vergleicht die Ergebnisse mit AnimeInterp, FILM und SEINE.
- Skizzensteuerung und Referenzkolorierung decken zwei Aufgaben ab, die reine Prompt-Videotools nicht direkt treffen.
- Die Installation bleibt für ein Diffusionsprojekt klein: eine Python-Umgebung, ein Checkpoint, eine YAML-Datei.
- Die Ausgabe ist reproduzierbar genug zum Iterieren, weil der Seed die Variation steuert und Sie einen Shot neu starten können, bis die Bewegung stimmt.
Nachteile
- Die Grenze von 16 Bildern bei 512x320 ergibt rund zwei Sekunden Bewegung in niedriger Auflösung. Sie schauen einen Shot an, Sie stellen ihn nicht fertig.
- Die Referenzumsetzung verlangt etwa 24 GB VRAM, und selbst Forks, die mit 10 GB laufen, brauchen eine neuere NVIDIA-Karte. Auf einem normalen Notebook hilft nur eine gemietete Cloud-GPU.
- Das Modell versteht die Objekte nicht, also wellen starre Teile und alles, was ins Bild tritt oder es verlässt, zerlegt die Aufnahme. Rechnen Sie mit mehreren Seeds pro brauchbarem Clip.
- Die Einrichtung bleibt Entwicklerarbeit. Eine offizielle Web-App gibt es nicht, und das README warnt, dass Bezahlseiten mit diesem Namen nichts mit dem Team zu tun haben.
Häufige Fragen
Es erzeugt die fehlenden Bilder zwischen zwei Zeichnungen, sodass aus einem Keyframe-Paar eine kurze Animation wird. Die Projektseite zeigt außerdem skizzengesteuerte Bewegung und Kolorierung nach Referenz.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu ToonCrafter AI.
Alternativen zu ToonCrafter AI
ngram 2.0
ngram · Video · Marketingngram 2.0 ist ein KI-Videogenerator für Teams. Aus einem Prompt, einer Bildschirmaufnahme oder einer Produkt-URL entsteht ein Erklärvideo, eine Demo oder ein KI-Avatar-Video, und jede Szene bleibt bearbeitbar.
OpenScreen 2
OpenScreen (open-source project) · Video · ProduktivitätOpenScreen 2 ist ein kostenloser Open-Source-Bildschirmrecorder und Demo-Editor für Windows, macOS und Linux, mit automatischem Zoom, gestalteten Rahmen, lokalen Untertiteln und Schnitt per Agent.
Skreno
Skreno · Video · ProduktivitätSkreno ist ein Bildschirmrecorder im Browser: Er nimmt einen Tab, ein Fenster oder den ganzen Bildschirm auf und hängt KI-Transkripte, Zusammenfassungen und Konsolen-Logs an einen einzigen Link.