ToonCrafter
Tencent AI Lab, The Chinese University of Hong Kong, City University of Hong Kong · Vidéo
ToonCrafter est un modèle libre et gratuit du Tencent AI Lab et de la CUHK qui produit les images intermédiaires d'une séquence de dessin animé à partir de deux images clés, et transforme le dessin de départ et celui d'arrivée en un court clip.
À propos de ToonCrafter
About
Qu'est-ce que ToonCrafter
ToonCrafter est un outil d'animation 2D issu de la recherche, pas un produit par abonnement. Le Tencent AI Lab l'a développé avec des chercheurs de l'Université chinoise de Hong Kong et de l'Université de la ville de Hong Kong, et les travaux ont été présentés à SIGGRAPH Asia 2024 dans ACM Transactions on Graphics. Le code et les poids sont sortis le 29 mai 2024, et chacun peut les télécharger.
La cible, c'est l'intercalage. L'animateur dessine les poses clés, puis quelqu'un doit dessiner tout ce qui se passe entre elles pour que le mouvement se lise. Les interpolateurs vidéo classiques supposent un déplacement en ligne droite d'une image à l'autre, ce qui ne tient pas sur un dessin animé : les corps s'étirent, s'aplatissent et passent devant d'autres. ToonCrafter apprend le mouvement sur des dessins animés au lieu d'imposer une correspondance linéaire, si bien que les images intermédiaires par IA suivent un grand coup de bras ou un saut sec sans casser.
Les limites comptent autant que les fonctions. Une exécution donne au maximum 16 images en 512x320, soit environ deux secondes à 8 fps. Le checkpoint complet réclame près de 24 Go de mémoire GPU, et les auteurs préviennent que le résultat n'est pas garanti sur chaque plan. Comptez sur un outil de brouillon qui épargne des heures de crayon, pas sur un remplaçant pour un studio d'animation.
Pour démarrer
- Clonez le dépôt, créez un environnement Python 3.8.5 et installez les dépendances.
- Téléchargez le checkpoint ToonCrafter_512 et placez model.ckpt dans checkpoints/tooncrafter_512_interp_v1/.
- Lancez l'interface Gradio avec gradio_app.py, ou passez par le script shell pour traiter en lot. Des versions ComfyUI et Colab existent aussi.
- Chargez la première et la dernière image dans le même rapport de forme, réglez le nombre d'images et le fps, puis ajoutez éventuellement un texte ou un croquis de guidage.
- Vérifiez les images produites, puis assemblez-les dans votre logiciel de montage.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de ToonCrafter.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Animateurs 2D chargés de l'intercalage
- Créateurs indépendants et artistes de jeux
- Étudiants et chercheurs
Tâches
- Combler l'écart entre deux poses d'un même personnage
- Mettre en couleur un trait
- Tester un mouvement avant d'engager un budget
- Produire des planches de sprites pour un prototype
Cas d'usage
- Prévisualiser une scène pour convaincre un client
- Construire un pipeline ComfyUI
- Reproduire un résultat d'article pour un cours ou un rapport
Fonctionnalités clés
Interpolation d'animation cartoon entre deux images
La fonction centrale est l'interpolation d'animation cartoon à partir de deux images fixes. Vous fournissez une image de début et une de fin, et le modèle synthétise celles du milieu en séquence continue. Aucune vidéo de départ n'est nécessaire, ce qui le distingue des filtres qui ne retouchent que des rushes déjà tournés. C'est pour cela qu'on l'utilise comme générateur d'animation 2D et non comme filtre de nettoyage.
Prior de mouvement adapté au dessin animé
La base est un modèle de diffusion image vers vidéo entraîné sur des prises de vue réelles, corrigé ensuite avec des dessins animés. Cette correction garde la stabilité de mouvement acquise sur le réel et l'incline vers la physique du dessin. En pratique, les poses exagérées et les arcs rapides résistent mieux qu'avec un interpolateur générique.
Décodeur 3D à double référence
Un second décodeur puise du détail dans les deux images d'entrée et le réinjecte dans les images générées. Les traits fins et les aplats de couleur sont les premiers à baver dans un espace latent compressé, et ce chemin évite que le contour tourne à la bouillie. Les visages et les petits objets tiennent nettement mieux grâce à lui.
Animation guidée par croquis
Un encodeur de croquis vous laisse dessiner le mouvement souhaité, que le modèle suit. Comme il travaille image par image, vous pouvez guider peu d'images ou beaucoup, selon le contrôle que demande le plan. C'est ce réglage qui remplace le tâtonnement par une vraie direction, et la raison principale pour laquelle un studio accepte de l'installer en local.
Colorisation de line art
Au-delà de l'interpolation, ToonCrafter assure la colorisation de line art quand vous associez un croquis à une référence de couleur. Le modèle transfère la palette et le style d'ombrage sur le dessin au lieu de remplir des zones à plat. Pratique pour tester une charte de couleurs avant la peinture définitive.
Exécution locale et par nœuds
Tout tourne sur votre machine. Une application Gradio sert aux essais rapides, une voie en ligne de commande traite les lots, un wrapper ComfyUI existe, et des versions communautaires couvrent Windows et Colab. Un checkpoint fp16 élagué fait tomber la mémoire à environ 12 Go, ce qui met l'outil à portée d'une seule carte grand public.
Avantages et inconvénients
Avantages
- Poids et code gratuits, sans compte, sans crédits et sans frais par rendu.
- Gère les mouvements exagérés, les occlusions et les grands arcs qui mettent en échec l'interpolation vidéo classique.
- Le guidage par croquis donne un contrôle image par image sur la trajectoire du personnage.
- Tourne sur une seule GPU, et la version fp16 communautaire abaisse le seuil à environ 12 Go.
- S'intègre à ComfyUI, donc cohabite avec des upscalers et d'autres nœuds IA dans un même graphe.
Inconvénients
- Plafond de 16 images en 512x320 par exécution, ce qui oblige à découper les plans longs en plusieurs passes.
- La version officielle réclame environ 24 Go de VRAM, et un clip prend à peu près 24 secondes sur une A100 à 50 étapes.
- Pas d'API officielle ni de service hébergé. Les sites payants qui reprennent le nom ne viennent pas des auteurs, et le dépôt le signale.
- La qualité dépend de la cohérence des deux entrées en style et en cadrage. Des images disparates produisent des traits qui dérivent et des transitions aléatoires.
Questions fréquentes
Il génère les images situées entre deux dessins clés d'animation, ce que le métier appelle l'intercalage. Il colorise aussi du line art et produit de courts tests de mouvement. La sortie reste un clip bref, pas une scène complète.
Contenus associés
Découvrez des outils, des compétences et des articles liés à ToonCrafter.
Alternatives à ToonCrafter
Vadu AI
Vadu AI · Image · VidéoVadu AI est un générateur de vidéo par IA basé sur le web qui transforme des invites écrites ou des images fixes en clips courts, et il crée aussi des images de son propre chef. Vous tapez ce que vous voulez, choisissez un modèle et un style, et la plateforme produit le résultat en quelques minutes. Une offre gratuite couvre les tests légers, tandis que les formules payantes vont de 9 à 77,40 dollars par mois selon le nombre de crédits que vous consommez.
Mykaraoke Video
MyKaraoke Video · VidéoMykaraoke Video est un créateur de vidéos karaoké et de vidéos avec paroles qui fonctionne en ligne et transforme n'importe quelle chanson en une vidéo finie, paroles synchronisées, directement dans votre navigateur. Il s'occupe de la partie fastidieuse à votre place. L'IA extrait les voix du mixage et cale les paroles sur le rythme, puis vous personnalisez l'arrière-plan, les polices et les couleurs avant d'exporter en MP4 1080p. Si vous créez des vidéos avec paroles pour les réseaux sociaux, des soirées ou la promotion musicale, vous évitez complètement les installations logicielles et le travail de synchronisation manuelle. Vous voulez un générateur de vidéos karaoké qui ne vous mange pas toute la soirée ? C'est la promesse.
Finalframe
Finalframe · VidéoFinalframe est un ensemble d'outils gratuits qui tournent dans le navigateur et servent à sortir des trames précises d'un clip vidéo. Sa fonction la plus connue, l'Extracteur de Dernière Trame, permet d'extraire la dernière trame de n'importe quelle vidéo pour l'utiliser comme image de départ dans des outils vidéo IA comme Luma Dream Machine, Runway ou Kling. Vous voulez prolonger un clip ? Cette dernière trame est votre point de départ. L'outil tourne dans votre propre navigateur, ne demande aucun compte et ne coûte rien. Une application séparée de génération vidéo par IA, payante et de la même équipe, est hors ligne le temps d'être reconstruite.