ToonCrafter AI
Tencent AI Lab, CUHK, City University of Hong Kong · Vidéo
ToonCrafter AI est un modèle de recherche open source qui comble les images entre deux dessins et transforme des images clés en courts clips animés sur votre propre GPU.
À propos de ToonCrafter AI
About
Qu'est-ce que ToonCrafter AI
ToonCrafter AI est un outil d'animation par IA bâti sur un modèle génératif d'interpolation de dessins animés. Il vient de chercheurs de l'Université chinoise de Hong Kong, de l'Université de la ville de Hong Kong et du Tencent AI Lab, et il a été présenté à SIGGRAPH Asia 2024. Vous fournissez un dessin de départ et un dessin d'arrivée, et le système prédit les dessins intermédiaires. La sortie est un clip en 512x320 de 16 images maximum.
Le point de départ est un modèle de diffusion image vers vidéo entraîné sur des prises de vue réelles, réajusté ensuite pour l'art 2D aux traits nets et aux aplats de couleur. Un second décodeur ramène le détail fin dans chaque image générée. Ce travail compte, parce que les modèles vidéo généralistes floutent les contours et étalent les couleurs sur un personnage en cel shading, ce qui rend leur résultat inutilisable pour une vraie production.
Trois limites cadrent l'usage. Le modèle ne comprend pas vraiment ce que représentent les objets, donc une pièce rigide peut se plier comme du tissu. Il décroche quand un élément entre ou sort du cadre. Et il s'arrête à 16 images, soit environ deux secondes de mouvement, pas une scène terminée. Il n'existe pas non plus d'application officielle hébergée: le README le dit noir sur blanc, donc tout site qui facture un accès "ToonCrafter" est un tiers.
Pour démarrer
- Clonez le dépôt GitHub, créez un environnement conda avec Python 3.8.5 et installez les paquets de requirements.txt.
- Téléchargez le checkpoint sur Hugging Face et placez-le dans checkpoints/tooncrafter_512_interp_v1.
- Choisissez deux images du même personnage dans le même style, recadrées près du ratio 512x320, et rédigez un prompt court qui décrit le mouvement.
- Lancez scripts/run.sh dans le terminal, ou ouvrez l'interface navigateur avec python gradio_app.py pour envoyer vos images.
- Réglez ddim_steps pour la vitesse et frame_stride pour l'amplitude du mouvement entre deux images. La vidéo arrive dans le dossier results.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de ToonCrafter AI.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Animateurs 2D
- Développeurs indépendants
- Étudiants et équipes de recherche
Tâches
- Interpolation d'images clés
- Animation à partir de croquis
- Mise en couleur de line art
Cas d'usage
- Présenter un plan
- Prototyper une animation de jeu
- Tester un style
Fonctionnalités clés
Interpolation de dessins à deux images clés
C'est la fonction centrale, et celle où l'interpolation d'images par IA se voit: deux images entrent, une séquence sort. Le modèle gère les occlusions et les mouvements amples et non linéaires, exactement là où le mélange d'images classique s'écroule. Tout se joue en une passe d'inférence, sans entraînement ni réglage par plan.
Guidage par croquis épars
Vous ajoutez un ou plusieurs croquis à des moments précis du clip et le modèle les suit. Vous gagnez un contrôle image par image sur le timing et la direction, pas seulement une indication textuelle. Pour un cycle de marche ou un geste de la main, deux traits rapides disent l'intention mieux qu'un paragraphe de prompt.
Mise en couleur par référence
Si vous joignez une image de référence colorée à l'animation au trait, l'outil applique cette palette aux images en mouvement. Une ou deux références sont acceptées pour mieux tenir les ombres. Les studios s'en servent pour tester des color scripts avant que le coloriste touche au plan.
Base de diffusion adaptée au dessin
Le modèle image vers vidéo d'origine a appris le mouvement sur des prises de vue réelles. L'équipe l'a adapté avec une étape de rectification entraînée sur des centaines de milliers de clips d'animation sélectionnés, pour que le prior de mouvement colle aux personnages dessinés. Un décodeur 3D à double référence récupère ensuite le détail que l'espace latent compressé sacrifie.
Interface locale dans le navigateur
Le dépôt embarque une application Gradio. Vous envoyez les deux images, tapez un prompt et cliquez sur générer sans ouvrir un fichier de configuration. La ligne de commande expose les mêmes réglages et les contrôles de l'échantillonneur, donc l'interface sert aux essais rapides et le script aux séries.
Code et poids ouverts
Le code d'inférence et le checkpoint sont publics. Vous pouvez lire le fonctionnement de l'échantillonneur, remplacer des composants ou brancher le modèle dans un outil plus large. Cette ouverture explique pourquoi le projet a circulé dans les communautés animation et ComfyUI en quelques semaines.
Avantages et inconvénients
Avantages
- Aucun abonnement, aucun crédit. Une fois le checkpoint sur le disque, générer ne coûte que de l'électricité.
- Il absorbe mieux les occlusions et les mouvements larges que les modèles d'interpolation génériques, et la page du projet compare ses résultats à AnimeInterp, FILM et SEINE.
- Le guidage par croquis et la mise en couleur par référence couvrent deux tâches que les outils vidéo au prompt ne visent pas directement.
- L'installation reste légère pour un projet de diffusion: un environnement Python, un checkpoint, un fichier YAML.
- La sortie est assez reproductible pour itérer, la seed contrôlant la variation, et vous pouvez relancer un plan jusqu'à ce que le mouvement sonne juste.
Inconvénients
- Le plafond de 16 images en 512x320 donne environ deux secondes de mouvement en basse résolution. Vous prévisualisez un plan, vous ne le terminez pas.
- L'implémentation de référence demande près de 24 Go de VRAM, et même les forks qui tiennent en 10 Go exigent une NVIDIA récente. Sur un portable ordinaire, il faut louer une GPU dans le cloud.
- Le modèle ne comprend pas les objets, donc les parties rigides ondulent et tout élément qui entre ou sort du cadre casse la prise. Prévoyez plusieurs seeds par clip utilisable.
- La mise en route reste un travail de développeur. Aucune application web officielle, et le README prévient que les sites payants qui reprennent le nom ne sont pas liés à l'équipe.
Questions fréquentes
Il génère les images manquantes entre deux dessins, ce qui donne une courte animation à partir d'une paire d'images clés. La page du projet montre aussi le guidage par croquis et la mise en couleur par référence.
Contenus associés
Découvrez des outils, des compétences et des articles liés à ToonCrafter AI.
Alternatives à ToonCrafter AI
Griffin by Tavus
Tavus · Voix et langage · Vidéo · ChatbotGriffin by Tavus est le premier modèle d'interaction humaine : un système vidéo vers vidéo, full-duplex, qui observe, écoute et répond pendant un appel vidéo en temps réel.
Syllaby AI Avatar 2.0
Syllaby · Vidéo · MarketingSyllaby AI Avatar 2.0 transforme un script en vidéo avec présentateur IA : avatar réutilisable, voix naturelle, inserts et sous-titres automatiques dans un même flux.
Vitra.ai
Vitra.ai · Voix et langage · Vidéo · MarketingVitra.ai est une plateforme de contenu agentique qui crée, traduit, relit et publie vidéos, images, documents et contenus d'applications en 120 langues depuis un même brief.