ToonCrafter AI
Tencent AI Lab, CUHK, City University of Hong Kong · Vídeo
ToonCrafter AI es un modelo de investigación de código abierto que rellena los fotogramas entre dos dibujos y convierte los keyframes en clips animados cortos en tu propia GPU.
Acerca de ToonCrafter AI
About
Qué es ToonCrafter AI
ToonCrafter AI es una herramienta de animación con IA construida sobre un modelo generativo de interpolación de dibujos animados. Lo firman investigadores de la Universidad China de Hong Kong, la Universidad de la Ciudad de Hong Kong y Tencent AI Lab, y se presentó en SIGGRAPH Asia 2024. Le pasas un dibujo inicial y otro final, y el sistema predice los dibujos intermedios. La salida es un clip de 512x320 con hasta 16 fotogramas.
El punto de partida es un modelo de difusión de imagen a vídeo entrenado con metraje real, que después se reajusta para funcionar con arte 2D de líneas limpias y colores planos. Un segundo decodificador devuelve el detalle fino a cada fotograma generado. Ese trabajo importa porque los modelos de vídeo genéricos difuminan los contornos y arrastran el color en personajes con cel shading, y el resultado no sirve para animar en serio.
Tres límites marcan el uso. El modelo no entiende bien qué es cada objeto, así que una pieza rígida puede doblarse como tela. Le cuesta cuando algo entra o sale del encuadre. Y se detiene en 16 fotogramas, o sea unos dos segundos de movimiento, no una escena terminada. Tampoco hay una aplicación oficial alojada: el propio README lo dice, de modo que cualquier web que cobre por "ToonCrafter" es un tercero.
Primeros pasos
- Clona el repositorio de GitHub, crea un entorno conda con Python 3.8.5 e instala los paquetes de requirements.txt.
- Descarga el checkpoint desde Hugging Face y colócalo en checkpoints/tooncrafter_512_interp_v1.
- Elige dos fotogramas del mismo personaje y el mismo estilo, recortados cerca de la proporción 512x320, y escribe un prompt breve que describa el movimiento.
- Ejecuta scripts/run.sh en la terminal, o abre la interfaz del navegador con python gradio_app.py y sube ahí tus imágenes.
- Ajusta ddim_steps para ganar velocidad y frame_stride para decidir cuánto avanza la acción entre fotogramas. El vídeo aparece en la carpeta results.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de ToonCrafter AI.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Animadores 2D
- Desarrolladores indie
- Estudiantes y equipos de investigación
Tareas
- Intercalado de fotogramas clave
- Animación a partir de bocetos
- Colorear line art
Casos de uso
- Presentar un plano
- Prototipar animación de videojuego
- Probar un estilo
Funciones clave
Interpolación de dibujos con dos keyframes
Es la función central y donde la interpolación de fotogramas con IA se nota: dos imágenes de entrada, una secuencia de salida. El modelo resuelve oclusiones y movimientos amplios y no lineales, justo donde el mezclado de fotogramas corriente se rompe. Todo ocurre en una sola pasada de inferencia, sin entrenamiento ni ajuste por plano.
Guía con bocetos dispersos
Puedes añadir uno o varios bocetos para momentos concretos del clip y el modelo los sigue. Eso da control fotograma a fotograma sobre el timing y la dirección, no solo una pista de texto. Para un ciclo de caminata o un gesto con la mano, dos trazos sueltos comunican mejor la intención que un párrafo de prompt.
Colorización de bocetos con referencia
Si pasas una imagen de referencia coloreada junto a la animación de línea, la herramienta aplica esa paleta a los fotogramas en movimiento. Acepta una referencia o dos para controlar mejor las sombras. Los estudios lo usan para probar color scripts antes de que un colorista toque el plano.
Base de difusión ajustada a dibujos
El modelo de imagen a vídeo original aprendió movimiento de metraje real. El equipo lo adaptó con una etapa de rectificación entrenada con cientos de miles de clips de animación seleccionados, de modo que el prior de movimiento encaja con personajes dibujados. Después, un decodificador 3D de doble referencia recupera el detalle que el espacio latente comprimido tira por la borda.
Interfaz local en el navegador
El repositorio incluye una app de Gradio. Subes los dos fotogramas, escribes un prompt y pulsas generar sin tocar ningún archivo de configuración. La vía de línea de comandos expone los mismos ajustes y además los controles del sampler, así que puedes quedarte con la interfaz para pruebas rápidas y el script para lotes.
Código y pesos abiertos
Tanto el código de inferencia como el checkpoint son públicos. Puedes leer cómo funciona el sampler, cambiar componentes o integrar el modelo en una herramienta mayor. Esa apertura explica por qué el proyecto se extendió por las comunidades de animación y de ComfyUI en pocas semanas.
Ventajas y desventajas
Ventajas
- Sin suscripción ni sistema de créditos. Con el checkpoint en disco, generar cuesta solo electricidad.
- Resuelve oclusiones y movimientos amplios mejor que los modelos de interpolación genéricos, y la página del proyecto compara resultados con AnimeInterp, FILM y SEINE.
- La guía por bocetos y la colorización por referencia cubren dos tareas que las herramientas de vídeo solo con prompt no atacan de frente.
- La instalación es pequeña para un proyecto de difusión: un entorno de Python, un checkpoint y un YAML.
- La salida es lo bastante repetible para iterar, porque la semilla controla la variación y puedes relanzar el plano hasta que el movimiento convenza.
Desventajas
- El tope de 16 fotogramas a 512x320 son unos dos segundos de movimiento en baja resolución. Aquí no terminas un plano, solo lo previsualizas.
- La implementación de referencia pide unos 24 GB de VRAM, y hasta los forks que caben en 10 GB exigen una NVIDIA reciente. Con un portátil normal no hay manera salvo alquilar una GPU en la nube.
- El modelo no entiende los objetos, así que las partes rígidas se ondulan y cualquier cosa que entre o salga del encuadre rompe la toma. Cuenta con relanzar varias semillas por clip usable.
- La puesta en marcha es trabajo de desarrollador. No hay app web oficial, y el README avisa de que las webs de pago que usan el nombre no tienen relación con el equipo.
Preguntas frecuentes
Genera los fotogramas que faltan entre dos imágenes de dibujo, de modo que obtienes una animación corta a partir de un par de keyframes. La página del proyecto también muestra movimiento guiado por bocetos y colorización con referencia.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con ToonCrafter AI.
Alternativas a ToonCrafter AI
ngram 2.0
ngram · Vídeo · Marketingngram 2.0 es un generador de vídeo con IA pensado para equipos. Convierte una indicación, una grabación de pantalla o la URL de un producto en un vídeo explicativo, una demo o un vídeo con avatar IA, y cada escena sigue siendo editable.
OpenScreen 2
OpenScreen (open-source project) · Vídeo · ProductividadOpenScreen 2 es un grabador de pantalla y editor de vídeos de demostración gratuito y de código abierto para Windows, macOS y Linux, con zoom automático, marcos, subtítulos locales y edición con agentes.
Skreno
Skreno · Vídeo · ProductividadSkreno es un grabador de pantalla en el navegador que captura una pestaña, una ventana o todo el escritorio y añade transcripciones con IA, resúmenes y registros de consola a un solo enlace.