ToonCrafter
Tencent AI Lab, The Chinese University of Hong Kong, City University of Hong Kong · Vídeo
ToonCrafter es un modelo abierto y gratuito de Tencent AI Lab y la CUHK que crea los fotogramas intermedios de una secuencia de dibujo animado a partir de dos claves, y convierte el dibujo inicial y el final en un clip corto.
Acerca de ToonCrafter
About
Qué es ToonCrafter
ToonCrafter es una herramienta de animación 2D nacida en un laboratorio, no un producto de suscripción. La desarrolló Tencent AI Lab junto a investigadores de la Universidad China de Hong Kong y la Universidad de la Ciudad de Hong Kong, y el trabajo se presentó en SIGGRAPH Asia 2024 dentro de la revista ACM Transactions on Graphics. El código y los pesos salieron el 29 de mayo de 2024, y cualquiera puede descargarlos.
El problema que ataca es el intercalado. El animador dibuja las poses clave y después alguien tiene que dibujar todo lo que va entre ellas para que el movimiento se entienda. Los interpoladores de vídeo corrientes suponen que el movimiento avanza en línea recta entre fotogramas, y en dibujos animados eso casi nunca pasa: los cuerpos se estiran, se aplastan y se tapan unos a otros. ToonCrafter aprende el movimiento de material de animación en lugar de imponer correspondencia lineal, así que los fotogramas intermedios con IA siguen un golpe amplio o un salto brusco sin romperse.
Los límites pesan tanto como las funciones. Cada ejecución produce como máximo 16 fotogramas a 512x320, unos dos segundos a 8 fps. El checkpoint completo pide unos 24 GB de memoria de GPU y los autores avisan de que el resultado no está garantizado en todas las tomas. Sirve para ahorrar horas de lápiz, no para sustituir a un departamento de animación.
Primeros pasos
- Clona el repositorio, crea un entorno con Python 3.8.5 e instala los requisitos.
- Descarga el checkpoint ToonCrafter_512 y coloca model.ckpt dentro de checkpoints/tooncrafter_512_interp_v1/.
- Abre la interfaz Gradio con gradio_app.py, o usa el script de shell para trabajar por lotes. También hay versiones para ComfyUI y Colab.
- Carga el primer y el último fotograma con la misma relación de aspecto, ajusta el número de fotogramas y los fps, y si quieres añade un texto guía o un boceto.
- Revisa los fotogramas generados y móntalos en tu editor.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de ToonCrafter.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Animadores 2D que hacen intercalado
- Creadores independientes y artistas de videojuegos
- Estudiantes e investigadores
Tareas
- Rellenar el hueco entre dos poses del mismo personaje
- Colorear bocetos a línea
- Probar movimiento antes de gastar presupuesto
- Sacar hojas de sprites para prototipos
Casos de uso
- Previsualizar una escena para venderla a un cliente
- Montar un pipeline de ComfyUI
- Reproducir un resultado de paper para clase o informe
Funciones clave
Interpolación de animación cartoon entre dos imágenes
La función central es la interpolación de animación cartoon a partir de dos imágenes fijas. Das un fotograma de inicio y otro de cierre, y el modelo sintetiza los intermedios como una secuencia continua. No necesita un vídeo de partida, y eso lo separa de los filtros que solo retocan metraje ya grabado. Por eso se usa como generador de animación 2D y no como filtro de limpieza.
Prior de movimiento ajustado a dibujo animado
La base es un modelo de difusión imagen a vídeo entrenado con metraje real, corregido después con material de animación. Esa corrección conserva la estabilidad de movimiento que ya tenía el modelo original y la inclina hacia la física del dibujo. En la práctica, las poses exageradas y los arcos rápidos aguantan mejor que con un interpolador genérico.
Decodificador 3D de doble referencia
Un segundo decodificador toma detalle de las dos imágenes de entrada y lo inyecta en los fotogramas generados. Las líneas finas y las zonas de color plano son lo primero que se emborrona en un espacio latente comprimido, y esta ruta evita que el contorno se convierta en mancha. Las caras y los objetos pequeños se sostienen bastante mejor gracias a ella.
Animación guiada por boceto
Un codificador de boceto te deja dibujar el movimiento que quieres y el modelo lo sigue. Como trabaja fotograma a fotograma, puedes marcar la guía en pocos fotogramas o en muchos, según el control que pida el plano. Esta es la función que convierte el ensayo y error en dirección real, y la razón principal por la que un estudio se molesta en instalarlo.
Coloreado de line art
Más allá de la interpolación, ToonCrafter hace coloreado de line art cuando emparejas un boceto con una referencia de color. El modelo traslada la paleta y el estilo de sombreado al dibujo en lugar de rellenar regiones planas. Viene bien para probar guiones de color antes del trabajo de pintura definitivo.
Despliegue local y por nodos
Todo corre en tu máquina. Hay una app Gradio para pruebas rápidas, una vía de línea de comandos para lotes, un wrapper de ComfyUI y versiones de la comunidad para Windows y Colab. Un checkpoint fp16 podado reduce la memoria a unos 12 GB, lo que deja la herramienta al alcance de una sola tarjeta de consumo.
Ventajas y desventajas
Ventajas
- Pesos y código gratis, sin cuenta, sin créditos y sin pago por render.
- Resuelve movimiento exagerado, oclusiones y giros amplios que rompen la interpolación de vídeo estándar.
- La guía por boceto da control fotograma a fotograma sobre hacia dónde se mueve el personaje.
- Corre en una GPU, y la versión fp16 de la comunidad baja el requisito a unos 12 GB.
- Encaja en ComfyUI, así que convive con escaladores y otros nodos de IA en el mismo grafo.
Desventajas
- Techo de 16 fotogramas y 512x320 por ejecución, así que los planos largos piden varias pasadas y unirlas después.
- La versión oficial pide unos 24 GB de VRAM y un clip tarda alrededor de 24 segundos en una A100 con 50 pasos.
- No hay API oficial ni servicio alojado. Los sitios de pago que usan el nombre no son de los autores, y el repositorio avisa de ello.
- La calidad depende de que las dos entradas coincidan en estilo y encuadre. Con imágenes dispares aparecen rasgos que derivan y transiciones aleatorias.
Preguntas frecuentes
Genera los fotogramas que van entre dos dibujos clave de animación, la tarea que en la industria se llama intercalado. También colorea line art y produce pruebas de movimiento cortas. La salida es un clip breve, no una escena completa.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con ToonCrafter.
Alternativas a ToonCrafter
Vadu AI
Vadu AI · Imagen · VídeoVadu AI es un generador de video con IA basado en web que convierte indicaciones escritas o imágenes fijas en clips cortos, y también crea imágenes por su cuenta. Escribes lo que quieres, eliges un modelo y un estilo, y la plataforma genera el resultado en minutos. Un plan gratuito cubre pruebas ligeras, mientras que los niveles de pago van de 9 a 77,40 dólares al mes según cuántos créditos gastes.
Mykaraoke Video
MyKaraoke Video · VídeoMykaraoke Video es un creador de videos karaoke y de videos con letras que funciona online y convierte cualquier canción en un video terminado y con las letras sincronizadas directamente en el navegador. Se encarga de la parte lenta por ti. La IA separa las voces de la mezcla y ajusta la letra al ritmo, y luego personalizas el fondo, las fuentes y los colores antes de exportar en MP4 a 1080p. Si haces videos con letras para redes sociales, noches de fiesta o promoción musical, te ahorras por completo las instalaciones de software y el trabajo de sincronizar a mano. ¿Quieres un generador de videos karaoke que no te consuma toda la tarde? Esa es la propuesta.
Finalframe
Finalframe · VídeoFinalframe es un conjunto de herramientas gratuitas que funcionan en el navegador y sirven para sacar fotogramas exactos de un clip de vídeo. Su función más conocida, el Extractor de Último Fotograma, te deja extraer el último fotograma de cualquier vídeo para usarlo como imagen inicial en herramientas de vídeo con IA como Luma Dream Machine, Runway o Kling. ¿Quieres seguir un clip? Ese último fotograma es tu punto de partida. La herramienta se ejecuta en tu propio navegador, no pide registro y no cuesta nada. Una app aparte de generación de vídeo con IA, de pago y del mismo equipo, está fuera de línea mientras la reconstruyen.