DreamActor-M1 From ByteDance

El sistema de control combina tres señales: representaciones faciales implícitas, esferas 3D de la cabeza y esqueletos corporales en 3D. Las esferas de cabeza siguen dónde está la cabeza y hacia dónde mira, los esqueletos gestionan el movimiento del cuerpo, y la codificación facial lleva la expresión. Según ByteDance, esta mezcla mueve cara y cuerpo a la vez en lugar de sacrificar uno por el otro, que es el punto débil habitual de la animación con solo esqueletos.

DreamActor-M1 está pensado para funcionar con cualquier encuadre, desde un retrato cerrado hasta un plano de cuerpo entero, sin perder calidad cuando el sujeto se hace más pequeño en el cuadro. ByteDance lo entrenó en etapas progresivas con datos a distintas resoluciones y escalas. Esa es la parte que decide si un solo modelo cubre tanto un primer plano como un clip de baile, o si tienes que elegir uno.

En clips largos, el modelo toma patrones de movimiento de fotogramas consecutivos y añade referencias visuales extra, que hacen casi todo el trabajo con las partes del cuerpo que la imagen de referencia nunca muestra. Las demostraciones del proyecto se apoyan en esto para que una mano o una espalda se vean estables mientras entran y salen del encuadre, el punto donde muchas herramientas de animación empiezan a parpadear o a deformarse.

Puedes mover solo una parte del movimiento. El proyecto muestra resultados donde solo se transfieren cara y cabeza mientras el cuerpo se queda en su pose original, y otros casos que ajustan la longitud de los huesos para que un sujeto más alto o más bajo se anime sin romper la forma. Viene bien cuando quieres un toque de expresividad y no una recreación de cuerpo entero.

Más allá del movimiento guiado por vídeo, el modelo se extiende al habla. Genera sincronía labial a partir de audio en varios idiomas, lo que apunta a doblaje y a presentadores virtuales. La demostración muestra la boca siguiendo el audio mientras el resto de la actuación se mantiene coherente.

El motor es un transformer de difusión (DiT), la misma clase de arquitectura que hay detrás de muchos modelos actuales de imagen y vídeo. Un VAE 3D codifica el clip, un codificador de pose gestiona los esqueletos y las esferas de cabeza, y un codificador de movimiento facial añade expresión mediante atención cruzada. La imagen de referencia pasa por los mismos pesos del transformer que el vídeo con ruido, y así se mantiene la identidad en el resultado.