OmniHuman by ByteDance

OmniHuman parte de una imagen, no de un rig, un traje de captura de movimiento ni un vídeo del actor. Acepta cualquier proporción de imagen y cualquier encuadre corporal, así que un primer plano de la cara, un plano de medio cuerpo y uno de cuerpo entero funcionan sin recortes. El cuerpo se mueve como una pieza en lugar de partirse en una cabeza flotante sobre un torso quieto. Para quien crea contenido, eso significa que la toma que ya tiene suele bastar para empezar.

El modelo lee una pista de audio y produce más que labios en movimiento. Este talking head con audio mueve todo el cuerpo: la voz guía gestos, postura y pequeños movimientos de reposo que encajan con el ritmo. Cantar también funciona, incluso las notas altas y las pausas entre frases, y el movimiento cambia según el estilo musical. Aquí es donde OmniHuman se separa de un filtro de sincronización labial simple, que solo mueve la boca.

Como el modelo se entrena con señales de movimiento mezcladas, no se queda en el audio. Puede seguir un vídeo de referencia para copiar acciones concretas del cuerpo y puede combinar audio y vídeo para controlar detalles como un gesto puntual mientras la voz guía la interpretación. Esa flexibilidad viene del enfoque de entrenamiento, donde las condiciones de movimiento se mezclan en vez de repartirse en modelos especializados separados.

La versión 1.5 añade un paso de razonamiento que planifica el movimiento antes de dibujarlo. Un modelo de lenguaje multimodal grande lee la imagen, el audio y cualquier prompt de texto, y después escribe un plan estructurado de lo que el personaje debe hacer y cuándo. El renderizador sigue ese plan, así que una frase sobre leer una carta se convierte en una secuencia de alcanzar, abrir y mirar, no en un gesto al azar. El equipo llama a esta pareja Sistema 1 y Sistema 2, tomando los términos de la psicología del pensamiento rápido y lento.

Puedes escribir un prompt para dirigir la escena. Los prompts de las demos cubren movimientos de cámara como un paneo lento o un plano en mano, y también acciones como girarse hacia la cámara o estirar la mano hacia ella. El modelo mantiene el sincronizado labial mientras sigue la instrucción, así que el personaje sigue moviendo los labios correctos mientras la cámara se mueve. Para quien planifica un plano, eso convierte una línea de texto en un primer borrador del encuadre.

OmniHuman-1.5 maneja escenas con más de una persona enviando cada pista de audio al personaje correcto del mismo encuadre. Los diálogos de grupo y los planos de conjunto funcionan sin cortar entre clips separados. El modelo también cubre entradas estilizadas, desde dibujos animados y personajes 3D hasta animales reales, y ajusta el movimiento al estilo de cada sujeto en vez de forzar una plantilla humana sobre él.

El modelo 1.5 genera clips de más de un minuto con movimiento de cámara continuo e interacción compleja, muy por encima de los bucles de pocos segundos en los que se quedan muchas herramientas de avatar. Las demostraciones del propio equipo muestran movimiento dinámico a lo largo de esa duración, no una pose estática que va a la deriva. Los clips más largos importan para narrar, donde una escena necesita respirar en lugar de reiniciarse cada pocos segundos.