HunyuanVideo-Avatar

El truco de fondo es fácil de decir y difícil de lograr: le entregas un solo retrato y una pista de audio, y el modelo devuelve un vídeo donde el personaje habla o canta con los labios a tono y un movimiento corporal natural. Acepta imágenes de distintos tamaños y resoluciones, de modo que tanto un recorte cerrado como un plano de cuerpo entero sirven como entrada. Esta es la función que te ahorra un día de rodaje, porque una foto fija sustituye a una actuación filmada.

Un módulo de emoción de audio lee las señales emocionales y las lleva a la cara del personaje, así que la expresión sigue el ánimo del audio en vez de quedarse plana. Una imagen de referencia orienta esa emoción, lo que significa que la misma línea de voz puede sonar alegre o seria según lo que le des. Para quien ha visto a un avatar rígido leer un guion, esta es la parte que hace que el resultado se sienta vivo.

El modo multipersonaje deja que varias personas compartan una escena, cada una movida por su propio audio, algo que a los modelos anteriores les costaba mantener separado. Un adaptador de audio sensible a la cara enmascara cada rostro para que la voz de un personaje no se cuele en la boca de otro. Eso convierte un pódcast de dos anfitriones o una entrevista de ida y vuelta en un solo vídeo, en lugar de dos clips que alineas a mano. Es la razón más fuerte para elegir este modelo por encima de una simple herramienta de intercambio de caras.

El modelo funciona igual con caras fotorrealistas, dibujos, renders 3D y personajes antropomorfos, así que una mascota estilizada recibe el mismo trato de labios y movimiento que un presentador real. También genera en encuadres de retrato, medio cuerpo y cuerpo entero, algo que importa cuando una cabeza parlante no basta. Menos concesiones en la entrada significan que mantienes el estilo de tu proyecto en lugar de adaptarte a la herramienta.

Los clips generados llevan movimiento tanto en el primer plano como en el fondo, no solo una cara pegada sobre una imagen quieta. El personaje se mueve, la escena cambia y el resultado se sostiene hasta 720p. El precio es el peso: la generación de alta dinámica es lo que vuelve al modelo tragón de memoria de GPU, así que las escenas más cargadas piden la mejor tarjeta que tengas.

El código de inferencia y los pesos del modelo se publican abiertamente, con licencia de uso personal y comercial según los términos de Tencent. Puedes correr todo en tu propio hardware, revisar cómo funciona y ajustarlo con tus datos. Esa apertura es el gran atractivo para los equipos que no quieren mandar caras y voces a un servicio de terceros, y por eso el modelo se extendió rápido en la comunidad investigadora.