HunyuanVideo-Avatar

L'astuce de fond est simple à énoncer et difficile à réussir : vous confiez un seul portrait et une piste audio, et le modèle renvoie une vidéo où le personnage parle ou chante avec des lèvres synchronisées et un mouvement de corps naturel. Il accepte des images de tailles et de résolutions variées, si bien qu'un cadrage serré comme un plan en pied font l'affaire en entrée. C'est la fonction qui vous épargne une journée de tournage, car une photo fixe remplace une prestation filmée.

Un module d'émotion audio lit les indices émotionnels et les porte sur le visage du personnage, donc l'expression suit l'humeur de l'audio au lieu de rester plate. Une image de référence oriente cette émotion, ce qui veut dire que la même réplique peut sonner joyeuse ou grave selon ce que vous lui donnez. Pour qui a vu un avatar rigide lire un script, c'est la partie qui rend le résultat vivant.

Le mode à plusieurs personnages laisse plus d'une personne partager une scène, chacune animée par son propre audio, ce que les modèles précédents avaient du mal à garder séparé. Un adaptateur audio sensible au visage masque chaque face pour que la voix d'un personnage ne déborde pas sur la bouche d'un autre. Cela transforme un podcast à deux animateurs ou une interview en aller-retour en une seule vidéo, au lieu de deux clips à aligner à la main. C'est la raison la plus forte de choisir ce modèle plutôt qu'un simple outil d'échange de visages.

Le modèle fonctionne de la même façon sur des visages photoréalistes, des dessins, des rendus 3D et des personnages anthropomorphes, donc une mascotte stylisée reçoit le même traitement de lèvres et de mouvement qu'un présentateur réel. Il génère aussi en cadrages portrait, buste et pied, ce qui compte quand une tête parlante ne suffit pas. Moins de compromis en entrée signifie que vous gardez le style de votre projet au lieu de vous adapter à l'outil.

Les clips générés portent du mouvement à la fois au premier plan et en arrière-plan, pas seulement un visage collé sur une image figée. Le personnage bouge, la scène change et le résultat tient jusqu'à 720p. Le prix à payer est le poids : la génération très dynamique est ce qui rend le modèle gourmand en mémoire GPU, donc les scènes les plus chargées réclament la meilleure carte dont vous disposez.

Le code d'inférence et les poids du modèle sont publiés ouvertement, sous licence pour un usage personnel et commercial selon les conditions de Tencent. Vous pouvez tout exécuter sur votre matériel, examiner comment cela marche et l'ajuster avec vos données. Cette ouverture est le grand atout pour les équipes qui ne veulent pas envoyer visages et voix à un service tiers, et c'est pourquoi le modèle s'est vite répandu dans la communauté de la recherche.