Wan Animate

Wan Animate prend une image de personnage et une vidéo de référence d'un interprète, puis anime le personnage avec les expressions et le mouvement de l'interprète. Vous ne riggez rien et ne posez aucune image clé. Le modèle lit le mouvement dans l'extrait et l'applique, et c'est pourquoi vous obtenez un résultat crédible à partir d'une simple photo.

Le Mix Mode remplace un personnage dans une séquence existante au lieu d'en animer un nouveau. Ce qui compte ici, c'est la continuité : l'outil préserve l'éclairage et les tons de couleur d'origine, si bien que le personnage remplacé s'installe dans la scène plutôt que de flotter au-dessus. Cela garde le plan exploitable sans passer par une étape d'étalonnage.

Le modèle synchronise le mouvement des lèvres et des dents sur la piste audio, et c'est ce qui sépare un personnage qui parle d'une marionnette. Si votre extrait d'interprète contient de la parole, Wan Animate reporte ce mouvement de bouche sur votre personnage pour que le résultat se lise comme une performance parlée naturelle et réaliste.

Wan Animate anime le corps avec des signaux de squelette alignés dans l'espace. L'expression du visage vient de traits faciaux implicites. Dit simplement, il sépare « comment le corps bouge » de « à quoi ressemble le visage ». C'est ainsi qu'il garde un haut degré de contrôle sur les deux au lieu de les mélanger en un flou. Pourquoi les séparer ? Parce que le transfert de mouvement et le clonage de visage échouent de manières différentes, et vous voulez régler chacun de son côté.

Une couche de ré-éclairage ajuste l'apparence du personnage pour correspondre à l'éclairage et au ton de couleur de l'environnement. C'est ce qui fait qu'un personnage semble appartenir à une scène plutôt que d'y être déposé, et c'est la même idée qui fait le gros du travail dans les remplacements du Mix Mode.

Tout l'outil tourne sur le modèle Wan 2.2 Animate, qui utilise une architecture de mélange d'experts et une génération vidéo à forte compression. Vous n'interagissez pas directement avec cela, mais c'est la raison pour laquelle l'outil peut produire une vidéo de personnage haute fidélité dans un navigateur sans que vous gériez un GPU.