DreamActor-M1 From ByteDance

Le système de contrôle combine trois signaux : des représentations faciales implicites, des sphères 3D de la tête et des squelettes corporels en 3D. Les sphères de tête suivent où se trouve la tête et vers où elle regarde, les squelettes gèrent le mouvement du corps, et l'encodage facial porte l'expression. Selon ByteDance, ce mélange anime le visage et le corps ensemble au lieu de sacrifier l'un pour l'autre, ce qui est le point faible habituel de l'animation par squelettes seuls.

DreamActor-M1 est conçu pour fonctionner à n'importe quel cadrage, du portrait serré au plan en pied, sans perdre en qualité quand le sujet rétrécit dans l'image. ByteDance l'a entraîné par étapes progressives sur des données à différentes résolutions et échelles. C'est ce point qui décide si un seul modèle couvre à la fois un gros plan et un clip de danse, ou s'il faut en choisir un.

Sur les clips longs, le modèle tire des motifs de mouvement des images successives et ajoute des références visuelles supplémentaires, qui font presque tout le travail sur les parties du corps que l'image de référence ne montre jamais. Les démonstrations du projet s'appuient là-dessus pour qu'une main ou un dos reste stable quand ils entrent et sortent du cadre, le moment où beaucoup d'outils d'animation se mettent à scintiller ou à se déformer.

Vous pouvez animer seulement une partie du mouvement. Le projet montre des résultats où seuls le visage et la tête sont transférés pendant que le corps reste dans sa pose d'origine, et d'autres cas qui ajustent la longueur des os pour qu'un sujet plus grand ou plus petit s'anime sans casser la silhouette. C'est utile quand vous voulez une touche d'expressivité et non une reconstitution en pied.

Au-delà du mouvement guidé par la vidéo, le modèle s'étend à la parole. Il génère une synchronisation labiale à partir de l'audio dans plusieurs langues, ce qui ouvre sur le doublage et les présentateurs virtuels. La démonstration montre la bouche qui suit l'audio pendant que le reste du jeu reste cohérent.

Le moteur est un transformer de diffusion (DiT), la même famille d'architecture que celle derrière beaucoup de modèles d'image et de vidéo actuels. Un VAE 3D encode le clip, un encodeur de pose gère les squelettes et les sphères de tête, et un encodeur de mouvement facial ajoute l'expression par attention croisée. L'image de référence passe par les mêmes poids du transformer que la vidéo bruitée, et c'est ainsi que l'identité tient dans le résultat.