Animate Anyone 2

Comme générateur de vidéo humaine, ce modèle s'appuie davantage sur le contexte de la scène que sur le seul mouvement. C'est le grand changement face au premier Animate Anyone : il traite l'arrière-plan comme un ensemble d'entrées conditionnelles, extrait le décor de la vidéo de référence et génère le personnage pour l'occuper. Résultat, un personnage qui partage l'éclairage, le contact au sol et la profondeur de la scène au lieu de se poser dessus. Pour qui a déjà monté un effet de fond vert à la main, c'est la partie qui fait gagner le plus de temps.

Un guide d'objets léger extrait les caractéristiques des objets avec lesquels le personnage interagit, puis les fusionne dans l'étape de débruitage par fusion spatiale. En pratique, c'est ce qui garde une main fermée autour d'une tasse ou un pied posé sur une planche. Cela compte parce que l'interaction avec les objets est le point faible des vidéos d'image vers vidéo, et c'est la différence entre un clip publiable et un qui ne l'est pas.

Au lieu de s'appuyer sur un contour corporel serré, le modèle utilise un masque qui marque la relation entre le personnage et l'espace autour. Il tolère ainsi mieux les corps qui n'entrent pas dans une silhouette standard, y compris des poses et des proportions différentes. Cela aide aussi quand le bord du personnage est difficile à détourer, ce qui arrive souvent avec des cheveux libres ou des vêtements qui flottent.

Le modèle emploie une stratégie de modulation des poses pour gérer des mouvements plus variés qu'un seul squelette figé. Les torsions, les grands mouvements de membres et les changements de direction rapides passent mieux. Cela élargit la gamme de clips avec lesquels le guider, des plans de conversation posés à la danse en pied.

À la base, Animate Anyone 2 transfère le mouvement d'une vidéo de référence sur une image de personnage. Vous gardez l'apparence de votre image et empruntez le mouvement du clip. La cohérence du visage et des vêtements tient d'une image à l'autre, la propriété sur laquelle toute la lignée Animate Anyone est bâtie.

Vous pouvez générer le résultat sur le fond de l'image d'origine ou sur le fond de la vidéo. Le fond de l'image convient à un portrait qui reste dans son propre cadre, tandis que le fond de la vidéo place le personnage dans la scène du clip de référence. C'est un paramètre unique, et il décide de la part du décor que le modèle reproduit.

La même capacité est exposée sous le modèle AnimateAnyone gen2, listé comme animate-anyone-gen2, via Alibaba Cloud Model Studio. Les appels fonctionnent comme des tâches asynchrones : vous soumettez une tâche, puis interrogez le résultat. L'API d'animation tient à des régions précises d'Alibaba Cloud, et votre clé est liée à la région où vous vous êtes inscrit, donc les appels entre régions échouent.