Animate Anyone 2

Als Human-Video-Generator stützt sich das Modell mehr auf den Szenenkontext als auf die Bewegung allein. Das ist die große Änderung gegenüber dem ersten Animate Anyone: es behandelt den Hintergrund als bedingte Eingaben, zieht das Umfeld aus dem Referenzvideo und erzeugt die Figur so, dass sie es besetzt. Das Ergebnis ist eine Figur, die Licht, Bodenkontakt und räumliche Tiefe mit der Szene teilt, statt darauf zu sitzen. Wer schon einmal einen Greenscreen-Effekt per Hand gebaut hat, spart hier am meisten Zeit.

Ein leichter Objekt-Guide zieht Merkmale der Objekte heraus, mit denen die Figur umgeht, und mischt sie über räumliche Mischung in den Entrauschungsschritt ein. Praktisch hält das eine Hand um eine Tasse oder einen Fuß auf einem Skateboard. Das zählt, weil der Objektkontakt die Schwachstelle der Bild-zu-Video-Stücke ist, und es ist der Unterschied zwischen einem Clip, den man zeigen kann, und einem, den man nicht zeigen kann.

Statt auf eine enge Körperkontur zu setzen, nutzt das Modell eine Maske, die die Beziehung zwischen Figur und umgebendem Raum markiert. So verträgt es besser Körper, die nicht in eine Standardsilhouette passen, samt anderer Posen und Proportionen. Auch das hilft, wenn die Figurkante schwer sauber freizustellen ist, was bei offenem Haar oder wehender Kleidung oft vorkommt.

Das Modell nutzt eine Posen-Modulation, damit es mehr verschiedene Bewegungen schafft als ein einzelnes starres Skelett erlaubt. Drehungen, große Gliedmaßenbewegungen und schnelle Richtungswechsel kommen besser durch. Das erweitert die Spanne der Clips, mit denen Sie es steuern, von ruhigen Sprechaufnahmen bis zum Tanz mit ganzen Körper.

Im Kern überträgt Animate Anyone 2 die Bewegung aus einem Referenzvideo auf ein Charakterbild. Sie behalten das Aussehen Ihres Bildes und leihen sich die Bewegung aus dem Clip. Die Stimmigkeit von Gesicht und Kleidung zieht sich durch die Frames, und darauf ist die ganze Animate-Anyone-Reihe gebaut.

Sie können das Ergebnis vor dem Hintergrund des Originalbilds oder vor dem Hintergrund des Videos erzeugen. Der Bildhintergrund passt zu einem Porträt, das in seinem eigenen Rahmen bleibt, während der Videohintergrund die Figur in die Szene des Referenzclips setzt. Es ist ein einziger Parameter, und er entscheidet, wie viel Umfeld das Modell nachbildet.

Dieselbe Fähigkeit gibt es als Modell AnimateAnyone gen2, gelistet als animate-anyone-gen2, über Alibaba Cloud Model Studio. Aufrufe laufen als asynchrone Aufgaben: Sie reichen eine Aufgabe ein und fragen das Ergebnis ab. Die Animations-API liegt in bestimmten Alibaba-Cloud-Regionen, und Ihr Schlüssel hängt an der Region, in der Sie sich angemeldet haben, daher scheitern Aufrufe zwischen Regionen.