HunyuanVideo-Avatar

Der eigentliche Kniff ist leicht zu beschreiben und schwer zu meistern: Sie übergeben ein einzelnes Porträt und eine Tonspur, und das Modell liefert ein Video zurück, in dem die Figur mit passenden Lippen und natürlicher Körperbewegung spricht oder singt. Es nimmt Bilder in unterschiedlichen Größen und Auflösungen, also funktionieren sowohl ein enger Ausschnitt als auch eine Ganzkörperaufnahme als Eingabe. Diese Funktion spart einen Drehtag, denn ein Standfoto ersetzt eine gefilmte Darbietung.

Ein Audio-Emotionsmodul liest emotionale Hinweise und überträgt sie auf das Gesicht der Figur, sodass der Ausdruck der Stimmung des Audios folgt statt flach zu bleiben. Ein Referenzbild lenkt diese Emotion, was bedeutet, dass dieselbe Sprachzeile je nach Eingabe fröhlich oder ernst wirken kann. Wer schon einen steifen Avatar ein Skript vorlesen sah, erkennt hier den Teil, der das Ergebnis lebendig wirken lässt.

Der Modus mit mehreren Figuren lässt mehrere Personen eine Szene teilen, jede von ihrem eigenen Audio gesteuert, was früheren Modellen schwerfiel, auseinanderzuhalten. Ein gesichtserkennender Audio-Adapter maskiert jedes Gesicht, damit die Stimme der einen Figur nicht auf den Mund der anderen überspringt. So wird ein Podcast mit zwei Moderatoren oder ein Hin-und-her-Interview zu einem einzigen Video statt zu zwei Clips, die Sie von Hand ausrichten. Das ist der stärkste Grund, dieses Modell einem einfachen Gesichtstausch-Werkzeug vorzuziehen.

Das Modell arbeitet gleich bei fotorealistischen Gesichtern, Zeichnungen, 3D-Renderings und anthropomorphen Figuren, also bekommt ein stilisiertes Maskottchen dieselbe Behandlung für Lippen und Bewegung wie ein realer Moderator. Es erzeugt außerdem in Porträt-, Oberkörper- und Ganzkörperausschnitten, was zählt, wenn ein sprechender Kopf allein nicht reicht. Weniger Kompromisse bei der Eingabe bedeuten, dass Sie den Stil Ihres Projekts behalten, statt sich dem Werkzeug anzupassen.

Die erzeugten Clips tragen Bewegung sowohl im Vordergrund als auch im Hintergrund, nicht nur ein auf ein Standbild geklebtes Gesicht. Die Figur bewegt sich, die Szene verschiebt sich, und das Ergebnis hält bis 720p zusammen. Der Preis ist das Gewicht: Die sehr dynamische Erzeugung macht das Modell hungrig nach GPU-Speicher, also verlangen die lebhaftesten Szenen die beste Karte, die Sie haben.

Der Inferenzcode und die Modellgewichte werden offen veröffentlicht, lizenziert für private und kommerzielle Nutzung nach den Bedingungen von Tencent. Sie können alles auf eigener Hardware ausführen, nachsehen, wie es funktioniert, und es mit eigenen Daten feinjustieren. Diese Offenheit ist der Hauptanreiz für Teams, die Gesichter und Stimmen nicht an einen Drittanbieter schicken wollen, und deshalb verbreitete sich das Modell schnell in der Forschungsgemeinschaft.