DreamActor-M1 From ByteDance

Das Steuerungssystem verbindet drei Signale: implizite Gesichtsrepräsentationen, 3D-Kopfkugeln und 3D-Körperskelette. Die Kopfkugeln verfolgen, wo der Kopf sitzt und wohin er blickt, die Skelette übernehmen die Körperbewegung, und die Gesichtskodierung trägt den Ausdruck. Laut ByteDance bewegt dieser Mix Gesicht und Körper zusammen, statt eines für das andere zu opfern, was die übliche Schwachstelle reiner Skelettanimation ist.

DreamActor-M1 ist für jeden Bildausschnitt gebaut, vom engen Porträt bis zur Ganzkörperaufnahme, ohne Qualitätsverlust, wenn die Person im Bild kleiner wird. ByteDance hat es in progressiven Stufen mit Daten in unterschiedlichen Auflösungen und Maßstäben trainiert. Genau das entscheidet, ob ein einzelnes Modell sowohl ein Porträt als auch einen Tanzclip abdeckt, oder ob Sie sich für eines entscheiden müssen.

Bei längeren Clips zieht das Modell Bewegungsmuster aus aufeinanderfolgenden Bildern und ergänzt zusätzliche visuelle Referenzen, die fast die ganze Arbeit für Körperteile leisten, die das Referenzbild nie zeigt. Die Projekt-Demos stützen sich darauf, damit eine Hand oder ein Rücken stabil bleibt, während sie ins Bild kommen und wieder gehen, der Punkt, an dem viele Animationswerkzeuge anfangen zu flackern oder sich zu verzerren.

Sie können nur einen Teil der Bewegung übertragen. Das Projekt zeigt Ergebnisse, bei denen nur Gesicht und Kopf übertragen werden, während der Körper in seiner Ausgangspose bleibt, und andere Fälle, die die Knochenlänge anpassen, damit eine größere oder kleinere Person ohne Formbruch animiert wird. Das hilft, wenn Sie einen Hauch Ausdruck wollen und keine Ganzkörpernachstellung.

Über die videogesteuerte Bewegung hinaus reicht das Modell bis zur Sprache. Es erzeugt Lippensynchronität aus Audio in mehreren Sprachen, was auf Synchronisation und virtuelle Moderatoren zielt. Die Demo zeigt den Mund passend zum Audio, während der Rest der Darstellung konsistent bleibt.

Der Motor ist ein Diffusion-Transformer (DiT), dieselbe Architekturklasse, die hinter vielen aktuellen Bild- und Videomodellen steht. Ein 3D-VAE kodiert den Clip, ein Pose-Encoder übernimmt Skelette und Kopfkugeln, und ein Gesichtsbewegungs-Encoder fügt Ausdruck über Cross-Attention hinzu. Das Referenzbild läuft durch dieselben Transformer-Gewichte wie das verrauschte Video, und so bleibt die Identität im Ergebnis erhalten.