OmniHuman by ByteDance

OmniHuman startet mit einem Bild, nicht mit einem Rig, einem Motion-Capture-Anzug oder einem Video des Darstellers. Es nimmt jedes Bildformat und jede Körperproportion, also funktionieren ein Gesichtsnahaufnahme, ein Halbporträt und eine Ganzkörperaufnahme ohne Zuschnitt. Der Körper bewegt sich als ein Stück, statt in einen schwebenden Kopf über einem starren Torso zu zerfallen. Für Kreative heißt das: die Aufnahme, die Sie schon haben, reicht oft zum Anfang.

Das Modell liest eine Audiospur und erzeugt mehr als bewegte Lippen. Dieser audio-getriebene Talking Head bewegt den ganzen Körper: Die Stimme lenkt Gesten, Haltung und kleine Ruhebewegungen, die zum Rhythmus passen. Singen klappt ebenso, samt hoher Töne und der Pausen zwischen den Phrasen, und die Bewegung wechselt mit dem Musikstil. Genau hier trennt sich OmniHuman von einem reinen Lip-Sync-Filter, der immer nur den Mund bewegt.

Weil das Modell mit gemischten Bewegungssignalen trainiert, bleibt es nicht beim Audio stehen. Es kann einem Referenzvideo folgen, um konkrete Körperaktionen nachzuahmen, und es kann Audio mit Video mischen, um Details wie eine bestimmte Geste zu steuern, während die Stimme die Darbietung lenkt. Diese Flexibilität kommt aus dem Trainingsansatz, bei dem Bewegungskonditionen gemischt werden, statt sie in getrennte Spezialmodelle zu splitten.

Die Version 1.5 ergänzt einen Reasoning-Schritt, der die Bewegung vor dem Rendern plant. Ein multimodales großes Sprachmodell liest Bild, Audio und jeden Text-Prompt und schreibt dann einen strukturierten Plan, was die Figur wann tun soll. Der Renderer folgt diesem Plan, aus einer Zeile über das Lesen eines Briefs wird also eine Abfolge von Greifen, Öffnen und Schauen, keine zufällige Geste. Das Team nennt dieses Paar System 1 und System 2 und übernimmt die Begriffe aus der Psychologie des schnellen und langsamen Denkens.

Sie können einen Prompt schreiben, um die Szene zu lenken. Die Prompts in den Demos decken Kamerafahrten wie einen langsamen Schwenk oder eine Handkamera ab, dazu Handlungen wie sich zur Linse zu drehen oder nach ihr zu greifen. Das Modell hält den Lip-Sync, während es die Anweisung befolgt, die Figur formt also weiter die richtigen Worte, während die Kamera zieht. Für alle, die eine Einstellung planen, macht das aus einer Textzeile einen ersten Entwurf des Bildes.

OmniHuman-1.5 meistert Szenen mit mehr als einer Person, indem es jede Audiospur an die richtige Figur im selben Bild schickt. Gruppendialoge und Ensemble-Aufnahmen klappen, ohne zwischen getrennten Clips zu schneiden. Das Modell deckt zudem stilisierte Eingaben ab, von Cartoons und 3D-Figuren bis zu echten Tieren, und passt die Bewegung dem Stil jedes Subjekts an, statt ihm eine menschliche Schablone aufzuzwingen.

Das Modell 1.5 erzeugt Clips von über einer Minute mit durchgehender Kamerafahrt und komplexer Interaktion, weit über die Schleifen von wenigen Sekunden hinaus, an denen viele Avatar-Werkzeuge enden. Die Demos des Teams zeigen dynamische Bewegung über diese Länge, keine statische Pose, die langsam wegdriftet. Längere Clips zählen beim Erzählen, wenn eine Szene atmen muss, statt alle paar Sekunden neu zu starten.