OmniHuman by ByteDance

OmniHuman part d'une image, pas d'un rig, d'une combinaison de capture de mouvement ni d'une vidéo de l'acteur. Il accepte n'importe quel ratio d'image et n'importe quelle proportion corporelle, donc un gros plan du visage, un portrait à mi-corps et un plan en pied fonctionnent sans recadrage. Le corps bouge d'un seul bloc au lieu de se scinder en une tête flottante posée sur un torse immobile. Pour qui crée du contenu, cela veut dire que la prise que vous avez déjà suffit souvent pour commencer.

Le modèle lit une piste audio et produit plus que des lèvres qui bougent. Cette tête parlante pilotée par l'audio bouge tout le corps : la voix guide les gestes, la posture et de petits mouvements d'attente qui collent au rythme. Chanter marche aussi, y compris les notes hautes et les pauses entre les phrases, et le mouvement change avec le style du morceau. C'est ici qu'OmniHuman se distingue d'un simple filtre de synchronisation labiale, qui ne fait jamais bouger que la bouche.

Comme le modèle s'entraîne sur des signaux de mouvement mélangés, il ne s'arrête pas à l'audio. Il peut suivre une vidéo de référence pour copier des actions corporelles précises et combiner audio et vidéo pour contrôler des détails comme un geste particulier pendant que la voix guide le jeu. Cette souplesse vient de la méthode d'entraînement, où les conditions de mouvement se mélangent au lieu d'être réparties dans des modèles spécialisés distincts.

La version 1.5 ajoute une étape de raisonnement qui planifie le mouvement avant de le rendre. Un grand modèle de langage multimodal lit l'image, l'audio et tout prompt texte, puis écrit un plan structuré de ce que le personnage doit faire et quand. Le moteur de rendu suit ce plan, donc une phrase sur la lecture d'une lettre devient une suite de gestes pour attraper, ouvrir et regarder, pas un geste au hasard. L'équipe appelle ce duo Système 1 et Système 2, en reprenant les termes de la psychologie de la pensée rapide et lente.

Vous pouvez écrire un prompt pour diriger la scène. Les prompts des démos couvrent des mouvements de caméra comme un panoramique lent ou un plan caméra à l'épaule, plus des actions comme se tourner vers l'objectif ou tendre la main vers lui. Le modèle garde la synchronisation labiale pendant qu'il suit la consigne, donc le personnage bouge toujours les bonnes lèvres pendant que la caméra avance. Pour qui prépare un plan, cela transforme une ligne de texte en première ébauche du cadre.

OmniHuman-1.5 gère les scènes avec plus d'une personne en envoyant chaque piste audio au bon personnage du même cadre. Les dialogues de groupe et les plans d'ensemble fonctionnent sans couper entre des clips séparés. Le modèle couvre aussi les entrées stylisées, des dessins animés et personnages 3D aux animaux réels, et il adapte le mouvement au style de chaque sujet au lieu de plaquer un gabarit humain dessus.

Le modèle 1.5 génère des clips de plus d'une minute, avec un mouvement de caméra continu et des interactions complexes, bien au-delà des boucles de quelques secondes où s'arrêtent beaucoup d'outils d'avatar. Les démonstrations de l'équipe montrent un mouvement dynamique sur toute cette durée, pas une pose statique qui dérive lentement. Les clips plus longs comptent pour raconter, quand une scène doit respirer au lieu de redémarrer toutes les quelques secondes.