OmniHuman by ByteDance

O OmniHuman parte de uma imagem, não de um rig, de uma roupa de captura de movimento ou de um vídeo do ator. Aceita qualquer proporção de imagem e qualquer enquadramento corporal, então um close do rosto, um plano de meio corpo e um de corpo inteiro funcionam sem recorte. O corpo se move como uma peça só, em vez de se partir numa cabeça flutuante sobre um torso parado. Para quem cria conteúdo, isso significa que a tomada que você já tem costuma bastar para começar.

O modelo lê uma faixa de áudio e produz mais do que lábios em movimento. Este talking head com áudio move o corpo todo: a voz guia gestos, postura e pequenos movimentos de descanso que combinam com o ritmo. Cantar também funciona, incluindo notas altas e as pausas entre frases, e o movimento muda conforme o estilo da música. É aqui que o OmniHuman se separa de um filtro de sincronia labial simples, que só mexe a boca.

Como o modelo treina com sinais de movimento misturados, ele não para no áudio. Consegue seguir um vídeo de referência para copiar ações específicas do corpo e consegue combinar áudio e vídeo para controlar detalhes como um gesto pontual enquanto a voz guia a entrega. Essa flexibilidade vem da abordagem de treino, em que as condições de movimento se misturam em vez de se dividirem em modelos especializados separados.

A versão 1.5 acrescenta uma etapa de raciocínio que planeja o movimento antes de renderizá-lo. Um modelo de linguagem multimodal grande lê a imagem, o áudio e qualquer prompt de texto, e depois escreve um plano estruturado do que o personagem deve fazer e quando. O renderizador segue esse plano, então uma frase sobre ler uma carta vira uma sequência de alcançar, abrir e olhar, e não um gesto aleatório. A equipe chama esse par de Sistema 1 e Sistema 2, pegando os termos da psicologia do pensamento rápido e lento.

Você pode escrever um prompt para dirigir a cena. Os prompts das demonstrações cobrem movimentos de câmera como um panorâmico lento ou um plano na mão, além de ações como virar para encarar a lente ou esticar a mão na direção dela. O modelo mantém a sincronia labial enquanto segue a instrução, então o personagem continua mexendo a boca certa enquanto a câmera se move. Para quem planeja um plano, isso transforma uma linha de texto num primeiro rascunho do enquadramento.

O OmniHuman-1.5 lida com cenas com mais de uma pessoa enviando cada faixa de áudio ao personagem certo no mesmo quadro. Diálogos em grupo e planos de conjunto funcionam sem cortar entre clipes separados. O modelo também cobre entradas estilizadas, de desenhos animados e personagens 3D a animais reais, e ajusta o movimento ao estilo de cada sujeito em vez de forçar um molde humano sobre ele.

O modelo 1.5 gera clipes de mais de um minuto, com movimento de câmera contínuo e interação complexa, bem além dos loops de poucos segundos em que muitas ferramentas de avatar param. As demonstrações da própria equipe mostram movimento dinâmico ao longo dessa duração, não uma pose estática que vai à deriva. Clipes mais longos importam para narrar, quando uma cena precisa respirar em vez de reiniciar a cada poucos segundos.