DreamActor-M1 From ByteDance

O sistema de controle combina três sinais: representações faciais implícitas, esferas 3D da cabeça e esqueletos corporais em 3D. As esferas de cabeça acompanham onde a cabeça está e para onde olha, os esqueletos cuidam do movimento do corpo, e a codificação facial carrega a expressão. Segundo a ByteDance, essa mistura move rosto e corpo juntos em vez de trocar um pelo outro, que é o ponto fraco comum da animação só com esqueletos.

O DreamActor-M1 foi feito para funcionar em qualquer enquadramento, de um retrato fechado a um plano de corpo inteiro, sem perder qualidade quando o sujeito fica menor no quadro. A ByteDance o treinou em etapas progressivas com dados em resoluções e escalas diferentes. É essa parte que decide se um único modelo cobre tanto um close quanto um clipe de dança, ou se você precisa escolher um.

Em clipes mais longos, o modelo tira padrões de movimento de quadros consecutivos e acrescenta referências visuais extras, que fazem quase todo o trabalho nas partes do corpo que a imagem de referência nunca mostra. As demonstrações do projeto se apoiam nisso para uma mão ou as costas ficarem estáveis enquanto entram e saem do quadro, o ponto em que muitas ferramentas de animação começam a piscar ou a deformar.

Você pode mover só parte do movimento. O projeto mostra resultados em que só rosto e cabeça são transferidos enquanto o corpo fica na pose original, e outros casos que ajustam o comprimento dos ossos para um sujeito mais alto ou mais baixo se animar sem quebrar a forma. Isso ajuda quando você quer um toque de expressividade e não uma recriação de corpo inteiro.

Além do movimento guiado por vídeo, o modelo se estende à fala. Ele gera sincronia labial a partir de áudio em vários idiomas, o que aponta para dublagem e apresentadores virtuais. A demonstração mostra a boca seguindo o áudio enquanto o resto da atuação se mantém coerente.

O motor é um transformer de difusão (DiT), a mesma classe de arquitetura por trás de muitos modelos atuais de imagem e vídeo. Um VAE 3D codifica o clipe, um codificador de pose cuida dos esqueletos e das esferas de cabeça, e um codificador de movimento facial acrescenta expressão por meio de atenção cruzada. A imagem de referência passa pelos mesmos pesos do transformer que o vídeo com ruído, e é assim que a identidade se mantém no resultado.