HunyuanVideo-Avatar

O truque de fundo é fácil de dizer e difícil de fazer: você entrega um único retrato e uma faixa de áudio, e o modelo devolve um vídeo em que o personagem fala ou canta com os lábios no tempo certo e um movimento de corpo natural. Ele aceita imagens de tamanhos e resoluções variados, então tanto um recorte fechado quanto um plano de corpo inteiro servem como entrada. Esse é o recurso que economiza um dia de gravação, porque uma foto parada substitui uma atuação filmada.

Um módulo de emoção por áudio lê os sinais emocionais e os leva ao rosto do personagem, então a expressão segue o clima do áudio em vez de ficar chapada. Uma imagem de referência orienta essa emoção, o que significa que a mesma fala pode soar alegre ou séria conforme o que você entrega. Para quem já viu um avatar rígido ler um roteiro, esta é a parte que faz o resultado parecer vivo.

O modo com vários personagens deixa mais de uma pessoa dividir a cena, cada uma movida pelo próprio áudio, algo que os modelos anteriores tinham dificuldade de manter separado. Um adaptador de áudio sensível ao rosto isola cada face para que a voz de um personagem não vaze na boca do outro. Isso vira um podcast de dois apresentadores ou uma entrevista de vai e volta em um só vídeo, em vez de dois clipes que você alinha à mão. É a razão mais forte para escolher este modelo em vez de uma ferramenta simples de troca de rosto.

O modelo funciona igual em rostos fotorrealistas, desenhos, renderizações 3D e personagens antropomórficos, então um mascote estilizado recebe o mesmo tratamento de lábios e movimento que um apresentador real. Ele também gera em enquadramentos de retrato, meio corpo e corpo inteiro, o que importa quando uma cabeça falante não basta. Menos concessões na entrada significam que você mantém o estilo do seu projeto em vez de se adaptar à ferramenta.

Os clipes gerados carregam movimento tanto no primeiro plano quanto no fundo, não só um rosto colado em uma imagem parada. O personagem se move, a cena muda e o resultado se sustenta até 720p. O preço é o peso: a geração de alta dinâmica é o que deixa o modelo faminto por memória de GPU, então as cenas mais cheias pedem a melhor placa que você tiver.

O código de inferência e os pesos do modelo são publicados abertamente, com licença de uso pessoal e comercial segundo os termos da Tencent. Você pode rodar tudo no seu próprio hardware, ver como funciona e ajustar com os seus dados. Essa abertura é o grande atrativo para times que não querem mandar rostos e vozes a um serviço de terceiros, e é por isso que o modelo se espalhou rápido pela comunidade de pesquisa.