Wan Animate

O Wan Animate pega uma imagem de personagem e um vídeo de referência de um intérprete e então move o personagem com as expressões e o movimento do intérprete. Você não riga nada nem define quadros-chave. O modelo lê o movimento do clipe e o aplica, e é por isso que você consegue um resultado convincente a partir de uma foto comum.

O Mix Mode troca um personagem em uma gravação existente em vez de animar um novo. O que importa aqui é a continuidade: a ferramenta preserva a iluminação e os tons de cor originais, então o personagem trocado se assenta na cena em vez de flutuar por cima dela. Isso mantém o plano utilizável sem passar por uma etapa de correção de cor.

O modelo sincroniza o movimento dos lábios e dos dentes com a faixa de áudio, e isso é o que separa um personagem que fala de um fantoche. Se o seu clipe de intérprete tem fala, o Wan Animate leva esse movimento de boca para o seu personagem, e o resultado se lê como uma atuação natural e realista ao falar.

O Wan Animate move o corpo com sinais de esqueleto alinhados espacialmente. A expressão facial vem de traços faciais implícitos. Em termos simples, ele separa "como o corpo se move" de "como o rosto aparece". É assim que mantém um alto grau de controle sobre os dois em vez de misturá-los em um borrão. Por que separar? Porque a transferência de movimento e a clonagem de rosto falham de maneiras diferentes, e você quer ajustar cada uma por conta própria.

Uma camada de reiluminação ajusta a aparência do personagem para combinar com a iluminação e o tom de cor do ambiente. Isso é o que faz um personagem parecer pertencer a uma cena em vez de ser jogado nela, e é a mesma ideia que faz o trabalho pesado nas trocas do Mix Mode.

A ferramenta inteira roda no modelo Wan 2.2 Animate, que usa uma arquitetura de mistura de especialistas e geração de vídeo de alta compressão. Você não interage com isso diretamente, mas é a razão de a ferramenta conseguir produzir vídeo de personagem de alta fidelidade em um navegador sem que você gerencie uma GPU.