Animate Anyone 2

Como gerador de vídeo humano, este modelo se apoia mais no contexto da cena do que no movimento sozinho. É a maior mudança em relação ao primeiro Animate Anyone: ele trata o fundo como um conjunto de entradas condicionais, tira o ambiente do vídeo de referência e gera o personagem para ocupá-lo. O resultado é um personagem que compartilha iluminação, contato com o piso e profundidade espacial com a cena, em vez de ficar por cima dela. Para quem já montou à mão um efeito de fundo verde, é a parte que mais economiza tempo.

Um guia de objetos leve extrai características dos objetos com que o personagem interage e as mescla na etapa de remoção de ruído por meio de mesclagem espacial. Na prática, é isso que mantém uma mão fechada em volta de uma caneca ou um pé apoiado numa prancha. O recurso importa porque a interação com objetos é onde mais erram os vídeos de imagem para vídeo, e é a diferença entre um clipe publicável e um que não é.

Em vez de depender de um contorno corporal justo, o modelo usa uma máscara que marca a relação entre o personagem e o espaço ao redor. Assim ele tolera melhor corpos que não cabem numa silhueta padrão, incluindo poses e proporções diferentes. Também ajuda quando a borda do personagem é difícil de recortar, algo comum com cabelo solto ou roupa esvoaçante.

O modelo usa uma estratégia de modulação de poses para lidar com movimentos mais variados do que um único esqueleto fixo permite. Torções, movimentos amplos de membros e mudanças rápidas de direção saem melhor. Isso amplia a faixa de clipes com que você pode guiá-lo, de tomadas de conversa paradas a dança de corpo inteiro.

Na base, o Animate Anyone 2 transfere o movimento de um vídeo de referência para uma imagem de personagem. Você mantém a aparência da sua imagem e toma emprestado o movimento do clipe. A coerência de rosto e roupa se mantém quadro a quadro, que é a propriedade sobre a qual toda a linha Animate Anyone foi construída.

Você pode gerar o resultado sobre o fundo da imagem original ou sobre o fundo do vídeo. O fundo da imagem serve para um retrato que fica no próprio cenário, enquanto o fundo do vídeo coloca o personagem na cena do clipe de referência. É um único parâmetro, e ele decide quanto do ambiente o modelo reproduz.

A mesma capacidade é oferecida como o modelo AnimateAnyone gen2, listado como animate-anyone-gen2, pela Alibaba Cloud Model Studio. As chamadas funcionam como tarefas assíncronas: você envia uma tarefa e consulta o resultado. A API de animação fica em regiões específicas da Alibaba Cloud e a sua chave está presa à região em que você se cadastrou, então chamadas entre regiões falham.