LivePortrait
Kuaishou Technology (KwaiVGI) · Imagem · Vídeo
LivePortrait é um modelo de animação de retratos de código aberto da Kuaishou. Você entrega uma foto e um clipe curto de referência, e ele copia as expressões, os piscares e os movimentos de cabeça desse clipe para o rosto da foto.
Sobre LivePortrait
About
O que é o LivePortrait
O LivePortrait é um modelo de animação de retratos que a Kuaishou lançou em julho de 2024. Você passa uma imagem parada e um vídeo curto de alguém mexendo o rosto. O modelo lê o movimento do vídeo, aplica na cara da imagem e gera um clipe novo em que a sua foto fala, pisca e vira a cabeça.
O resultado lembra mais uma atuação real do que um filtro. A identidade fica no lugar. Só a expressão e a pose se movem. Essa contenção é rara em ferramentas de animação de fotos.
Não é um site em que você assina e paga. É um repositório de pesquisa com código, pesos pré-treinados e uma interface Gradio que roda na sua máquina. A troca é essa: sem mensalidade, mas a instalação, a placa de vídeo e os arquivos ficam com você.
A equipe montou tudo sobre keypoints implícitos em vez de difusão, e é daí que vem a velocidade. Segundo o relatório técnico do projeto, o modelo gera um quadro em cerca de 12,8 milissegundos numa RTX 4090, e foi treinado com aproximadamente 69 milhões de quadros de alta qualidade. São números da Kuaishou, e eles medem uma etapa de inferência por quadro, não o processo inteiro com recorte e codificação de vídeo.
Primeiros passos
- Instale git, conda e FFmpeg, depois clone o repositório do LivePortrait da Kuaishou no GitHub.
- Crie um ambiente Python (3.9 ou 3.10), ative e instale o arquivo de dependências. No Windows, o instalador oficial de um clique resolve quase tudo.
- Baixe os pesos pré-treinados na pasta
pretrained_weights. O modelo humano vem por padrão e existe outro separado para animais. - Rode
inference.pycom uma imagem de origem e um vídeo de referência, ou abraapp.pypara usar a interface Gradio no navegador. - Pegue o vídeo na pasta
animationsou use o botão de exportar da interface.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de LivePortrait.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Criadores de vídeo para redes
- Desenvolvedores e pesquisadores de IA
- Times pequenos de animação e games
Tarefas
- Animar fotos antigas da família
- Montar cabeças falantes para vídeo curto
- Editar expressões dentro de um clipe que já existe
- Testar dentro do ComfyUI
Cenários
- Trabalho offline com fotos que você não quer subir
- Testar antes de pagar um serviço hospedado
- Aulas e demonstrações de laboratório
Principais recursos
De uma única foto para vídeo
Uma imagem é toda a referência de aparência. O LivePortrait estima a pose da cabeça e a expressão daquele rosto, depois reconstrói quadro a quadro sob o movimento do clipe de referência. Retratos, pinturas a óleo, esculturas e renders 3D funcionam como origem, o que serve para personagens estilizados e não só para fotografias.
Animação guiada por vídeo com pose completa da cabeça
O clipe de referência controla muito mais do que a boca. Rotação, inclinação, sobrancelhas e direção do olhar passam para o resultado, que reage como a atuação original. Essa transferência completa é o que separa uma tomada convincente de um avatar que só balança a cabeça.
Junção de vários rostos na mesma cena
Quase todo modelo de animação facial quebra quando duas pessoas dividem o quadro. O LivePortrait anima cada rosto separadamente e depois junta tudo com um módulo de emenda, então fotos de grupo mantêm as bordas limpas e as identidades intactas.
Retargeting de olhos e lábios
Duas redes de controle pequenas deixam você definir a abertura dos olhos e a abertura dos lábios com um valor para cada. Dá para ter boca fechada ou bem aberta, piscada ou olhar fixo, sem caçar outro vídeo de referência. Editores usam isso para consertar um quadro ruim em vez de repetir o clipe inteiro.
Edição de vídeo para vídeo
O modo v2v recebe um vídeo de origem no lugar de uma imagem e refaz as expressões que estão ali. Uma atuação gravada num clima pode ir para outro sem mexer na pessoa, no enquadramento nem no tempo. É o recurso que transforma o modelo em ferramenta de pós-produção.
Retratos de animais
Um modelo de animais ajustado à parte move gatos, cachorros e pandas com filmagens de humanos, e os bichos pegam o movimento de cabeça e o formato da boca. São pesos diferentes, então conte com um segundo download e outro script de entrada.
Prós e contras
Prós
- Gratuito e de código aberto, com código e pesos publicados pela equipe, sem sistema de créditos nem cobrança por clipe.
- Rápido o bastante para testar quase em tempo real numa única GPU de consumo, o que barateia cada tentativa de visual.
- Controle fino de olhos e boca por valores escalares, além de edição de pose do retrato de origem na interface Gradio.
- Aceita origens estilizadas como pinturas, arte em estilo anime e esculturas, não apenas fotos de pessoas reais.
- Comunidade ativa, com nós para ComfyUI, instaladores para Windows e uma demonstração pública mantida fora do repositório principal.
Contras
- Exige uma GPU NVIDIA razoavelmente recente, além de conda, CUDA e FFmpeg. Num notebook com vídeo integrado, ou fica muito lento ou nem roda.
- Não existe API oficial hospedada nem contrato de suporte, então levar para produção significa cuidar do deploy sozinho.
- O resultado depende da entrada. Rosto pequeno no quadro, virado ou meio tapado costuma falhar na detecção ou sair borrado.
- Consentimento e licença são problema seu. O repositório traz os próprios termos, e animar o rosto de outra pessoa sem permissão tem risco jurídico e ético de verdade.
Perguntas frequentes
Sim. O código e os pesos pré-treinados são baixados sem custo e não há plano de assinatura. Leia o arquivo de licença do repositório antes de publicar algo comercial, porque os termos valem tanto para o código quanto para os pesos.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a LivePortrait.
Alternativas a LivePortrait
Google EmbeddingGemma 2
Google DeepMind · Escrita · Imagem · ProgramaçãoGoogle EmbeddingGemma 2 é um modelo aberto de 740 milhões de parâmetros que transforma texto, código, imagens, áudio e quadros de vídeo em vetores de um único espaço de 768 dimensões, rodando em celulares e notebooks.
Tractionwave
TractionWave · Imagem · MarketingO TractionWave cria mapas de calor de atenção com IA para anúncios estáticos. Você envia um PNG ou JPG e recebe a atenção prevista, pontos quentes ranqueados e ajustes antes de gastar verba.
Imejis.io
Imejis.io · Imagem · MarketingO Imejis.io é um estúdio de design com IA para agentes e equipes de marketing. Você descreve a imagem com suas palavras, e a ferramenta escreve o texto, monta o layout, adapta para cada tamanho e exporta o arquivo final.