LivePortrait
Kuaishou Technology (KwaiVGI) · Imagen · Vídeo
LivePortrait es un modelo de animación de retratos de código abierto creado por Kuaishou. Le das una foto y un clip corto de referencia, y copia las expresiones, los parpadeos y los giros de cabeza de ese clip sobre la cara de la foto.
Acerca de LivePortrait
About
Qué es LivePortrait
LivePortrait es un modelo de animación de retratos que Kuaishou publicó en julio de 2024. Le pasas una imagen fija y un vídeo corto de alguien moviendo la cara. El modelo lee el movimiento del vídeo, lo aplica a la cara de la imagen y escribe un clip nuevo en el que tu foto habla, parpadea y gira la cabeza.
El resultado se parece más a una actuación real que a un filtro. La identidad no se mueve. Solo cambian la expresión y la postura. Esa contención es rara en las herramientas de animación de fotos.
No es una web a la que te suscribes y pagas. Es un repositorio de investigación con código, pesos preentrenados y una interfaz Gradio que ejecutas en tu propia máquina. Ese es el intercambio: sin cuota mensual, pero la instalación, la tarjeta gráfica y los archivos corren de tu cuenta.
El equipo lo construyó sobre keypoints implícitos en lugar de difusión, y de ahí sale la velocidad. Según el informe técnico del proyecto, genera un fotograma en unos 12,8 milisegundos en una RTX 4090, y el modelo se entrenó con cerca de 69 millones de fotogramas de alta calidad. Son cifras de Kuaishou y describen un paso de inferencia por fotograma, no el proceso completo con recorte y codificación de vídeo.
Primeros pasos
- Instala git, conda y FFmpeg, y clona el repositorio de LivePortrait de Kuaishou desde GitHub.
- Crea un entorno de Python (3.9 o 3.10), actívalo e instala el archivo de requisitos. En Windows puedes saltarte casi todo con el instalador oficial de un clic.
- Descarga los pesos preentrenados en la carpeta
pretrained_weights. El modelo humano viene por defecto y hay otro aparte para animales. - Ejecuta
inference.pycon una imagen de origen y un vídeo de referencia, o lanzaapp.pypara abrir la interfaz Gradio en el navegador. - Recoge tu vídeo en la carpeta
animationso usa el botón de exportar de la interfaz.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de LivePortrait.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Creadores de vídeo para redes
- Desarrolladores e investigadores de IA
- Equipos pequeños de animación y videojuegos
Tareas
- Animar fotos familiares antiguas
- Preparar cabezas parlantes para vídeo corto
- Editar expresiones dentro de un clip que ya existe
- Hacer pruebas dentro de ComfyUI
Casos de uso
- Trabajo sin conexión con fotos que no quieres subir
- Probar antes de pagar un servicio alojado
- Demos en clase y en laboratorio
Funciones clave
De una sola foto a vídeo
Una imagen es toda la referencia de apariencia. LivePortrait estima la postura de la cabeza y la expresión de esa cara, y la reconstruye fotograma a fotograma con el movimiento del clip de referencia. Retratos, óleos, esculturas y renders 3D funcionan como origen, así que sirve para personajes estilizados y no solo para fotografías.
Animación guiada por vídeo con giro completo de cabeza
El clip de referencia controla mucho más que la boca. La rotación de la cabeza, la inclinación, el movimiento de las cejas y la dirección de la mirada se transfieren, y el resultado reacciona igual que la actuación original. Esa transferencia completa es lo que separa una toma creíble de un avatar que solo asiente.
Unión de varias caras en la misma escena
Casi todos los modelos de animación facial fallan cuando dos personas comparten el plano. LivePortrait anima cada cara por separado y las vuelve a mezclar con un módulo de unión, de modo que las fotos de grupo mantienen los bordes limpios y las identidades intactas.
Retargeting de ojos y labios
Dos redes de control pequeñas te dejan fijar la apertura de los ojos y la de los labios con un valor cada una. Consigues una boca cerrada o muy abierta, un parpadeo o una mirada fija, sin buscar otro vídeo de referencia. Los editores lo usan para arreglar un fotograma malo en lugar de repetir el clip entero.
Edición de vídeo a vídeo
El modo v2v toma un vídeo de origen en lugar de una imagen y rehace las expresiones que contiene. Una actuación grabada con un ánimo se puede llevar a otro sin tocar la persona, el encuadre ni el ritmo. Esta función es la que convierte el modelo en una herramienta de postproducción.
Retratos de animales
Un modelo de animales ajustado aparte mueve gatos, perros y pandas con metraje humano, y los animales adoptan el movimiento de cabeza y la forma de la boca. Son pesos distintos, así que cuenta con una segunda descarga y otro script de entrada.
Ventajas y desventajas
Ventajas
- Gratis y de código abierto, con código y pesos publicados por el equipo, sin sistema de créditos ni pago por clip.
- Lo bastante rápido para experimentar casi en tiempo real con una sola GPU de consumo, lo que abarata cada prueba de aspecto.
- Control fino de ojos y labios mediante valores escalares, además de edición de postura del retrato de origen en la interfaz Gradio.
- Acepta orígenes estilizados como pinturas, arte de estilo anime y esculturas, no solo fotos de personas reales.
- Comunidad activa, con nodos para ComfyUI, instaladores para Windows y una demo pública mantenida fuera del repositorio principal.
Desventajas
- Necesitas una GPU NVIDIA relativamente reciente, además de conda, CUDA y FFmpeg. En un portátil con gráficos integrados, o va muy lento o no arranca.
- No hay API oficial alojada ni contrato de soporte, así que llevarlo a producción implica montar el despliegue por tu cuenta.
- El resultado depende de la entrada. Una cara pequeña en el encuadre, girada o medio tapada suele fallar en la detección o salir blanda.
- El consentimiento y las licencias son tu responsabilidad. El repositorio trae sus propios términos de licencia, y animar la cara de otra persona sin permiso tiene riesgo legal y ético real.
Preguntas frecuentes
Sí. El código y los pesos preentrenados se descargan sin costo y no hay planes de suscripción. Lee el archivo de licencia del repositorio antes de publicar algo comercial, porque los términos cubren tanto el código como los pesos.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con LivePortrait.
Alternativas a LivePortrait
Google EmbeddingGemma 2
Google DeepMind · Escritura · Imagen · ProgramaciónGoogle EmbeddingGemma 2 es un modelo abierto de 740 millones de parámetros que convierte texto, código, imágenes, audio y fotogramas de vídeo en vectores de un mismo espacio de 768 dimensiones, y funciona en móviles y portátiles.
Tractionwave
TractionWave · Imagen · MarketingTractionWave genera mapas de calor de atención con IA para anuncios estáticos. Subes un PNG o JPG y obtienes la atención prevista, puntos calientes ordenados y correcciones antes de invertir presupuesto.
Imejis.io
Imejis.io · Imagen · MarketingImejis.io es un estudio de diseño con IA para agentes y equipos de marketing. Describes una imagen con tus palabras y la herramienta escribe el texto, arma la maqueta, la adapta a cada tamaño y exporta el archivo final.