LivePortrait
Kuaishou Technology (KwaiVGI) · Image · Vidéo
LivePortrait est un modèle d'animation de portraits open source développé par Kuaishou. Vous lui donnez une photo et un court clip de référence, et il copie sur le visage les expressions, les clignements et les mouvements de tête de ce clip.
À propos de LivePortrait
About
Qu'est-ce que LivePortrait
LivePortrait est un modèle d'animation de portraits publié par Kuaishou en juillet 2024. Vous fournissez une image fixe et une courte vidéo où quelqu'un bouge le visage. Le modèle lit le mouvement de la vidéo, l'applique au visage de l'image et écrit un nouveau clip dans lequel votre photo parle, cligne des yeux et tourne la tête.
Le rendu ressemble davantage à une vraie performance qu'à un filtre. L'identité ne bouge pas. Seules l'expression et la pose changent. Cette retenue est rare dans les outils d'animation de photos.
Ce n'est pas un site auquel vous vous abonnez. C'est un dépôt de recherche avec du code, des poids pré-entraînés et une interface Gradio que vous lancez sur votre machine. Le compromis est clair : pas d'abonnement, mais l'installation, la carte graphique et les fichiers restent à votre charge.
L'équipe s'appuie sur des keypoints implicites plutôt que sur la diffusion, et c'est de là que vient la vitesse. D'après le rapport technique du projet, une image est générée en 12,8 millisecondes environ sur une RTX 4090, et le modèle a été entraîné sur près de 69 millions d'images de haute qualité. Ces chiffres viennent de Kuaishou et décrivent une étape d'inférence par image, pas la chaîne complète avec recadrage et encodage vidéo.
Premiers pas
- Installez git, conda et FFmpeg, puis clonez le dépôt LivePortrait de Kuaishou depuis GitHub.
- Créez un environnement Python (3.9 ou 3.10), activez-le et installez le fichier de dépendances. Sous Windows, l'installateur officiel en un clic évite presque toute cette étape.
- Téléchargez les poids pré-entraînés dans le dossier
pretrained_weights. Le modèle humain est fourni par défaut, un modèle animal existe à part. - Lancez
inference.pyavec une image source et une vidéo de référence, ou ouvrezapp.pypour retrouver l'interface Gradio dans le navigateur. - Récupérez votre vidéo dans le dossier
animationsou passez par le bouton d'export de l'interface.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de LivePortrait.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Créateurs de vidéos pour les réseaux
- Développeurs et chercheurs en IA
- Petites équipes d'animation et de jeu vidéo
Tâches
- Animer de vieilles photos de famille
- Fabriquer des têtes parlantes pour le format court
- Retoucher les expressions d'un clip existant
- Tester dans ComfyUI
Cas d'usage
- Travail hors ligne sur des photos que vous ne voulez pas envoyer
- Essayer avant de payer un service hébergé
- Démonstrations en cours et en laboratoire
Fonctionnalités clés
D'une seule photo à la vidéo
Une image suffit comme référence d'apparence. LivePortrait estime la pose de la tête et l'expression de ce visage, puis le reconstruit image par image sous le mouvement du clip de référence. Portraits, huiles, sculptures et rendus 3D passent comme sources, ce qui sert aussi aux personnages stylisés.
Animation pilotée par vidéo avec pose complète de la tête
Le clip de référence contrôle bien plus que la bouche. Rotation, inclinaison, sourcils et direction du regard sont transférés, et le résultat réagit comme la performance d'origine. Ce transfert complet fait la différence entre une prise crédible et un avatar qui se contente d'acquiescer.
Fusion de plusieurs visages dans une même scène
La plupart des modèles d'animation faciale lâchent quand deux personnes partagent le cadre. LivePortrait anime chaque visage séparément puis les recompose avec un module de couture, si bien que les photos de groupe gardent des bords propres et des identités intactes.
Reciblage des yeux et des lèvres
Deux petits réseaux de contrôle règlent l'ouverture des yeux et celle des lèvres avec une valeur chacune. Vous obtenez une bouche fermée ou grande ouverte, un clignement ou un regard fixe, sans chercher une autre vidéo de référence. Les monteurs s'en servent pour corriger une image ratée au lieu de relancer tout le clip.
Montage vidéo vers vidéo
Le mode v2v prend une vidéo source à la place d'une image et refait les expressions qu'elle contient. Une prise tournée dans une humeur peut glisser vers une autre sans toucher à la personne, au cadrage ni au rythme. C'est la fonction qui fait passer le modèle du jouet à l'outil de post-production.
Portraits d'animaux
Un modèle animal affiné à part fait bouger chats, chiens et pandas avec des images d'humains, et les bêtes reprennent les mouvements de tête et la forme de la bouche. Les poids sont distincts : comptez un second téléchargement et un autre script d'entrée.
Avantages et inconvénients
Avantages
- Gratuit et open source, avec code et poids publiés par l'équipe, sans crédits ni paiement au clip.
- Assez rapide pour expérimenter en quasi temps réel sur une seule GPU grand public, ce qui rend chaque essai de rendu peu coûteux.
- Réglage fin des yeux et des lèvres par valeurs scalaires, plus l'édition de pose du portrait source dans l'interface Gradio.
- Accepte des sources stylisées comme des peintures, des dessins façon anime ou des sculptures, pas seulement des photos de personnes réelles.
- Communauté active, avec des nœuds ComfyUI, des installateurs Windows et une démo publique maintenue hors du dépôt principal.
Inconvénients
- Il faut une GPU NVIDIA assez récente, plus conda, CUDA et FFmpeg. Sur un portable à graphique intégré, comptez une lenteur extrême ou aucun lancement.
- Aucune API hébergée officielle ni contrat de support : passer en production suppose d'assumer le déploiement vous-même.
- Le résultat dépend des entrées. Un visage petit dans le cadre, tourné ou à moitié masqué rate souvent la détection ou ressort mou.
- Le consentement et les licences vous reviennent. Le dépôt impose ses propres conditions, et animer le visage d'autrui sans autorisation pose un vrai risque juridique et éthique.
Questions fréquentes
Oui. Le code et les poids pré-entraînés se téléchargent sans frais et il n'existe aucun abonnement. Lisez le fichier de licence du dépôt avant toute publication commerciale, car les conditions couvrent le code comme les poids.
Contenus associés
Découvrez des outils, des compétences et des articles liés à LivePortrait.
Alternatives à LivePortrait
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
Tractionwave
TractionWave · Image · MarketingTractionWave produit une carte de chaleur d'attention par IA pour les annonces statiques. Vous déposez un PNG ou un JPG, et vous obtenez l'attention prévue, des points chauds classés et des corrections avant de dépenser.
Imejis.io
Imejis.io · Image · MarketingImejis.io est un studio de design IA pour les agents et les équipes marketing. Vous décrivez une image avec vos mots, l'outil écrit le texte, construit la mise en page, l'adapte à chaque format et exporte le fichier final.