LivePortrait
Kuaishou Technology (KwaiVGI) · Bilder · Video
LivePortrait ist ein Open-Source-Modell für Porträtanimation von Kuaishou. Sie geben ein Foto und einen kurzen Referenzclip hinein, und es überträgt Mimik, Lidschläge und Kopfdrehungen aus diesem Clip auf das Gesicht im Bild.
Über LivePortrait
About
Was ist LivePortrait
LivePortrait ist ein Modell für Porträtanimation, das Kuaishou im Juli 2024 veröffentlicht hat. Sie liefern ein Standbild und ein kurzes Video, in dem jemand sein Gesicht bewegt. Das Modell liest die Bewegung aus dem Video, legt sie auf das Gesicht im Bild und schreibt einen neuen Clip, in dem Ihr Foto spricht, blinzelt und den Kopf dreht.
Das Ergebnis wirkt näher an einer echten Performance als an einem Filter. Die Identität bleibt stehen. Nur Ausdruck und Haltung bewegen sich. Diese Zurückhaltung ist bei Fotoanimation selten.
Es ist keine Website mit Abo. Es ist ein Forschungsrepository mit Code, vorab trainierten Gewichten und einer Gradio-Oberfläche, die auf Ihrem Rechner läuft. Das ist der Tausch: keine Monatsgebühr, dafür Installation, Grafikkarte und Dateien bei Ihnen.
Das Team setzt auf implizite Keypoints statt auf Diffusion, und daher kommt das Tempo. Laut dem technischen Bericht des Projekts entsteht ein Frame in etwa 12,8 Millisekunden auf einer RTX 4090, trainiert wurde mit rund 69 Millionen hochwertigen Frames. Die Zahlen stammen von Kuaishou und beschreiben einen Inferenzschritt pro Frame, nicht die komplette Kette mit Zuschnitt und Video-Encoding.
Erste Schritte
- Installieren Sie git, conda und FFmpeg und klonen Sie das Repository LivePortrait von Kuaishou aus GitHub.
- Legen Sie eine Python-Umgebung an (3.9 oder 3.10), aktivieren Sie sie und installieren Sie die Requirements-Datei. Unter Windows sparen Sie sich fast alles mit dem offiziellen Ein-Klick-Installer.
- Laden Sie die vorab trainierten Gewichte in den Ordner
pretrained_weights. Das Menschenmodell ist Standard, ein Tiermodell gibt es separat. - Starten Sie
inference.pymit einem Quellbild und einem Referenzvideo, oder öffnen Sieapp.py, um die Gradio-Oberfläche im Browser zu nutzen. - Holen Sie das Video aus dem Ordner
animationsoder nutzen Sie den Export-Knopf der Oberfläche.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von LivePortrait.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Videomacher für soziale Netze
- Entwickler und KI-Forschende
- Kleine Animations- und Spieleteams
Aufgaben
- Alte Familienfotos beleben
- Sprechende Köpfe für Kurzvideo bauen
- Ausdrücke in einem vorhandenen Clip ändern
- Prototypen in ComfyUI
Szenarien
- Offline arbeiten mit Fotos, die Sie nicht hochladen möchten
- Testen, bevor Sie einen Hosting-Dienst bezahlen
- Vorlesung und Labordemo
Wichtigste Funktionen
Von einem einzigen Foto zum Video
Ein Bild reicht als gesamte Erscheinungsreferenz. LivePortrait schätzt Kopfhaltung und Ausdruck dieses Gesichts und baut es Frame für Frame unter der Bewegung des Referenzclips neu auf. Porträts, Ölbilder, Skulpturen und 3D-Renderings taugen als Quelle, damit ist das Modell auch für stilisierte Figuren brauchbar.
Videogesteuerte Animation mit voller Kopfhaltung
Der Referenzclip steuert weit mehr als den Mund. Kopfdrehung, Neigung, hochgezogene Brauen und Blickrichtung werden übertragen, und das Ergebnis reagiert wie die Vorlage. Genau dieser vollständige Transfer trennt eine glaubwürdige Aufnahme von einem Avatar, der nur nickt.
Mehrere Gesichter in einer Szene zusammenfügen
Die meisten Gesichtsanimationsmodelle brechen ein, sobald zwei Personen im Bild sind. LivePortrait animiert jedes Gesicht einzeln und fügt sie danach mit einem Stitching-Modul zusammen, sodass Gruppenfotos saubere Ränder und intakte Identitäten behalten.
Lippen-Retargeting und Augensteuerung
Zwei kleine Steuernetze legen die Öffnung von Augen und Lippen jeweils über einen einzelnen Wert fest. Sie bekommen einen geschlossenen oder weit offenen Mund, einen Lidschlag oder einen starren Blick, ohne ein anderes Referenzvideo zu suchen. Cutter reparieren damit einen schlechten Frame statt den ganzen Clip neu zu rendern.
Video-zu-Video-Bearbeitung
Der v2v-Modus nimmt ein Quellvideo statt eines Standbilds und überarbeitet dessen Ausdrücke. Eine Aufnahme in einer Stimmung lässt sich in eine andere schieben, während Person, Bildausschnitt und Timing gleich bleiben. Erst dadurch wird aus dem Modell ein Werkzeug für die Postproduktion.
Tierporträts
Ein separat nachtrainiertes Tiermodell bewegt Katzen, Hunde und Pandas mit Aufnahmen von Menschen, und die Tiere übernehmen Kopfhaltung und Mundform. Es sind eigene Gewichte, also rechnen Sie mit einem zweiten Download und einem anderen Startskript.
Vor- und Nachteile
Vorteile
- Kostenlos und Open Source, Code und Gewichte sind vom Team veröffentlicht, ohne Credits oder Preis pro Clip.
- Schnell genug für Versuche nahezu in Echtzeit auf einer einzelnen Consumer-GPU, wodurch jede Runde billig bleibt.
- Feine Steuerung von Augen und Lippen über Skalarwerte, dazu Pose-Bearbeitung des Quellporträts in der Gradio-Oberfläche.
- Nimmt stilisierte Vorlagen wie Gemälde, Anime-Grafiken und Skulpturen an, nicht nur Fotos echter Menschen.
- Aktive Community mit ComfyUI-Knoten, Windows-Installern und einer öffentlichen Demo außerhalb des Kernrepos.
Nachteile
- Sie brauchen eine halbwegs aktuelle NVIDIA-GPU sowie conda, CUDA und FFmpeg. Auf einem Notebook mit integrierter Grafik läuft es entweder sehr zäh oder gar nicht.
- Es gibt keine offizielle gehostete API und keinen Supportvertrag, Produktivbetrieb heißt also eigene Bereitstellung.
- Das Ergebnis hängt an der Vorlage. Ein kleines, abgewandtes oder halb verdecktes Gesicht scheitert oft an der Erkennung oder bleibt weich.
- Einwilligung und Lizenz liegen bei Ihnen. Das Repository bringt eigene Bedingungen mit, und fremde Gesichter ohne Erlaubnis zu animieren ist rechtlich und ethisch riskant.
Häufige Fragen
Ja. Code und vorab trainierte Gewichte lassen sich ohne Bezahlung herunterladen, Abopläne gibt es nicht. Lesen Sie vor einer kommerziellen Veröffentlichung die Lizenzdatei im Repository, denn die Bedingungen gelten für Code und Gewichte.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu LivePortrait.
Alternativen zu LivePortrait
Google EmbeddingGemma 2
Google DeepMind · Schreiben · Bilder · CodingGoogle EmbeddingGemma 2 ist ein offenes Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Videobilder in Vektoren eines gemeinsamen 768-dimensionalen Raums umwandelt und auf Handys und Notebooks läuft.
Tractionwave
TractionWave · Bilder · MarketingTractionWave erstellt per KI eine Aufmerksamkeits-Heatmap für statische Anzeigen. Sie laden ein PNG oder JPG hoch und bekommen prognostizierte Aufmerksamkeit, sortierte Hotspots und Korrekturen, bevor Budget fließt.
Imejis.io
Imejis.io · Bilder · MarketingImejis.io ist ein KI-Designstudio für Agenten und Marketingteams. Sie beschreiben ein Bild in eigenen Worten, und das Werkzeug schreibt den Text, baut das Layout, passt es an jedes Format an und exportiert die fertige Datei.