LivePortrait
Kuaishou Technology (KwaiVGI) · 画像 · 動画
LivePortrait は Kuaishou が公開したオープンソースのポートレートアニメーションモデルだ。写真1枚と短い参照動画を渡すと、その動画の表情、まばたき、首の動きを写真の顔に写して動画にする。
LivePortrait について
About
LivePortrait とは
LivePortrait は Kuaishou が 2024 年7月に公開した顔アニメーションモデルである。静止画を1枚と、誰かが顔を動かしている短い動画を用意する。モデルは動画から動きを読み取り、画像の顔に当てはめ、写真が話し、まばたきし、首を振る新しいクリップを書き出す。
出来上がりはフィルターというより芝居に近い。顔の作りは動かない。動くのは表情と頭の向きだけだ。写真アニメーションの道具としては、この抑制が珍しい。
登録して月額を払うタイプのサイトではない。コードと学習済みの重み、Gradio の画面がそろった研究用リポジトリで、自分のマシンで動かす。月額はかからないが、導入も GPU もファイル管理も自分で持つことになる。
土台は拡散モデルではなく暗黙的キーポイントで、速さはそこから来ている。公式の技術レポートによれば、RTX 4090 で1フレームあたり約12.8ミリ秒で生成でき、学習には約6900万枚の高品質フレームを使った。いずれも Kuaishou の発表する数字で、切り出しや動画エンコードを含む全体ではなく、推論1ステップの値だ。
はじめかた
- git、conda、FFmpeg を入れて、GitHub から Kuaishou の LivePortrait リポジトリを取得する。
- Python 環境（3.9 か 3.10）を作って有効化し、requirements を入れる。Windows なら公式のワンクリックインストーラーで大半を省略できる。
- 学習済みの重みを
pretrained_weightsに置く。既定は人向けのモデルで、動物用は別に用意されている。 - 元画像と参照動画を指定して
inference.pyを実行する。app.pyを起動すればブラウザで Gradio の画面が開く。 - 出力は
animationsフォルダから取るか、画面の書き出しボタンを使う。
AIツール情報
LivePortraitの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- SNS 向けの動画を作る人：キャラクターやマスコット、自分の表情を撮り直さずに動かしたい。ミドルクラスの NVIDIA を積んだマシンがある。
- 開発者と AI 研究者：キーポイント方式の顔アニメーションモデルを PyTorch で読みやすく実装したものが要る。改変も追加学習も計測もしたい。
- 小規模なアニメーション制作とゲーム開発：企画書や試作のためにキャラクターの表情を詰めている段階で、人数分のライセンスを払うところまではいかない。
タスク
- 古い家族写真を動かす：最初のフレームが無表情の短い動画があれば、追悼映像や記念の編集で肖像を動かせる。
- ショート動画用のトーキングヘッド作り：撮影した芝居を、絵画やイラストのキャラクターに合わせる。人を撮影する必要はない。
- 既存クリップの表情だけを直す：動画から動画へのモードなら、笑顔や閉じた口を撮り直さずに差し替えられる。
- ComfyUI での試作：コミュニティ製の ComfyUI ノードを使えば、拡大処理やマスク、動画ツールと同じグラフにつなげられる。
シーン
- アップロードしたくない写真を手元で処理する：すべてローカルで動くので、客先の肖像や未公開のキャラ設定はディスクの外に出ない。
- 有料サービスを契約する前に試す：自宅で数本作って動きの質が企画に合うか見てから、クラウドに金を払うか決められる。
- 授業や研究室でのデモ：Gradio の画面なら準備が短く、画像から動画を作る流れをその場で見せられる。
主な機能
写真1枚から動画へ
見た目の参照は画像1枚で足りる。LivePortrait はその顔の頭の向きと表情を推定し、参照動画の動きに沿って1フレームずつ組み直す。肖像画、油絵、彫刻、3D レンダリングも元画像に使えるので、実写だけでなく様式化されたキャラクターにも向く。
頭の動きまで含めた動画駆動
参照動画が動かすのは口だけではない。首の回転、傾き、眉の上がり、視線の方向まで移り、出力は元の演技と同じように反応する。この動きの移し方が、説得力のある映像と、うなずくだけのアバターを分ける。
複数の顔を1つの画面に収める縫合
顔アニメーションモデルの多くは、2人が同じ画面に入った時点で崩れる。LivePortrait は顔ごとに動かし、縫合モジュールでつなぎ直す。集合写真でも輪郭が濁らず、それぞれの顔立ちが保たれる。
口元リターゲティングと目の制御
小さな制御ネットワークが2つあり、目の開き具合と唇の開き具合をそれぞれ1つの数値で決められる。口を閉じた状態も大きく開けた状態も、まばたきも凝視も、別の参照動画を探さずに作れる。編集では1フレームの修正に使い、クリップ全体を焼き直さずに済む。
動画から動画への編集
v2v モードは静止画ではなく動画を入力に取り、その中の表情を作り変える。ある雰囲気で撮った芝居を別の雰囲気へ移せる。人物も構図もタイミングもそのままだ。この機能があるから、おもちゃではなく仕上げの道具になる。
動物のポートレート
動物向けに別途追加学習したモデルは、人の映像で猫、犬、パンダを動かす。動物は頭の動きと口の形を引き継ぐ。重みは別系統なので、追加のダウンロードと別の起動スクリプトを見込んでおきたい。
メリットとデメリット
メリット
- 無料のオープンソースで、コードも学習済みの重みもチームが公開している。クレジット制も1本ごとの課金もない。
- コンシューマー向け GPU 1枚でほぼリアルタイムに試せるので、絵作りの試行にかかる費用が小さい。
- 目と唇を数値で細かく調整でき、Gradio の画面では元の肖像の姿勢も編集できる。
- 油絵、アニメ調のイラスト、彫刻など様式化した素材も入力に使える。実写に限らない。
- コミュニティが活発で、ComfyUI ノードや Windows 用インストーラー、本体とは別に運営される公開デモがある。
デメリット
- ある程度新しい NVIDIA GPU が要り、conda、CUDA、FFmpeg の扱いも必要だ。内蔵 GPU のノート PC では極端に遅いか、そもそも動かない。
- 公式のホスティング API もサポート契約もない。本番で使うなら配備は自分の責任になる。
- 仕上がりは素材に左右される。画面の中で顔が小さい、横を向いている、半分隠れている場合は検出に失敗したり、ぼやけたりしやすい。
- 同意とライセンスは利用者の責任だ。リポジトリには独自のライセンス条件があり、他人の顔を許諾なく動かすことには法的にも倫理的にも実際の危険がある。
よくある質問
無料だ。コードと学習済みの重みは費用なしでダウンロードでき、月額プランもない。商用で公開する前にリポジトリのライセンスファイルを読んでおきたい。条件はコードにも重みにも及ぶ。
関連コンテンツ
LivePortraitに関連するツール、スキル、記事を探す。
LivePortraitの代替ツール
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
Tractionwave
TractionWave · 画像 · マーケティングTractionWaveは静止画広告のアテンションヒートマップを作るAIツールだ。PNGかJPGを入れると、予測された注目位置、優先順位付きホットスポット、修正案が返る。予算を投じる前の判断に使う。
Imejis.io
Imejis.io · 画像 · マーケティングImejis.io はエージェントとマーケティングチームのための AI デザインスタジオだ。ふだんの言葉で画像を説明すれば、コピーを書き、レイアウトを組み、全サイズへ自動で組み替え、完成ファイルを書き出す。