LivePortrait AI
Kuaishou Technology · 画像 · チャットボット
LivePortrait AIは、1枚の写真を動くポートレート動画に変えるツールだ。顔のクリップやモーションのテンプレートで動きを与える。Kuaishouのオープンソース実装で、人物、ペット、絵画を扱え、目と唇は別々に制御できる。
LivePortrait AI について
About
LivePortrait AIとは
LivePortrait AIは、KuaishouのKling（可霊）チームが2024年7月にオープンソースで公開したフレームワーク「LivePortrait」の上に成り立つツールである。静止画と動きの元になる素材を渡す。返ってくるのは、その写真の顔がまばたきし、笑い、首を傾げ、参照クリップに合わせて口を動かす動画だ。
汎用のAI動画生成と何が違うか。答えは制御の細かさにある。プロンプトを書いて顔が崩れないことを祈るのではなく、目をどれだけ開くか、口をどこまで開くか、頭をどちらへ向けるかを自分で決める。祖父母の写真に喋らせる、アニメキャラクターを歌わせる、合図どおりに反応するマスコットを作る、といった用途に向く。
始める前に押さえるべき制限は2つある。動くのは顔だけで、肩から下は止まったままだ。そして、ある程度はっきりした正面の顔が要る。ぼやけた横顔や濃い影は結果を大きく損なう。
使い始める
- 進め方を選ぶ。liveportrait.appのWebプレイグラウンドには無料枠があり、GitHubのリポジトリなら手持ちのマシンで全部動かせる。
- 顔がはっきり見え、光の当たり方が均一なポートレート写真をアップロードする。PNG、JPEG、WEBPに対応する。
- 動きの元を決める。ライブラリのテンプレートでも自作クリップでもよい。自作する場合は頭部を中心に映し、1フレーム目は無表情から始め、肩の動きは抑える。
- 生成を押し、元画像と見比べてから動画をダウンロードする。
AIツール情報
LivePortrait AIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 家族の記録を扱う人：色あせた写真やモノクロ写真を数秒の動くクリップとして残せる。ただしスキャン画像の顔が判別できることが条件だ。
- アニメ・二次創作の作り手：実写の顔クリップで描いたキャラクターを動かせる。学習データに様式化された絵も含まれているためだ。
- SNSの動画編集者：リールやショート用の喋るポートレートを、アニメーターを雇わずに用意できる。
- 公開ウェイトで開発する人：コードもチェックポイントも公開されているので、顔アニメーションを自社製品に組み込める。
タスク
- 写真を動画に変換する：静止画1枚とクリップ1本で、最新GPUなら数秒で結果が出る。
- ペットのクリップ制作：動物用に微調整したモデルが、猫や犬を同じ表情で動かす。
- ポートレート動画の編集：既存の動画をモデルに通し、写真から作り直さずに表情や視線を変える。
- 表情の微調整：全部を描き直すほどでもないとき、目の開きや口の形をスライダーで詰める。
シーン
- 博物館や授業の教材：絵画や歴史上の肖像を数秒だけ自然に動かし、発表に使う。
- 追悼の映像：家族写真にゆっくりしたまばたきと小さな笑みを載せる。短く控えめにまとめる。
- キャラクターの試作：本格的な3Dアニメに入る前に、デザインが動くとどう見えるかを確かめる。
- 手元で完結する作業：写真を外に出せない案件では、処理の全工程をオフラインで回す。
主な機能
ドライビング動画とモーションテンプレート
自前のクリップでも、保存済みのモーションテンプレートでも写真を動かせる。使える素材がないときはテンプレートが安全だ。元になる人物を工程から完全に外せる点も、プライバシーの面で効く。
目と唇のリターゲティング
小さな制御モジュールが2つあり、クリップとは独立して目の開きと口の開きを決められる。喋るポートレートが自然に見えるか、貼り付けたように見えるかの分かれ目はここだ。視線と唇の形が表情の大半を担う。
複数ポートレートの縫合
1つの画面に複数の顔が並ぶとき、スティッチングモジュールが動かした領域をなじませ、継ぎ目を消す。集合写真や複数人物の場面でも、硬い境界線が出ずに滑らかに仕上がる。
様式化された題材と動物
モデルの汎化は実写の顔にとどまらない。油絵、彫刻、3Dレンダー、アニメキャラクター、ペットまで動く。実写動画と様式化した静止画を混ぜた約6,900万フレームで学習しているためだ。
画像ドリブンモード
毎回クリップが必要なわけではない。参照画像1枚から表情を与えられる。特定の笑顔や眉の形を再現したいとき、素材を探し回らずに済む。
ローカル導入とWebプレイグラウンド
使い方は2通り。Web版は導入なしで使え、無料枠のほか月7.90〜34.90ドルの有料プランがある。ローカル版は無料でオフライン稼働し、パラメータも全部開く。ただしCUDA対応GPUと、Python環境を扱える程度の慣れが要る。
メリットとデメリット
メリット
- オープンソースでウェイトも公開されているため、ローカルで動かせばレンダーごとの課金は発生しない。
- 最新ハードでは高速で、プロジェクトはRTX 4090で1フレーム約12.8ミリ秒と報告している。
- 様式化された顔やペットも扱え、写実的な人物肖像に限らない。
- 目と唇を細かく制御でき、プロンプト型のAI動画生成ツールにはない調整ができる。
- モデルが小さいため、データセンター向けのカードなしでも家庭用GPUに収まる。
デメリット
- 動くのは顔だけ。体、手、背景は止まったままで、場面全体のアニメーションには使えない。
- ローカル導入が実質的な壁になる。Python、conda、FFmpeg、そして数GBのチェックポイントを揃えるまで何も見えない。
- 強い横向き、遮蔽、暗い照明は出力を大きく悪化させる。自動でやり直す仕組みもない。
- 提供元自身がホスト版の無料枠を不安定と明記している。継続的な制作なら課金が現実的な道だ。
よくある質問
2つの意味で無料だ。GitHubのオープンソース版は費用ゼロで自分のマシンで動く。公式サイトにも無料の試用枠がある。クレジットと長い履歴が欲しければ、年払いで月7.90ドルからの有料プランになる。
関連コンテンツ
LivePortrait AIに関連するツール、スキル、記事を探す。
LivePortrait AIの代替ツール
X Ray Interpreter
X-ray Interpreter · 画像X Ray Interpreter は、X 線、CT、MRI、超音波、PET の画像を平易な言葉のレポートに変えるウェブベースの AI 放射線ツールだ。スキャン画像をアップロードすると、X 線の予備的な読影結果がすぐに返ってくる。説明が必要な箇所があれば、その後で追加の質問もできる。位置づけはセカンドオピニオンと学習の補助であり、医療診断ではない。
Aieasypic
AIEasyPic · 画像AIEasyPicは、単純なテキストプロンプトを数秒で完成したアート作品に変えるAI画像生成ツールだ。自分の写真でカスタムモデルを訓練したり、既存の画像の顔を交換したり、テキストから短い動画クリップを作ったりもできる。すべてブラウザだけで完結する。手早くビジュアルが欲しい気軽なクリエイターにも、コードを一切触らずに個人モデルを作りたい趣味の人にも向く。
Chargen
Chargen · 画像ChargenはDungeons & Dragonsやその他のテーブルトークRPG向けに作られたAIキャラクター生成ツール兼ワールドビルディングツールキットだ。一行のアイデアを描き上げたキャラクター肖像に変え、同じセッションでNPC、モンスター、マップ、遭遇を生み出し、すべてのクリーチャーの詳細を手元に置く。テーブルトークRPGアートの部分はGoldと呼ばれるクレジット制で動き、テキスト生成ツールは誰でも無料のまま使える。