Framepack
Lvmin Zhang (lllyasviel), Stanford University · 動画
FramePackは、次フレーム予測を普通のGPUでも扱えるものに変えるオープンソースの動画モデルだ。スタンフォード大学のLvmin Zhang（lllyasviel）が開発した。最大の仕掛けは、過去のフレームを一定のコンテキスト長に圧縮することにある。これにより、2秒のクリップでも1分のシーケンスでも生成コストがほぼ変わらない。クラウド型のAI動画生成ツールと違い、FramePackはデスクトップアプリとして自分のマシン上で動き、最低6GBのVRAMを必要とし、利用は無料だ。
Framepack について
FramePackとは
FramePackは、シンプルな発想で組み立てられた動画拡散モデルだ。モデルにすべてを覚えさせるのをやめる、という発想である。旧来の動画生成ツールでは、クリップが長くなるほど追跡すべきフレームが増え、1秒足すごとにメモリと計算の負担が膨らんだ。FramePackは代わりに、入力コンテキストを一定の長さに詰め込む。だから大量のフレームを処理しても作業量が爆発しない。
この設計は、AI動画が長く抱えてきた2つの問題に切り込む。「忘却」とは、モデルが以前の内容を見失い、クリップの途中でキャラクターや背景が変わる現象だ。「ドリフト」とは、小さな誤差が積み重なり、生成が長引くほど絵が悪くなる現象である。FramePackは両方に同時に立ち向かう。だからこそ、ほとんどのローカルツールよりはるかに長い実行でも画質を保てる。要はそこだ。よくある乱れなしの長尺クリップ。
厄介なのはハードウェアとセットアップである。NvidiaのRTX 30XX、40XX、50XXのカードが要り、ビデオメモリは最低6GB、OSはLinuxかWindowsだ。FramePackは自分で動かすダウンロード型デスクトップアプリとして配布され、ログインするウェブサイトではない。公式のクラウドサービスも有料プランもない。根っこは研究プロジェクトでもあるため、既定のアプリを離れれば、粗さやコマンドライン風の作業手順は普通のことだ。
はじめかた
- まずGPUを確認する。NvidiaのRTX 30XX、40XX、50XXのカードが要り、VRAMは最低6GB。GTX 10XXと20XXのカードは検証されておらず、動かない可能性がある。
- 公式GitHubリポジトリ（github.com/lllyasviel/FramePack）からソフトを入手し、WindowsかLinuxのインストール手順に従う。リポジトリがセットアップを案内するので、実質そのままFramePackのチュートリアルになる。framepack.net、framepack.co、framepack.aiといった似た名前のサイトは無視する。プロジェクトはそれらを偽物として挙げている。
- 初回起動時に事前学習済みの重みをダウンロードさせ、その後デスクトップの画面を開く。
- 参照画像をアップロードし、望む動きを書いたテキストプロンプトを入力して、生成を始める。長さや設定は実行の合間に調整する。
- 出来上がったクリップを書き出し、さらに動画を伸ばしたいなら、それを新しい参照として再び読み込む。
AIツール情報
Framepackの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- ゲーミングPCを持つホビイスト：RTX 30XX以降のカードをすでに持っていれば、クリップごとに課金せず、AI動画生成をローカルで試せる。
- プライバシーを気にするクリエイター：すべて自分のハードウェアで動くので、生成したものはマシンの外に出ない。機微な映像やアイデアを扱うなら重要な点だ。
- 学生と研究者：コードは公開され、公表された論文に結びついている。だから動画拡散が内部的にどう動くかを学ぶ手段にもなる。
タスク
- 静止画を短いアニメーションクリップに変える：FramePackに画像1枚と動きのプロンプトを渡せば、シーンを前へ動かしてくれる。
- 画質が崩れずに長いシーケンスを生成する：多くのツールが破綻する場面のために作られており、長時間の実行でも一貫性を保つ。
- AI動画のアイデアを安く試作する：有料のクラウド型サービスに踏み切る前に、自分のGPUでプロンプトと動きのコンセプトを試す。
シーン
- 週末の創作実験：一度セットアップすれば、ひらめいたときにいつでもクリップを生成でき、サブスクの時計も動かない。
- オフラインや低帯域の作業：生成が端末上で完結するので、安定したネット接続やアップロード上限に縛られない。
- AI動画を内側から学ぶ：コードを読み、サンプラーをいじるのは、次フレーム予測を体感的に理解する道だ。
主な機能
長尺動画のための固定コンテキスト長
長尺動画の生成は、通常、クリップが長くなるほど高くつく。モデルがより多くのフレームを追跡するからだ。FramePackはその履歴を一定サイズに圧縮し、数フレームでも数百フレームでも計算のボトルネックを一定に保つ。13BモデルがノートPCクラスのGPUでそもそも動くのは、これのおかげだ。
漸進的なフレーム圧縮
次を予測するうえで、すべてのフレームが等しく重要とは限らない。FramePackは重要度の低いフレームに強めの圧縮をかけ、要となるフレームの細部は保つ。メモリ使用量を抑えつつ、モデルが実際に必要とする視覚情報を守る。重要な部分はくっきり保ち、残りはぼかす、と考えればいい。これで品質を犠牲にせずメモリを節約できる。
ドリフト対策のサンプリング
ドリフトは、長めのAIクリップを濁ったり不安定に見せたりする緩やかな劣化だ。FramePackは両方向のコンテキストを使ってフレームを生成し、誤差の蓄積を抑え、動画全体で画質をより安定させる。これが最も効くのは参照画像なしのテキストから動画の実行で、見た目を固定するものがない場面である。これがなければ長尺クリップは崩れる。
既存モデルと組み合わせて使える
FramePackを使うために自分で動画モデルを学習する必要はない。事前学習済みの動画拡散モデルに接続し、微調整で適応させる。だからゼロから始めるのではなく、すでにある成果の上に積める。セットアップは減り、結果は早い。
ローカルのデスクトップアプリ、クラウド不要
クラウドを完全に省きたいなら。FramePackは独自のサンプリングとメモリ管理を備えたデスクトッププログラムとして届き、ウェブサービスではない。ローカルでの動画生成は映像を私的に保ち、クリップごとの費用をなくす。同時に、インストールは自分で行い、適切なハードウェアを用意する責任も自分にあるということだ。
伸ばせる生成
出力したクリップを次の回の参照として使い、生成をつなげて長い動画を区切りごとに組み立てられる。1回のパスは無限ではないという事実への実用的な回避策だ。単純で、しかも機能する。
メリットとデメリット
メリット
- 無料かつオープンソースで、サブスクもクリップ単位の課金もない。
- コンシューマー向けハードウェアで動く。必要なのは6GBのVRAMとRTX 30XX以降のカードだけだ。
- 動画が長くなるほど生成コストがほぼ一定に保たれる。AI動画ツールでは珍しい。
- すべてがローカルで完結し、プロンプトも映像も自分のマシンに残る。
- 公表された研究論文と、検査できる活発なコードリポジトリに支えられている。
デメリット
- セットアップは技術的だ。GitHubからインストールし、大きなモデルの重みをダウンロードする。クリックだけで済む体験ではない。
- 公式のクラウドサービスもAPIもないため、自分で使えるGPUがないと動画を生成できない。
- プロジェクトは研究優先で、それを装う似た詐欺サイトが複数ある。だからどこからダウンロードするか注意が要る。
よくある質問
使える。自由なライセンスで公開されたオープンソースプロジェクトで、支払うべき公式サービスがないため有料プランもない。実質的なコストは動かすハードウェアだけだ。それだけである。
関連コンテンツ
Framepackに関連するツール、スキル、記事を探す。
Framepackの代替ツール
Vadu AI
Vadu AI · 画像 · 動画Vadu AIは、書いたプロンプトや静止画を短いクリップに変えるウェブベースのAI動画ジェネレーターで、単体で画像を生成することもできる。作りたい内容を打ち込み、モデルとスタイルを選べば、プラットフォームが数分で結果を書き出す。無料プランは軽い試し書きをまかなえる範囲で、有料プランは消費するクレジットに応じて月9ドルから77.40ドルまで幅がある。
Mykaraoke Video
MyKaraoke Video · 動画Mykaraoke Videoは、オンラインで使えるカラオケ動画・歌詞動画メーカーだ。どんな曲でも、ブラウザ上で歌詞を同期した完成動画に変える。面倒な部分を代わりに処理してくれる。AIがミックスからボーカルを抜き出し、歌詞をビートに合わせ、その後で背景やフォント、色をカスタマイズしてから1080pのMP4で書き出せる。SNS向け、パーティー用、音楽プロモーション用に歌詞動画を作るなら、ソフトのインストールも手作業のタイミング合わせも丸ごと省ける。 一晩を丸ごと奪わないカラオケ動画ジェネレーターが欲しい？それがこのツールの売りだ。
Finalframe
Finalframe · 動画Finalframeは、動画クリップから正確なフレームを取り出すための無料ブラウザツール群だ。最も有名な機能である「最後のフレーム抽出」では、あらゆる動画の最後のフレームを取り出し、Luma Dream Machine、Runway、KlingといったAI動画ツールの開始画像として使える。クリップを続けたいなら、その最後のフレームが起点になる。ツールは自分のブラウザ上で動き、登録も費用も不要だ。同じチームによる別の有料AI動画生成アプリは、作り直しのため現在オフラインだ。