Framepack
Lvmin Zhang (lllyasviel), Stanford University · 影片
FramePack 是一款開源影片模型，把下一幀預測變成一般 GPU 也能勝任的事。它由史丹佛大學的 Lvmin Zhang（lllyasviel）打造。它的主要訣竅，是把過去的畫格壓縮成固定的脈絡長度，因此生成一段兩秒短片和一分鐘序列的成本大致相同。有別於雲端代管的 AI 影片生成器，FramePack 以桌面應用程式的形式在你自己的機器上運作，至少需要 6GB 顯示記憶體，使用完全免費。
關於 Framepack
什麼是 FramePack
FramePack 是一款影片擴散模型，建立在一套簡單的想法上：別再讓模型記住一切。在較舊的影片生成器裡，影片越長代表要追蹤的畫格越多，而你每多加一秒，記憶體與運算負擔就隨之成長。FramePack 改把輸入脈絡壓縮到固定長度，所以就算處理大量畫格，工作量也不會爆掉。
這套設計針對 AI 影片長久以來的兩個問題。「遺忘」是指模型追丟先前的內容，導致角色或背景在影片中途改變。「漂移」則是微小錯誤不斷累積，影片越長畫面越糟。FramePack 同時處理這兩者，這也是它能在遠比多數本機工具更長的執行中維持畫質的原因。重點就在這裡。更長的影片，卻沒有往常的一團亂。
麻煩在於硬體與安裝設定。你需要一張 Nvidia RTX 30XX、40XX 或 50XX 顯示卡，至少 6GB 顯示記憶體，並在 Linux 或 Windows 上執行。FramePack 以可下載的桌面應用程式形式推出，由你自己執行，而不是讓你登入的網站。沒有官方雲端服務，也沒有付費方案。它本質上也是個研究專案，意味著只要離開預設應用程式，粗糙的邊角和命令列式的工作流程都很正常。
開始使用
- 先檢查你的 GPU。你需要一張 Nvidia RTX 30XX、40XX 或 50XX 顯示卡，至少 6GB 顯示記憶體；GTX 10XX 和 20XX 顯示卡未經測試，可能無法運作。
- 從官方 GitHub 儲存庫（github.com/lllyasviel/FramePack）取得軟體，並依循它的 Windows 或 Linux 安裝步驟。它實際上也能當作 FramePack 教學，因為儲存庫會帶你走完整個設定流程。忽略 framepack.net、framepack.co 或 framepack.ai 這類看似相似的網站；專案已將它們列為假冒。
- 讓它在首次執行時下載預訓練權重，然後開啟桌面介面。
- 上傳一張參考圖片，輸入描述你想要動作的文字提示，接著開始生成，並在每次執行之間調整長度或設定。
- 匯出完成後的短片，如果你想進一步延長影片，就把它當作新的參考再餵回去。
產品資訊
快速了解 Framepack 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 擁有電競 PC 的愛好者：如果你已經有 RTX 30XX 或更新的顯示卡，就能在本機玩 AI 影片生成，不必為每段短片付費。
- 重視隱私的創作者：由於一切都在你自己的硬體上執行，你生成的任何內容都不會離開你的機器，如果你處理敏感素材或想法，這點很重要。
- 學生與研究人員：程式碼開放，且與一篇已發表的論文連結，因此它也能用來研究影片擴散在底層究竟如何運作。
任務
- 把靜態圖片變成簡短的動畫短片：給 FramePack 一張圖片加一段動作提示，它就會讓場景往前動起來。
- 生成長序列而不讓品質崩壞：它正是為多數工具會崩解的情況而打造，能在長時間執行中維持一致性。
- 用低成本為 AI 影片點子打樣：在投入付費的雲端代管服務之前，先在自己的 GPU 上測試提示與動作概念。
情境
- 週末的創意實驗：設定一次，之後靈感一來就能生成短片，沒有訂閱時鐘在跑。
- 離線或低頻寬的工作：因為生成在裝置上完成，你不必依賴穩定的網路連線或上傳限制。
- 從內部學習 AI 影片：閱讀程式碼並調整取樣器，是理解下一幀預測的實作方式。
主要功能
為長影片設計的固定脈絡長度
長影片生成通常會隨著影片變長而變貴，因為模型要追蹤更多畫格。FramePack 把這段歷史壓縮成固定大小，因此無論是幾張畫格還是幾百張，運算瓶頸都維持平穩。這正是 13B 模型能在筆電等級 GPU 上跑起來的原因。
漸進式畫格壓縮
並不是每一張畫格對預測接下來畫面都同等重要。FramePack 對較不重要的畫格施加更強的壓縮，卻保留關鍵畫格的細節，在壓低記憶體用量的同時，守住模型真正需要的視覺資訊。把它想成讓重要的部分保持銳利，其餘的則容許模糊。這能省下記憶體，又不犧牲品質。
抗漂移取樣
漂移是讓較長 AI 短片顯得混濁或不穩的緩慢衰退。FramePack 同時採用兩個方向的脈絡來生成畫格，這能減少錯誤累積，並讓畫質在整段影片中更穩定。這在沒有參考圖片的文字轉影片執行中最重要，因為沒有東西能錨定外觀。少了它，長片就會崩解。
可與現有模型搭配
你不必自己訓練影片模型才能使用 FramePack。它能接上預訓練的影片擴散模型，並透過微調加以調整，所以你能站在既有的成果上發展，而不必從頭來過。設定更少，成果更快。
本機桌面應用程式，不需雲端
想完全跳過雲端嗎？FramePack 以桌面程式形式交付，內建自己的取樣與記憶體管理，而不是網路服務。本機影片生成能讓你的素材保持私密，並消除每段短片的成本。這也意味著安裝由你負責，你也要負責備妥正確的硬體。
可延伸的生成
你可以拿一段輸出短片，當作下一輪的參考，把生成一段段串起來，逐段拼出更長的影片。這是一個實用的變通做法，用來應對任何單次生成都不是無限的這件事實。簡單，而且可行。
優缺點
優點
- 免費且開源，沒有訂閱或每段短片的計價。
- 能在消費級硬體上執行，只要 6GB 顯示記憶體和一張 RTX 30XX 或更新的顯示卡。
- 隨著影片長度增加，生成成本大致維持不變，這在 AI 影片工具中很少見。
- 一切都在本機進行，所以你的提示與素材都留在自己的機器上。
- 有已發表的研究論文與活躍的程式碼儲存庫作為後盾，你可以自行檢視。
缺點
- 安裝設定偏技術性：你要從 GitHub 安裝並下載大型模型權重，不是那種點一下就能用的體驗。
- 沒有官方雲端服務或 API，所以沒有自己一張夠力的 GPU 就無法生成影片。
- 這個專案以研究為先，而且有好幾個看似相似的詐騙網站冒充它，所以你必須小心在哪裡下載。
常見問題
是。它是一個以自由授權發布的開源專案，沒有付費方案，因為沒有官方服務可以付費。你唯一真正的成本，是執行它的硬體。就這樣。
相關內容
探索與 Framepack 相關的工具、技能與文章。
Framepack 替代方案
ngram 2.0
ngram · 影片 · 行銷ngram 2.0 是給團隊使用的 AI 影片生成器。一句描述、一段螢幕錄影或一個產品網址，就能變成配好旁白的解說影片、產品示範或 AI 虛擬主播影片，而且每個場景都還能修改。
OpenScreen 2
OpenScreen (open-source project) · 影片 · 生產力OpenScreen 2 是免費的開源螢幕錄影與示範影片剪輯工具，支援 Windows、macOS 與 Linux，會自動縮放、套上邊框與本機字幕，還能交給代理編輯。
Skreno
Skreno · 影片 · 生產力Skreno 是瀏覽器螢幕錄影工具，能錄下單一分頁、單一視窗或整個螢幕，再把 AI 逐字稿、摘要與主控台紀錄綁進同一個分享連結。