Meta AI
Meta (FAIR) · 圖片
Meta Segment Anything Model 2（SAM 2）是 Meta 推出的開源分割模型，影像與影片共用同一套權重。你只要點一下物件，輪廓就會跟著影片一路貼住。
關於 Meta AI
About
什麼是 Meta Segment Anything Model 2
SAM 2 只回答一個很窄的問題：你剛剛點的那個東西，由哪些像素組成。Meta 的 FAIR 團隊在 2024 年 7 月把程式碼與權重放上 GitHub，授權為 Apache 2.0，因此你可以下載、執行，甚至嵌進商業產品裡。
與第一代 SAM 相比，真正的差別在影片。SAM 2 把單張照片視為只有一格畫面的影片，一套模型同時吃下兩種任務。記憶模組會把前一格學到的物件特徵帶到下一格，因此鏡頭平移或主體轉身時，遮罩還是撐得住。依 Meta 的說法，這樣的做法比先前的影片分割方法少了大約 3 倍的互動次數。
有兩個限制最好先弄清楚。SAM 2 只給遮罩，不給名字：它告訴你物件在哪裡，從不說那是什麼。它也不接受文字提示，「那台紅車」必須先變成點擊或方框，通常得靠另一個偵測模型代勞。Meta 後來又推出 SAM 3 與 SAM 3.1，兩者都支援概念提示，所以 SAM 2 現在算上一代，儘管儲存庫仍在運作、也持續修正問題。
開始使用
- 先開瀏覽器版示範（sam2.metademolab.com），在一段短影片裡點選物件。這是最快看出模型能耐的方式，不用先裝任何東西。
- 從 GitHub 取得 facebookresearch/sam2，裝在 Python 3.10 以上、PyTorch 2.5.1 以上的環境。
- 下載權重。Meta SAM 2 共有四種尺寸，最小的一組在普通電腦上就能載入。
- 選對推論器：處理照片用 SAM2ImagePredictor，處理影片用 SAM2VideoPredictor。
- 用點、方框或遮罩下提示，再讀回遮罩。想一次把整格畫面切乾淨，就開啟自動遮罩產生器。
產品資訊
快速了解 Meta AI 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 機器學習工程師：權重只要幾行程式就能接進既有的 PyTorch 流程，Apache 2.0 也讓法務審查省事不少。
- 影片剪輯師與 VFX 自由工作者：手動把移動中的主體去背要花好幾小時，一個點擊加上會跟的遮罩，時間直接掉到幾分鐘。前提是有一張顯卡，且不怕碰 Python。
- 標註團隊：自動遮罩可以當成人員複核前的初稿，大批影像的標註速度因此快上一截。
- 機器人與醫學影像團隊：Meta 在 2024 年 9 月釋出訓練程式碼，用自己的素材微調模型是可行的。
任務
- 從照片裡去背：點一下就能得到邊緣柔順的乾淨剪影，直接換背景。
- 讓物件在影片裡一路被追蹤：第一格點選之後，遮罩會跟著它跑，即使它離開畫面再回來也接得上。
- 把去背功能做進產品：這套影片分割模型在現代顯卡上能即時執行，做互動工具不是空談。
- 標註自建資料集：自動遮罩產生器會把整個資料夾的影像填滿候選遮罩，再由人工核准或剔除。
情境
- 在網頁示範裡先試想法：免安裝、免顯卡、免註冊，用來確認分割到底能不能解決你的問題。
- 長片段加多個物件：每多追一個物件，記憶體就往上加，30 秒的片段很輕鬆，10 分鐘就得先規劃。
- 衛星圖磚、顯微鏡影像這類特殊素材：基礎模型零樣本就夠穩，但用幾百張自己的畫面微調，通常比換更大的權重更有感。
主要功能
一套模型同時處理照片與影片
同一組權重能跑單張影像，也能跑影片。若你不想同時維護兩條推論路徑，這點很實際；專案混用兩種媒材時，結果也比較一致。
串流記憶讓遮罩保持穩定
記憶注意力模組會存下前面幾格的特徵，並在當前畫面重複使用。實際效果是遮罩能撐過鏡頭移動、部分遮蔽，以及暫時離開畫面的物件。Meta 把單一物件隨時間變化的遮罩稱為 masklet。
四種尺寸，從 tiny 到 large
Meta SAM 2 的參數量分別是 38.9M、46M、80.8M 與 224.4M。影片方面，Meta 公布在 A100 上，tiny 版本可達每秒 91.2 格，large 版本為每秒 39.5 格，尺寸越大分割品質越好。
SAM 2.1 改善小物件表現
2.1 版在 2024 年 9 月底推出，強化了小物件分割與鏡頭移動時的穩定度。現在才開始用的人直接下載 2.1 權重就好，價格一樣，Meta 的影片基準分數更高。
自動遮罩產生
不想下提示也行，讓模型自己對畫面裡所有東西提出遮罩。拿來探索陌生資料集很方便。進到正式流程前，記得先依面積與信心分數過濾。
開放權重、訓練程式碼與 SA-V 資料集
程式碼、權重與訓練配方全部採 Apache 2.0。Meta 同時釋出 SA-V，並稱它是目前最大的影片分割資料集，因此微調與後續發表都不必另外申請授權。
優缺點
優點
- 影像分割與影片追蹤出自同一套模型，等於少掉一整個整合環節。
- 速度快：影片推論依權重不同，每秒 39.5 到 91.2 格。
- Apache 2.0 允許商業使用，沒有按次計費，也沒有人數授權問題。
- 零樣本品質夠高，不少團隊會先跳過微調，直到遇上特定失敗案例再處理。
缺點
- Meta 沒有提供託管端點，顯卡、服務架構與可用性都得自己扛。
- 遮罩不帶標籤，這裡的提示式分割也只有點與方框。要接上開放詞彙偵測器，那段工得自己做。
- 每追一個物件、片段越長，顯示記憶體吃越凶，小顯卡直接出局。
- 2025 年 11 月推出的 SAM 3 加入文字概念提示與更好的追蹤，新專案至少該先評估它。
常見問題
可以。Meta 以 Apache 2.0 釋出權重、示範程式碼與訓練程式碼，商業使用不需付費，也不用另外簽約。示範介面附帶的 Inter 字型與 Noto Color Emoji 另有字型授權，但只影響示範介面本身。
相關內容
探索與 Meta AI 相關的工具、技能與文章。
Meta AI 替代方案
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
Tractionwave
TractionWave · 圖片 · 行銷TractionWave 是針對靜態廣告的 AI 注意力熱圖工具。上傳 PNG 或 JPG，就能取得預測注意力、排序後的熱點與修正建議，不必等預算花完才知道問題在哪。
Imejis.io
Imejis.io · 圖片 · 行銷Imejis.io 是給代理與行銷團隊使用的 AI 設計工作室。你用日常說法描述一張圖，它會寫好文案、排出版面、自動調整成各種尺寸，最後匯出完成檔。