Magma
Microsoft Research · 其他
Magma 是微軟為多模態 AI 代理打造的基礎模型。它能讀取圖像、影片與文字，接著提出動作，例如點一下按鈕或移動機器手臂，橫跨數位與實體世界。
關於 Magma
What Is Magma
Magma 是微軟研究院為多模態 AI 代理建構的基礎模型。微軟 Magma 與一般的視覺語言模型不同，後者只會描述自己看到什麼，Magma 則把理解與行動綁在一起。它接收圖像、影片與文字，再據此提出朝目標前進的步驟，從在手機 App 裡點按鈕，到指揮機器手臂拿起物品。這份研究獲 CVPR 2025 收錄，微軟也公開了程式碼與模型權重。
背後的想法是一套模型管兩個世界。先前大多數系統只針對單一任務訓練，不是 2D 介面就是 3D 機器人，要從一種切換到另一種相當吃力。Magma 以圖像、影片與機器人資料的混合內容預先訓練，讓同一套模型同時涵蓋介面導航、機器人操作，以及一般的圖像與影片問答。微軟稱它是第一款為多模態 AI 代理而生的基礎模型。
最大的限制在於，Magma 是研究模型，不是完成品。它以開放權重與程式碼的形式發布，得由你自己執行，想試還需要一張夠力的 GPU。它的對象是能自行微調的開發者與研究者，而不是想直接用現成 App 的人。
Getting Started
- 準備好含 PyTorch 的 Python 環境，並從 GitHub 取得 Magma 專案。
- 從 Hugging Face 下載 Magma-8B 的權重。
- 載入模型與處理器，把程式指向你的 GPU。
- 餵給它一張圖或一段影片，加上文字提示，換得回答或建議動作。
- 用你自己的資料微調，針對介面導航或機器人控制等特定任務。
產品資訊
快速了解 Magma 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- AI 研究者：想研究視覺、語言與動作模型，又需要能重現的基準，就很合適。執行得準備約 16 GB 記憶體的 GPU。
- App 與機器人開發者：要打造會在介面上點擊、或控制硬體的代理，而你又懂得自己微調模型，就派得上用場。
- 學習多模態 AI 的學生：值得一試，因為程式碼與權重都開放。要有讀程式碼的心理準備，而不是點點 App。
任務
- 介面導航：把 Magma 對準一個畫面，它會提出該點哪裡，適合自動化與測試流程。
- 機器人操作：微調後可規劃手臂的取放動作，用於實驗室或模擬環境。
- 圖像與影片問答：對一張照片或一段短片提問，它會回答，還帶有空間與下一步推理。
- 空間推理：處理物體位置、以及場景中彼此關係這類問題。
情境
- 代理模型研究：用開放程式碼重現結果，或在其上繼續開發。
- 介面自動化原型：先測視覺代理能不能撐起一套流程，再決定要不要投入產品。
- 跨領域轉移探索：觀察同一套模型怎麼從螢幕切換到實體任務。
主要功能
一套模型兼顧數位與實體任務
Magma 用同一組權重同時處理介面導航與機器人操作。先前的模型往往只調校一種環境，螢幕代理就無法驅動機器人。微軟用混合資料訓練 Magma，讓它能在點擊 App 與規劃實體動作之間切換。
Set-of-Mark 讓動作有依據
Set-of-Mark 用數字標記畫面上可操作的物件，例如螢幕上的按鈕或機器手臂的夾爪。模型會預測該對哪個標記出手，把模糊的視覺理解變成明確的下一步。
Trace-of-Mark 負責規劃
Trace-of-Mark 標記物件在影片畫格之間的移動，像是一隻手或機器手臂的軌跡。透過這些軌跡學習，Magma 能規劃多步驟動作，預判接下來該發生什麼，而不是逐格反應。
混合資料預先訓練
Magma 以大量且多樣的圖像、影片與機器人資料預先訓練。這樣的混合讓同一套模型在代理技能之外，仍保有通用的圖像與影片理解，不必犧牲其中一邊。它借助可自由取得的影片，學習空間與時間上的模式。
影片與圖像理解
除了動作，Magma 也能回答照片與短片的問題，涵蓋影片問答與空間推理。微軟表示，即使影片指令資料較少，它在多項基準測試上仍能與更大的視覺語言模型相比。
開放程式碼與權重
微軟把權重放上 Hugging Face，把訓練與推論程式碼放上 GitHub，也在 Azure AI Foundry 提供 Magma-8B。這份開放讓研究者能重現結果並微調模型，只是安裝與代管仍得自己來。
優缺點
優點
- 一套模型涵蓋介面導航、機器人控制，以及通用的圖像與影片理解。
- 開放權重與程式碼，研究者能重現結果並自由微調。
- Set-of-Mark 與 Trace-of-Mark 把視覺判讀化為具體的行動計畫。
- 報告指出它在介面導航與機器人操作任務上達到領先水準。
缺點
- 它是研究模型，沒有完成品，設定起來相當費工。
- 執行 Magma 需要夠力的 GPU，一般使用者很難入手。
- 成效仍取決於針對特定任務的微調，直接拿來用相當有限。
- 部分資料與評測出自微軟自己，獨立驗證就更顯重要。
常見問題
Magma 是為多模態 AI 代理打造的基礎模型，也是一款視覺語言動作模型：看得懂畫面，也能提出動作。開發者用它建構會讀畫面並提出點擊的代理，或規劃機器人動作的代理，同時兼顧通用的圖像與影片理解。它屬於研究程式碼，得針對你自己的任務微調。
相關內容
探索與 Magma 相關的工具、技能與文章。
Magma 替代方案
Odyssey 3
Odyssey · 其他Odyssey-3 是 Odyssey 的基礎世界模型，能即時模擬物理，把一段文字提示變成可互動的環境，並套用到機器人、汽車與遊戲上。
JarvisCore
Prescott Data · 程式設計 · 生產力 · 其他JarvisCore 是開源的 Python 執行環境，讓 AI 代理在網格上以對等節點運作、從共用帳本認領任務，並透過零信任代理服務存取外部系統。
Clef
Cloudflare · 商業 · 其他Clef 是 Cloudflare 推出、可在 Workers AI 上執行的開源決策模型。它針對設定好的題目回傳校準後的機率而非生成文字，讓代理程式快速分類、分流並採取行動。