Molmo
Allen Institute for AI (Ai2) · 圖片 · 其他
Molmo 是 Allen Institute for AI 推出的開源視覺語言模型。這款多模態 AI 模型能讀懂圖像與影片、指出所見目標，並在地端執行而無須支付 API 費用。
關於 Molmo
What Is Molmo
Molmo 是 Allen Institute for AI（Ai2）打造的開放式多模態模型家族。它支援單張圖像、多張圖像組與影片，回答問題時會指出判斷所依據的區域。多數視覺模型只回傳文字，Molmo 還會附上座標。
第一版在 2024 年 9 月推出，模型規模從 1B 到 72B 參數。Molmo 2 於 2025 年 12 月登場，包含基於 Qwen 3 的 4B 與 8B 版本，以及建構在 Olmo 上、完全開放的 7B 版本。權重、資料集與訓練程式碼都以 Apache 2.0 釋出，任何人都能下載模型並在自己的硬體上執行。
代價在於背後的功課。要在筆電上跑 Molmo，得自己處理模型檔案與設定流程，這些在聊天應用裡都被藏了起來。部分釋出的資料集帶有學術與非商業條款，所以商業部署前務必先確認授權。
Getting Started
- 在 Hugging Face 的 Molmo 或 Molmo 2 頁面挑一個版本。規模從 1B 到 72B 參數都有，請依你的 GPU 記憶體選擇。
- 下載權重；若只想先試用，直接開 Ai2 Playground 也可以。
- 用 transformers 函式庫載入模型，講求速度就改用 vLLM 部署。Molmo 2 的官方儲存庫兩種都附了腳本。
- 送上單張圖像、一組圖像或一段影片，再附上你的問題。問「在哪裡」「什麼時候」或「有幾個」，就能連同文字收到座標與時間戳。
- 需要更窄的任務時，用自家資料做微調。訓練程式碼與食譜都是公開的。
產品資訊
快速了解 Molmo 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 研究人員：研究從視覺編碼器到語言模型的完整開放堆疊，並重現公開的訓練流程。需要具備 Python 基礎。
- 開發者：把圖像與影片理解嵌進應用，卻不用為每次呼叫付費。需要一台 GPU 記憶體足夠的機器來容納所選規模。
- 學生與教師：用免費權重跑多模態模型，並拿開放資料集做課程教材。大型版本要求的規格超出一台筆電能給的。
- 機器人與自動化團隊：用視覺定位把「拿起紅色積木」轉成可執行的座標。正式上線前務必逐一確認資料集授權。
任務
- 圖像指向與計數：問場景裡有幾個物件，拿回來的是座標點加時間戳，而不是一個光禿禿的數字。
- 影片目標追蹤：跨畫格追蹤同一物件，遇到遮擋與重新入鏡仍維持同一個編號。
- 密集影片描述：為長達數分鐘的片段產生可搜尋的長篇描述。
- 帶視覺依據的問答：結合畫面內容與影片字幕，回答關於一段錄影的問題。
- 文件與圖表判讀：對文字密集的圖像出題，表格與圖解都能處理。
- 窄領域微調：因為整條流程都開放，可用自家標註資料重新訓練。
情境
- 回看漫長的賽事或課程錄影：直接定位某個片段，不用整份拖著找。
- 整理商店的商品照片：批次計數與標記，每筆答案都附上可查的視覺依據。
- 揪出 AI 生成影片的瑕疵：標出光線不一致或幾何破損，並指向出問題的畫格。
- 檢視衛星或空拍畫面：在大量畫格中找出小型目標。
- 課堂上講解多模態模型：直接在教室裡跑真實權重，而不是放一張介紹投影片。
- 為機器人視覺流程打樣：在投入專用硬體前，先測試定位行為。
主要功能
圖像與影片指向
Molmo 會指出它看到的目標，而不是只把它描述出來。把照片交給這個圖像指向模型，問它哪個物件是哪個，每個答案都會附上 2D 座標。到了 Molmo 2，這種指向延伸到時間軸。問杯子何時掉落、哪位球員進球，你會拿到時間戳加位置。
帶固定編號的影片追蹤
Molmo 2 會在整段影片中追蹤物件，並為每個物件維持固定編號。計數時這點很關鍵，因為同一個杯子離場後再回來，不該被算成兩次。模型能處理遮擋與重新入鏡，這正是先前開放模型吃力的地方。Ai2 表示它在自家的影片追蹤評測中勝過 Gemini 3 Pro。那些是 Ai2 自己的基準，請把差距當作起點，而不是最終成績。
多圖與長影片推理
這些模型接受單張圖像、二到五張相關圖像的組合，或長度超過數分鐘的影片片段。作為影片理解模型，Molmo 2 用 SlowFast 策略處理素材：關鍵畫格用全解析度，其餘降低。長影片任務的準確度得以保住，每次請求耗用的視覺詞元也更少。
開放權重、資料與訓練程式碼
Molmo 以 Apache 2.0 釋出，權重、訓練程式碼與 Ai2 公布的食譜都在內。Molmo 2 追加九份新資料集，涵蓋描述、問答、指向與追蹤，訓練樣本超過九百萬筆。這裡沒有任何一環依賴封閉模型生成的資料，想接續開發的人都能重現整條流程。
不收 API 費用
因為權重開放，你可以在自己的硬體上跑 Molmo，省下每次呼叫的費用。Ai2 指出較小的模型不需資料中心就能在地端執行。交換條件是 GPU 與設定得自己來，而最大的版本載入時仍需要可觀的記憶體。
有依據的計數與異常偵測
面對「有幾個」的問題，模型回傳的是視覺依據，不只是數字。計數因此可以被檢驗，你看得到它把哪些物件算進去。同一套定位能力也能用於異常偵測，模型會標出罕見或突發事件，並指向所在的畫格。
端到端可微調
Molmo 2-O（7B）建構在 Olmo 上，視覺編碼器、連接器與語言模型都歸你掌控。這對想重訓整個堆疊、而不只是微調固定骨幹的團隊很合適。Molmo 2 的儲存庫附有預訓練、SFT 與長上下文 SFT 的腳本。
優缺點
優點
- 權重、資料集與訓練程式碼都以 Apache 2.0 開放，整條流程可檢查也可重用。
- 指向與定位回傳座標與時間戳，不只是文字。
- 較小的模型在多項定位基準上追平或超越先前的 72B Molmo。
- 自行架設就沒有每次呼叫的 API 費用。
- 影片追蹤與計數在 Ai2 的開放模型評測中名列前茅。
缺點
- 尚無官方定價與公開 API，現階段沒辦法把託管服務納入規劃。
- 自行執行模型代表要打理 GPU 硬體與模型檔案，效能有限的筆電因此出局。
- 部分訓練資料集僅限學術與非商業研究，商業部署前必須確認授權。
- 影片定位仍不容易：Ai2 指出包含 Molmo 在內，沒有任何受測模型在計數準確度上達到 40%。
常見問題
當你不只知道畫面內容、還想知道東西在哪時，Molmo 就派得上用場。常見用途包括指出物件、計數、在片段中追蹤，以及回答關於照片、圖表或錄影的問題。想要在自己硬體上而非付費 API 上取得這些能力的人，都適合。
相關內容
探索與 Molmo 相關的工具、技能與文章。
Molmo 替代方案
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
Tractionwave
TractionWave · 圖片 · 行銷TractionWave 是針對靜態廣告的 AI 注意力熱圖工具。上傳 PNG 或 JPG，就能取得預測注意力、排序後的熱點與修正建議，不必等預算花完才知道問題在哪。
Imejis.io
Imejis.io · 圖片 · 行銷Imejis.io 是給代理與行銷團隊使用的 AI 設計工作室。你用日常說法描述一張圖，它會寫好文案、排出版面、自動調整成各種尺寸，最後匯出完成檔。