關於 Molmo
Molmo 是什麼
Molmo 是 Allen Institute for AI（Ai2）打造的視覺語言模型家族。有別於純文字模型，它同時接收一張圖片和一個問題，再用自然語言回答。它還能指出自己正在談論的確切位置，這是多數模型做不到的事。
Molmo 這個名字下有三種尺寸：1B、7B 和 72B。小尺寸的能在筆電上跑。72B 版本在多項基準測試中與 GPT-4V、Gemini 1.5 等封閉系統互有勝負。根據 Ai2 的說法，這個差距之所以存在，是因為 Molmo 只用約 60 萬張經過整理的圖片訓練，而不是數十億張。重質不重量。
問題在這裡。Molmo 是模型，不是應用程式。你不會在網站上找到一個漂亮的聊天介面。要讓它跑起來，得下載權重，再接進自己的程式碼。對開發者來說沒問題。對其他人來說，這是一道牆。
權重、訓練資料和原始碼全部公開，所以你可以檢視它怎麼運作，並在它之上開發，不必付授權費。
開始使用
- 在 Hugging Face 建立免費帳號，Ai2 把 Molmo 的權重和資料集說明卡放在那裡。
- 挑一個尺寸。想在自己的機器上測試就抓 1B 模型，有硬體或雲端 GPU 就選 7B 和 72B 版本。
- 用 Transformers 這類工具包載入模型，然後餵給它一張圖片加一段文字提示。
- 請它描述、數出或指出圖片裡的某樣東西，再讀取回應。
- 把輸出接進你自己的網頁代理、機器人或應用流程。
產品資訊
快速了解 Molmo 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 打造電腦視覺功能的開發者：Molmo 內建圖片理解能力，但你需要會寫程式，也要有辦法執行權重。
- 研究多模態模型的研究人員：完整的訓練資料和程式碼都公開，這在同級效能的模型中相當少見。
- 手上有還不錯 GPU 的玩家：1B 版本能在個人硬體上跑，不必租雲端執行個體就能實驗。
任務
- 指出照片裡的特定物件：Molmo 會標出你指定的確切元素，拿來計數或定位物品很好用。
- 讀取圖表、菜單和白板：它能解讀那些讓舊款視覺模型卡住的圖解。
- 驅動網頁代理：它能辨識螢幕上的按鈕和欄位，讓代理不必讀取網頁程式碼就能點擊。
情境
- 自動化重複的螢幕操作：把 Molmo 對準一個介面，讓它找出你的腳本需要按下的控制項。
- 整理或標記照片庫：請它批次描述或分類圖片。
- 為產品原型挑一個基礎模型：在投入付費視覺 API 之前，先免費試試 Molmo。
主要功能
會指位的圖片理解
多數模型用文字回答關於圖片的問題。Molmo 更進一步，在你指涉的確切物件上放一個標記，不管是人群中的某個人，還是菜單畫面上的某個按鈕。這種指位不需任何特殊訓練，是零樣本的技巧，開啟了計數和介面導覽這類任務。
三種尺寸對應不同硬體
產品線涵蓋 1B、7B 和 72B 參數，你依自己的機器來選，而不是反過來。1B 模型輕到能在個人裝置上跑，72B 版本則針對有充足 GPU 算力的團隊。同一個家族，佔用空間卻差很多。
用小型精選資料集訓練
Ai2 用了大約 60 萬張人工標註的圖片，而不是其他實驗室依賴的數十億張。描述由真人撰寫，不是爬取下來的，這讓模型對話自然且精準。這也意味著訓練成本更低，而這份效率反映在小模型回應的速度上。
完全開源
權重、程式碼和訓練資料集全部對外發布。你可以執行 Molmo、研究它、微調它，並放進商業產品裡出貨，不必付授權費。對研究人員來說，這種透明度正是重點。
為代理與機器人打造
Molmo 能看見螢幕並據此行動，這適合填寫表單或瀏覽網站的網頁代理，也適合需要解讀鏡頭所見的機器人。它直接讀取視覺層，你不必反推頁面的底層結構。
優缺點
優點
- 免費使用，沒有訂閱或每次呼叫的計價。
- 開放的權重、程式碼和資料集，讓你能檢視並修改一切。
- 指位功能處理了純文字模型做不到的物件定位和計數。
- 1B 模型能裝進一般硬體，測試不必動用資料中心。
- 根據 Ai2 的說法，在多項基準測試中，效能與大得多的專有模型相當。
缺點
- 沒有託管 API，你得自己跑模型或找第三方主機，這會增加設定工作。
- 只有最小版本在筆電上實際可行；72B 模型需要大量 GPU 記憶體。
- 沒有官方行動 App 或隨插即用的介面，完全把不會寫程式的人擋在門外。
常見問題
Molmo 用於混合圖片和語言的任務：描述照片、讀取圖表、定位物件，以及驅動會對所見之物採取行動的網頁代理或機器人。它是基礎模型，所以開發者是在它之上打造最終工具，而不是直接使用它。
相關內容
探索與 Molmo 相關的工具、技能與文章。
Molmo 替代方案
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
Tractionwave
TractionWave · 圖片 · 行銷TractionWave 是針對靜態廣告的 AI 注意力熱圖工具。上傳 PNG 或 JPG，就能取得預測注意力、排序後的熱點與修正建議，不必等預算花完才知道問題在哪。
Imejis.io
Imejis.io · 圖片 · 行銷Imejis.io 是給代理與行銷團隊使用的 AI 設計工作室。你用日常說法描述一張圖，它會寫好文案、排出版面、自動調整成各種尺寸，最後匯出完成檔。