Molmo
Allen Institute for AI (Ai2) · 画像 · その他
MolmoはAllen Institute for AIによるオープンソース視覚言語モデルである。このマルチモーダルAIモデルは画像と動画を読み取り、見つけた対象を指し示し、API費用なしでローカルで動く。
Molmo について
What Is Molmo
MolmoはAllen Institute for AI（Ai2）が開発したオープンなマルチモーダルモデル群である。単一画像、複数画像のセット、動画を扱い、判断の根拠にした領域を指し示しながら質問に答える。大半の視覚モデルはテキストだけを返す。Molmoは座標も返す。
最初のリリースは2024年9月で、1Bから72Bパラメータまでのモデルが並んだ。Molmo 2は2025年12月に登場し、Qwen 3ベースの4Bと8B、そしてOlmo上に構築した完全オープンの7Bが加わった。重み、データセット、学習コードはApache 2.0で公開されるため、誰でもモデルを取得して自分のハードウェアで動かせる。
代償は手間に現れる。ノートPCでMolmoを動かすには、チャットアプリなら隠してくれるモデルファイルの管理とセットアップを自分でこなす必要がある。公開データセットの一部には学術利用と非商用の条件が付くため、商用展開の前にはライセンスを確認したい。
Getting Started
- Hugging FaceのMolmoまたはMolmo 2のページでモデルを選ぶ。サイズは1Bから72Bパラメータまであるので、GPUメモリに合わせて選ぶ。
- 重みをダウンロードする。試すだけならAi2 Playgroundを開けばよい。
- transformersライブラリで読み込む。配信を速くしたいならvLLMを使う。Molmo 2のリポジトリには両方のスクリプトが入っている。
- 画像1枚、画像のセット、または動画クリップを質問と一緒に送る。どこ、いつ、いくつと尋ねれば、テキストに加えて座標とタイムスタンプが返る。
- より狭い用途なら手持ちのデータで追加学習する。学習コードと手順は公開されている。
AIツール情報
Molmoの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 研究者：視覚エンコーダから言語モデルまで、完全にオープンな視覚言語スタックを調べ、公開された学習手順を再現する。Pythonの習熟が要る。
- 開発者：呼び出しごとのAPI費用を払わずに画像・動画理解をアプリに組み込む。選んだサイズに見合うGPUメモリのマシンが必要。
- 学生と教育者：無料の重みでマルチモーダルモデルを動かし、公開データセットを授業で使う。大型版はノートPCの範囲を超える。
- ロボティクスと自動化のチーム：視覚グラウンディングで「赤いブロックを取れ」をロボットが動ける座標に変える。本番運用の前に各データセットのライセンス確認が要る。
タスク
- 画像のポインティングと計数：場面に物体がいくつあるか尋ねると、数字だけでなく点とタイムスタンプが返る。
- 動画の物体追跡：フレームをまたいで物体を追い、遮蔽や再登場を越えて同じIDを保つ。
- 詳細な動画キャプション：数分に及ぶクリップの長く検索可能な説明を生成する。
- 視覚根拠つきの質問応答：映像の内容と字幕を組み合わせ、録画について答える。
- 文書とグラフの読解：文字の多い画像に出題し、表や図も扱う。
- 狭い用途への追加学習：すべての工程が開いているため、自前のラベル付きデータで再学習できる。
シーン
- 長い試合や講義の録画を見返す：ファイル全体をたどらず、目当ての場面を特定する。
- 店舗の商品写真を整理する：まとめて数え、タグを付け、各回答に確認できる根拠を添える。
- AI生成動画の不具合を見つける：照明の不一致や壊れた形状を指摘し、該当フレームを示す。
- 衛星やドローンの映像を点検する：多数のフレームから小さな対象を探す。
- マルチモーダルモデルの授業を行う：説明用スライドではなく、本物の重みを教室で動かす。
- ロボットの視覚パイプラインを試作する：専用ハードウェアに投資する前に、グラウンディングの挙動を確かめる。
主な機能
画像と動画のポインティング
Molmoは見たものを説明するだけでなく、指し示す。この画像ポインティングモデルに写真を渡し、どの物体がどれか尋ねれば、各回答に2D座標が付く。Molmo 2ではそのポインティングが時間にも及ぶ。コップがいつ落ちたか、どの選手が得点したかを尋ねると、位置とともにタイムスタンプが返る。
固定IDつきの動画追跡
Molmo 2はクリップ全体で物体を追い、それぞれに安定したIDを保つ。計数ではこれが効く。同じコップが画面を離れて戻ってきても二重に数えられない。遮蔽と再登場を扱える点が、以前のオープンモデルが苦手としたところだ。Ai2は自社の動画追跡評価でGemini 3 Proを上回ると述べる。これはAi2自身のベンチマークなので、差は出発点として見ておきたい。
複数画像と長尺動画の推論
モデルは単一画像、2〜5枚の関連画像、数分を超える動画クリップを受け付ける。動画理解モデルとして、Molmo 2はSlowFast方式で素材を処理する。キーフレームは高解像度、それ以外は低めにする。長尺動画の精度を保ちながら、1リクエストあたりの視覚トークンを抑えられる。
オープンな重み・データ・学習コード
MolmoはApache 2.0で公開され、重み、学習コード、Ai2が公表した手順がそろう。Molmo 2はキャプション、QA、ポインティング、追跡を担う9つの新データセットを追加し、学習例は900万件を超える。閉じたモデルが生成したデータに依存する箇所はなく、上に積み上げたい人にとって工程は再現可能なままになる。
API費用なしで動く
重みが開いているため、自前のハードウェアでMolmoを動かせば呼び出しごとの課金を避けられる。Ai2は小さいモデルならデータセンターなしでローカルに動くとしている。引き換えにGPUとセットアップは自分で用意することになり、最大の版は読み込みに依然として多くのメモリを要する。
根拠つきの計数と異常検知
「いくつ」の問いに、モデルは数字だけでなく視覚的な根拠を返す。計数が検証できるわけだ。どの物体を数えたのかが見える。同じグラウンディングは異常検知にも働き、まれな出来事や意外な出来事を印付けて、それが写るフレームを指し示す。
エンドツーエンドの追加学習
Molmo 2-O（7B）はOlmo上に構築され、視覚エンコーダ、コネクタ、言語モデルのすべてが手元にある。固定した基盤を微調整するのではなく、スタックの各部分を再学習したいチームに向く。Molmo 2のリポジトリには事前学習、SFT、長文脈SFTのスクリプトが含まれる。
メリットとデメリット
メリット
- 重み、データセット、学習コードがApache 2.0で開かれ、工程全体を点検し再利用できる。
- ポインティングとグラウンディングが座標とタイムスタンプを返す。テキストだけではない。
- 小さいモデルが複数のグラウンディング基準で旧72B Molmoに並ぶか上回る。
- 自前で動かせば呼び出しごとのAPI費用はかからない。
- 動画の追跡と計数はAi2のオープンモデル評価で上位にある。
デメリット
- 公式価格も公開APIもまだなく、ホスティング型の選択肢を今の計画に組み込めない。
- 自分で動かすならGPUハードウェアとモデルファイルの管理が要り、低スペックなノートPCでの手軽な利用は難しい。
- 学習データセットのいくつかは学術・非商用の研究利用に限られ、商用展開ではライセンス確認が必須となる。
- 動画グラウンディングは依然として難しい。Ai2によれば、Molmoを含め計数の精度が40%に達した被験モデルはない。
よくある質問
物の位置まで知りたいときの画像・動画理解に使う。物体の指し示し、計数、クリップ内の追跡、写真や図表、録画についての質問応答が代表例だ。こうした能力を有料APIではなく自前のハードウェアで得たい人に向く。
関連コンテンツ
Molmoに関連するツール、スキル、記事を探す。
Molmoの代替ツール
X Ray Interpreter
X-ray Interpreter · 画像X Ray Interpreter は、X 線、CT、MRI、超音波、PET の画像を平易な言葉のレポートに変えるウェブベースの AI 放射線ツールだ。スキャン画像をアップロードすると、X 線の予備的な読影結果がすぐに返ってくる。説明が必要な箇所があれば、その後で追加の質問もできる。位置づけはセカンドオピニオンと学習の補助であり、医療診断ではない。
Aieasypic
AIEasyPic · 画像AIEasyPicは、単純なテキストプロンプトを数秒で完成したアート作品に変えるAI画像生成ツールだ。自分の写真でカスタムモデルを訓練したり、既存の画像の顔を交換したり、テキストから短い動画クリップを作ったりもできる。すべてブラウザだけで完結する。手早くビジュアルが欲しい気軽なクリエイターにも、コードを一切触らずに個人モデルを作りたい趣味の人にも向く。
Chargen
Chargen · 画像ChargenはDungeons & Dragonsやその他のテーブルトークRPG向けに作られたAIキャラクター生成ツール兼ワールドビルディングツールキットだ。一行のアイデアを描き上げたキャラクター肖像に変え、同じセッションでNPC、モンスター、マップ、遭遇を生み出し、すべてのクリーチャーの詳細を手元に置く。テーブルトークRPGアートの部分はGoldと呼ばれるクレジット制で動き、テキスト生成ツールは誰でも無料のまま使える。