Molmo
Allen Institute for AI (Ai2) · 画像
Molmoは、画像を理解し、物体を指し示し、Webエージェントやロボットを動かすAi2のオープンソースのマルチモーダルAIモデルだ。
Molmo について
Molmoとは何か
Molmoは、Allen Institute for AI（Ai2）が作った視覚言語モデルの一族だ。テキスト専用のモデルと違い、画像と質問をまとめて受け取り、自然な言葉で答える。さらに、自分が話している正確な位置を指し示せる。ほとんどのモデルにはできない芸当だ。
Molmoの名前で出荷されるサイズは1B、7B、72Bの3つ。小さいものはノートPCで動く。72B版はいくつかのベンチマークで、GPT-4VやGemini 1.5のようなクローズドなシステムと互角に渡り合う。Ai2によれば、その差が生まれるのは、Molmoが数十億枚ではなく、厳選した約60万枚の画像で訓練されたからだ。量より質である。
ここが落とし穴だ。Molmoはモデルであって、アプリではない。サイト上に洗練されたチャット欄があるわけではない。動かすには重みをダウンロードし、自分のコードに組み込む必要がある。開発者なら問題ない。それ以外の人には壁である。
重み、訓練データ、ソースコードはすべて公開されている。仕組みを調べ、ライセンス料を払わずにその上に作れる。
はじめ方
- Hugging Faceで無料アカウントを作る。Ai2はここでMolmoの重みとデータセットカードを公開している。
- サイズを選ぶ。手持ちのマシンで試すなら1B、ハードウェアやクラウドGPUがあるなら7Bと72Bを選ぶ。
- Transformersのようなツールキットでモデルを読み込み、画像とテキストの指示を渡す。
- 画像の中身を説明する、数える、指し示すよう頼み、返答を読む。
- 出力を自分のWebエージェント、ロボット、アプリの流れに組み込む。
AIツール情報
Molmoの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- コンピュータビジョン機能を作る開発者：Molmoは画像理解を最初から備えるが、コーディング力と重みを動かす手段が要る。
- マルチモーダルモデルを研究する研究者：訓練データとコードが完全に公開されており、この性能帯のモデルでは珍しい。
- そこそこのGPUを持つ趣味人：1B版は個人のハードウェアで動くので、クラウドインスタンスを借りずに試せる。
タスク
- 写真の中の特定の物体を指す：Molmoは指定した要素を正確に印で示す。数を数えたり位置を特定したりするのに役立つ。
- グラフやメニュー、ホワイトボードを読む：旧式の視覚モデルがつまずく図解を解釈する。
- Webエージェントを動かす：画面上のボタンや入力欄を見分け、ページのコードを読まずにエージェントがクリックできるようにする。
シーン
- 繰り返しの画面操作を自動化する：MolmoをUIに向け、スクリプトが押すべきコントロールを見つけさせる。
- 写真ライブラリを整理・タグ付けする：画像をまとめて説明させたり分類させたりする。
- 製品プロトタイプのベースモデルを選ぶ：有料の視覚APIに踏み込む前に、Molmoを無料で試す。
主な機能
指し示す画像理解
ほとんどのモデルは、画像についての質問に言葉で答える。Molmoはさらに進み、人が混み合う中のある一人でもメニュー画面のボタンでも、指定した物体に印を付ける。この指し示しは特別な訓練なしで働く。数え上げやUI操作といったタスクを開くゼロショットの技だ。
異なるハードウェア向けの3サイズ
ラインナップは1B、7B、72Bパラメータに及び、マシンに合わせて選ぶ。その逆ではない。1Bモデルは個人向け端末に収まる軽さで、72B版は本格的なGPU能力を持つチームを狙う。同じ一族でありながら、占有する規模はまるで違う。
小さく厳選されたデータセットで訓練
Ai2は、他の研究室が頼る数十億枚ではなく、約60万枚の人手で注釈を付けた画像を使った。説明文は人が書いたもので、スクレイピングではない。だからモデルは会話的で正確になる。訓練費も安く済み、その効率は小さいモデルの応答速度に出る。
全面的にオープンソース
重み、コード、訓練データセットはすべて公開されている。Molmoを動かし、研究し、微調整し、ライセンス料なしで商用製品に載せて出荷できる。研究者にとって、この透明性こそが核心だ。
エージェントとロボットのために作られている
画面を見て動けるMolmoの力は、フォームを埋めたりサイトを巡回したりするWebエージェントや、カメラの見たものを解釈する必要があるロボットに合う。視覚層を直接読むので、ページの裏側の構造を逆に解き明かす必要はない。
メリットとデメリット
メリット
- サブスクも都度課金もなく、無料で使える。
- 重み、コード、データセットが公開されており、すべてを調べて変更できる。
- 指し示す機能は、テキスト専用モデルにはできない物体の位置特定と数え上げをこなす。
- 1Bモデルは控えめなハードウェアに収まるので、試すのにデータセンターは要らない。
- Ai2によれば、いくつかのベンチマークで、はるかに大きいプロプライエタリモデルと同等の性能を出す。
デメリット
- ホスト型APIがないため、自分でモデルを動かすか、第三者のホストを探す必要があり、設定の手間が増える。
- ノートPCで現実的なのは最小版だけ。72Bモデルには大量のGPUメモリが要る。
- 公式のモバイルアプリもプラグアンドプレイの画面もなく、コードを書かない人は完全に締め出される。
よくある質問
Molmoは、画像と言葉が混ざるタスクに使う。写真の説明、グラフの読み取り、物体の位置特定、そして見たものに応じて動くWebエージェントやロボットの駆動だ。基盤モデルなので、開発者は直接使うのではなく、その上に最終的なツールを組み上げる。
関連コンテンツ
Molmoに関連するツール、スキル、記事を探す。
Molmoの代替ツール
X Ray Interpreter
X-ray Interpreter · 画像X Ray Interpreter は、X 線、CT、MRI、超音波、PET の画像を平易な言葉のレポートに変えるウェブベースの AI 放射線ツールだ。スキャン画像をアップロードすると、X 線の予備的な読影結果がすぐに返ってくる。説明が必要な箇所があれば、その後で追加の質問もできる。位置づけはセカンドオピニオンと学習の補助であり、医療診断ではない。
Aieasypic
AIEasyPic · 画像AIEasyPicは、単純なテキストプロンプトを数秒で完成したアート作品に変えるAI画像生成ツールだ。自分の写真でカスタムモデルを訓練したり、既存の画像の顔を交換したり、テキストから短い動画クリップを作ったりもできる。すべてブラウザだけで完結する。手早くビジュアルが欲しい気軽なクリエイターにも、コードを一切触らずに個人モデルを作りたい趣味の人にも向く。
Chargen
Chargen · 画像ChargenはDungeons & Dragonsやその他のテーブルトークRPG向けに作られたAIキャラクター生成ツール兼ワールドビルディングツールキットだ。一行のアイデアを描き上げたキャラクター肖像に変え、同じセッションでNPC、モンスター、マップ、遭遇を生み出し、すべてのクリーチャーの詳細を手元に置く。テーブルトークRPGアートの部分はGoldと呼ばれるクレジット制で動き、テキスト生成ツールは誰でも無料のまま使える。