Meta AI
Meta (FAIR) · 画像
Meta Segment Anything Model 2（SAM 2）は、画像と動画の両方を扱えるオープンソースのセグメンテーションモデルだ。物体を一度クリックすれば、クリップが進んでも輪郭がついてくる。
Meta AI について
About
Meta Segment Anything Model 2とは
SAM 2が答えるのは「いま指したものがどのピクセルでできているか」という一点だけである。MetaのFAIRチームは2024年7月、コードと重みをGitHubでApache 2.0の下に公開した。ダウンロードして実行し、商用製品に組み込むところまで自由にできる。
旧SAMからの本当の違いは動画にある。SAM 2は静止画を1フレームだけの動画として扱うため、1つのモデルで両方をこなせる。メモリモジュールが前フレームで学んだ物体の特徴を次へ運ぶので、カメラがパンしても被写体が背を向けてもマスクは崩れない。Metaによれば、この方式は従来の動画セグメンテーション手法より約3倍少ない操作で済む。
先に押さえておきたい限界が2つある。SAM 2が返すのはマスクであって名前ではない。物体がどこにあるかは示すが、それが何かは教えない。テキスト入力にも対応していないため、「赤い車」という指示はクリックかボックスに変換して渡す必要があり、通常は別の検出モデルがその役を担う。Metaはその後SAM 3とSAM 3.1を公開し、こちらは概念プロンプトを受け付ける。リポジトリは今も動き修正も入るが、SAM 2は前世代という位置づけになった。
はじめ方
- まずブラウザのデモ（sam2.metademolab.com）を開き、短いクリップで物体をクリックする。何もインストールせずにモデルの実力を見る最短の方法だ。
- GitHubからfacebookresearch/sam2を取得し、Python 3.10以上、PyTorch 2.5.1以上の環境に入れる。
- チェックポイントを落とす。Meta SAM 2には4サイズあり、最小のものなら普通のマシンでも読み込める。
- 用途で予測器を選ぶ。写真はSAM2ImagePredictor、動画はSAM2VideoPredictorだ。
- 点、ボックス、マスクをプロンプトとして渡し、マスクを受け取る。画面全体を一度に切りたいなら自動マスク生成を有効にする。
AIツール情報
Meta AIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 機械学習エンジニア：既存のPyTorchパイプラインに数行で組み込め、Apache 2.0なので法務確認も短く済む。
- 動画編集者とVFXフリーランス：動く被写体のロトスコープは数時間かかる作業だが、クリックと追従マスクで数分になる。GPUとPythonの基礎は必要だ。
- アノテーションチーム：自動マスクは人間の確認前の下書きとして十分使え、大量の画像のラベリングが速くなる。
- ロボティクスや医療画像の研究グループ：Metaが2024年9月に学習コードを公開したので、自前の映像でファインチューニングできる。
タスク
- 写真から被写体を切り抜く：クリック1回で輪郭の柔らかい切れ味のよいマスクが返り、背景の差し替えにそのまま使える。
- クリップ内で物体を追い続ける：1フレーム目で指定すれば、フレームアウトして戻ってきてもマスクは追従する。
- 製品に切り抜き機能を組み込む：動画セグメンテーションモデルは最新GPUでリアルタイムに動くため、インタラクティブなツールは現実的だ。
- 自前データセットのラベリング：自動マスク生成がフォルダ内の画像に候補マスクを並べ、人が採否を判断する。
シーン
- デモでアイデアを試す：インストールもGPUもアカウントも不要で、セグメンテーションで問題が解けるかを先に確かめられる。
- 複数物体を含む長いクリップ：追跡する物体ごとにメモリが増える。30秒なら余裕だが、10分になると設計が要る。
- 衛星タイルや顕微鏡画像のような特殊な素材：ベースモデルもゼロショットでそこそこ動くが、数百枚の自前フレームで微調整したほうが大きなチェックポイントに替えるより効くことが多い。
主な機能
写真と動画を1つのモデルで
同じ重みが静止画にもクリップにも対応する。推論経路を1本に保ちたい場合に効くし、両方を混ぜた案件でも結果が揃う。
ストリーミングメモリがマスクを保つ
メモリアテンションが過去フレームの特徴を保持し、現在のフレームで再利用する。カメラの移動、部分的な遮蔽、画面外に出た物体をまたいでもマスクが持つのはこの仕組みのおかげだ。Metaは1つの物体のマスクを時間方向に並べたものをマスクレットと呼ぶ。
tinyからlargeまでの4チェックポイント
Meta SAM 2のパラメータ数は38.9M、46M、80.8M、224.4M。動画ではA100上でtinyが毎秒91.2フレーム、largeが毎秒39.5フレームとMetaは報告しており、サイズが上がるほど分割品質も上がる。
小物体に強くなったSAM 2.1
2.1は2024年9月末に出た更新で、小物体の分割とカメラ移動時の安定性を改善した。これから始めるなら2.1の重みを落とせばいい。価格は同じで、Metaの動画ベンチマークのスコアは上がる。
自動マスク生成
プロンプトを省き、フレーム内のあらゆるものにマスクを提案させられる。見慣れないデータセットを眺めるには便利だ。本番に流す前に面積と信頼度で絞り込むこと。
オープンな重み、学習コード、SA-Vデータセット
コード、重み、学習レシピはすべてApache 2.0。Metaは同時にSA-Vも公開し、現時点で最大の動画セグメンテーションデータセットだと説明している。微調整も公開も許可取りなしでできる。
メリットとデメリット
メリット
- 画像セグメンテーションと動画の追跡が同じモデルから出るので、統合の工程が1つ減る。
- 速い。動画で毎秒39.5から91.2フレーム、読み込むチェックポイント次第だ。
- Apache 2.0なので商用利用でき、従量課金もシート数も気にしなくていい。
- ゼロショットの品質が高く、多くのチームは特定の失敗例に当たるまで微調整を省いている。
デメリット
- Metaはホスト型のエンドポイントを用意していない。GPU、配信構成、稼働率はすべて自前になる。
- マスクにラベルは付かず、ここでのプロンプトベースのセグメンテーションは点とボックスだけだ。オープン語彙の検出器と組み合わせる作業は自分で抱えることになる。
- 追跡する物体が増え、クリップが長くなるほどGPUメモリを食う。小さなカードでは長尺は無理だ。
- 2025年11月のSAM 3はテキストの概念プロンプトとより良い追跡を備える。新しい案件ならまずそちらを評価したい。
よくある質問
できる。Metaはチェックポイント、デモコード、学習コードをApache 2.0で公開しており、商用利用に料金も個別契約も要らない。デモに同梱されるInterフォントとNoto Color Emojiには独自のフォントライセンスがあるが、影響するのはデモ画面だけだ。
関連コンテンツ
Meta AIに関連するツール、スキル、記事を探す。
Meta AIの代替ツール
Tractionwave
TractionWave · 画像 · マーケティングTractionWaveは静止画広告のアテンションヒートマップを作るAIツールだ。PNGかJPGを入れると、予測された注目位置、優先順位付きホットスポット、修正案が返る。予算を投じる前の判断に使う。
Imejis.io
Imejis.io · 画像 · マーケティングImejis.io はエージェントとマーケティングチームのための AI デザインスタジオだ。ふだんの言葉で画像を説明すれば、コピーを書き、レイアウトを組み、全サイズへ自動で組み替え、完成ファイルを書き出す。
Layoutr
Van Dijk Ontwikkeling · 画像 · 中国のAILayoutrはブラウザで動く間取りツールだ。手持ちの間取り図を実寸の縮尺に合わせ、実寸大の家具を置き、3Dで部屋を見て、AIでレンダリングできる。