Meta AI
Meta (FAIR) · Bilder
Meta Segment Anything Model 2 (SAM 2) ist ein Open-Source-Segmentierungsmodell für Bilder und Videos. Sie klicken ein Objekt einmal an, und die Kontur bleibt an ihm, während der Clip läuft.
Über Meta AI
About
Was ist Meta Segment Anything Model 2
SAM 2 beantwortet eine enge Frage: Welche Pixel gehören zu dem, was Sie gerade angeklickt haben. Metas FAIR-Team hat Code und Gewichte im Juli 2024 auf GitHub unter Apache 2.0 veröffentlicht, Sie dürfen das Modell also herunterladen, ausführen und in ein kommerzielles Produkt einbauen.
Der eigentliche Sprung gegenüber dem ursprünglichen SAM liegt beim Video. SAM 2 behandelt ein Foto wie ein Video mit einem einzigen Frame, dadurch deckt ein Modell beide Fälle ab. Ein Speichermodul trägt das Gelernte von Frame zu Frame weiter, und die Maske hält, wenn die Kamera schwenkt oder das Motiv sich wegdreht. Laut Meta braucht dieser Ansatz rund dreimal weniger Interaktionen als frühere Verfahren zur Videosegmentierung.
Zwei Grenzen sollten Sie kennen, bevor Sie darauf aufbauen. SAM 2 liefert Masken, keine Namen: Es zeigt, wo ein Objekt liegt, nie was es ist. Text versteht das Modell nicht als Eingabe, eine Anfrage wie "das rote Auto" muss also als Klick oder Box ankommen, meist von einem separaten Detektor. Meta hat inzwischen SAM 3 und SAM 3.1 veröffentlicht, die Konzept-Prompts annehmen, SAM 2 ist damit die vorige Generation, auch wenn das Repository weiterläuft und Fehler behoben werden.
Erste Schritte
- Öffnen Sie die Browser-Demo unter sam2.metademolab.com und klicken Sie in einem kurzen Clip ein Objekt an. Schneller sehen Sie nicht, was das Modell kann.
- Klonen Sie facebookresearch/sam2 von GitHub in eine Umgebung mit Python 3.10 oder neuer und PyTorch ab 2.5.1.
- Laden Sie einen Checkpoint. Meta SAM 2 gibt es in vier Größen, die kleinste läuft auch auf bescheidener Hardware.
- Wählen Sie den Predictor: SAM2ImagePredictor für Fotos, SAM2VideoPredictor für Videomaterial.
- Schicken Sie Prompts als Punkte, Boxen oder Masken und lesen Sie die Masken aus. Den automatischen Maskengenerator aktivieren Sie, wenn das ganze Bild in einem Durchlauf segmentiert werden soll.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Meta AI.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Machine-Learning-Ingenieure
- Videoschnitt und VFX-Freelancer
- Annotationsteams
- Robotik- und Medizinimaging-Gruppen
Aufgaben
- Ein Motiv aus einem Foto lösen
- Ein Objekt durch einen Clip verfolgen
- Freistellung in ein Produkt einbauen
- Einen eigenen Datensatz labeln
Szenarien
- Eine Idee in der Demo testen
- Lange Clips mit mehreren Objekten
- Ungewöhnliches Bildmaterial wie Satellitenkacheln oder Mikroskopaufnahmen
Wichtigste Funktionen
Ein Modell für Foto und Video
Dieselben Gewichte verarbeiten ein Standbild und einen Clip. Das zählt, wenn Sie einen einzigen Inferenzpfad pflegen wollen statt zwei Modelle zu verbinden, und es hält Ergebnisse vergleichbar, wenn ein Projekt beide Medien mischt.
Speicher im Datenstrom hält die Maske ruhig
Ein Memory-Attention-Modul speichert Merkmale früherer Frames und nutzt sie im aktuellen wieder. Praktisch heißt das: Die Maske übersteht Kamerabewegung, teilweise Verdeckung und Objekte, die aus dem Bild wandern. Meta nennt die Maske eines Objekts über die Zeit einen Masklet.
Vier Checkpoints von tiny bis large
Meta SAM 2 kommt mit 38,9 M, 46 M, 80,8 M und 224,4 M Parametern. Im Video nennt Meta 91,2 Bilder pro Sekunde für den tiny-Checkpoint und 39,5 für den large-Checkpoint auf einer A100, die Qualität steigt mit der Größe.
SAM 2.1 mit besserem Umgang mit kleinen Objekten
Version 2.1 kam Ende September 2024 und verbesserte die Segmentierung kleiner Objekte sowie das Verhalten bei Kamerabewegung. Wer neu einsteigt, nimmt die 2.1-Gewichte: gleicher Preis, höhere Werte in Metas Videobenchmarks.
Automatische Maskengenerierung
Sie können die Prompts weglassen und das Modell Masken für alles im Bild vorschlagen lassen. Zum Erkunden unbekannter Datensätze ist das nützlich. Filtern Sie nach Fläche und Konfidenz, bevor etwas in die Produktion geht.
Offene Gewichte, Trainingscode und der SA-V-Datensatz
Code, Gewichte und Trainingsrezept stehen unter Apache 2.0. Meta hat außerdem SA-V veröffentlicht und nennt es den größten Videosegmentierungs-Datensatz bisher, Feintuning und Veröffentlichung brauchen also keine Erlaubnis.
Vor- und Nachteile
Vorteile
- Bildsegmentierung und Videoverfolgung kommen aus einem Modell, das spart einen kompletten Integrationsschritt.
- Es ist schnell: 39,5 bis 91,2 Bilder pro Sekunde im Video, je nach geladenem Checkpoint.
- Apache 2.0 erlaubt kommerzielle Nutzung, ohne Gebühr pro Aufruf und ohne Sitzplatzlimit.
- Die Zero-Shot-Qualität reicht oft, viele Teams sparen sich Feintuning, bis ein konkreter Fehlerfall auftaucht.
Nachteile
- Meta bietet keinen gehosteten Endpoint, GPU, Serving-Stack und Verfügbarkeit bleiben bei Ihnen.
- Die Masken kommen ohne Label, und promptbasierte Segmentierung heißt hier nur Punkte und Boxen. Ein Detektor mit offenem Vokabular davor ist Zusatzarbeit, die Sie selbst tragen.
- Der GPU-Speicher wächst mit jedem verfolgten Objekt und mit der Cliplänge, lange Aufnahmen auf kleinen Karten fallen damit aus.
- SAM 3 von November 2025 bringt Text-Prompts und besseres Tracking, neue Projekte sollten es zumindest zuerst prüfen.
Häufige Fragen
Ja. Meta hat Checkpoints, Demo-Code und Trainingscode unter Apache 2.0 veröffentlicht, das erlaubt kommerzielle Nutzung ohne Gebühr und ohne Extravereinbarung. Die Schriften Inter und Noto Color Emoji in der Demo haben eigene Font-Lizenzen, sie betreffen aber nur die Demo-Oberfläche.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Meta AI.
Alternativen zu Meta AI
X Ray Interpreter
X-ray Interpreter · BilderX Ray Interpreter ist ein webbasiertes KI-Radiologie-Tool, das Röntgenbilder, CTs, MRTs, Ultraschallbilder und PET-Aufnahmen in Berichte in einfacher Sprache verwandelt. Sie laden eine Aufnahme hoch, erhalten in wenigen Augenblicken eine vorläufige Röntgenbild-Interpretation und stellen dann Rückfragen, wenn etwas erklärt werden muss. Es dient als zweite Meinung und als Lernhilfe, nicht als medizinische Diagnose.
Aieasypic
AIEasyPic · BilderAIEasyPic ist ein KI-Bildgenerator, der einfache Text-Prompts in Sekunden in fertige Kunstwerke verwandelt. Du kannst außerdem eigene Modelle mit persönlichen Fotos trainieren, Gesichter in vorhandenen Bildern tauschen und kurze Videoclips aus Text erstellen, alles im Browser. Er passt zu Gelegenheitskreativen, die schnelle Bilder wollen, und zu Hobbyisten, die ein persönliches Modell bauen möchten, ohne eine Zeile Code anzufassen.
Chargen
Chargen · BilderChargen ist ein KI-Charaktergenerator und ein Toolkit zum Worldbuilding für Dungeons & Dragons und andere Tisch-Rollenspiele. Es verwandelt eine einzeilige Idee in ein gemaltes Charakterporträt, erzeugt NSCs, Monster, Karten und Begegnungen in derselben Sitzung und hält die Details jeder Kreatur griffbereit. Der Bereich für Tisch-Rollenspiel-Kunst läuft über ein Creditsystem namens Gold, während die Textgeneratoren für alle kostenlos bleiben.