Molmo

Molmo zeigt auf das, was es sieht, statt es nur zu beschreiben. Geben Sie diesem Bild-Pointing-Modell ein Foto und fragen Sie, welches Objekt welches ist: Es liefert 2D-Koordinaten zu jeder Antwort. In Molmo 2 reicht das Pointing bis in die Zeit. Fragen Sie, wann eine Tasse gefallen ist oder wer das Tor erzielt hat, und Sie bekommen einen Zeitstempel neben der Position.

Molmo 2 verfolgt Objekte durch einen Clip und hält für jedes eine feste Kennung. Das zählt beim Zählen: Dieselbe Tasse soll nicht zweimal gezählt werden, wenn sie den Bildrand verlässt und zurückkehrt. Das Modell meistert Verdeckungen und Wiederauftritte, was früheren offenen Modellen schwerfiel. Ai2 gibt an, dass es Gemini 3 Pro in den eigenen Videoverfolgungs-Tests übertrifft. Das sind die Benchmarks von Ai2, nehmen Sie den Abstand also als Ausgangspunkt, nicht als Endnote.

Die Modelle nehmen ein einzelnes Bild, eine Gruppe von zwei bis fünf verwandten Bildern oder Clips, die über einige Minuten hinausgehen. Als Video-Verständnismodell verarbeitet Molmo 2 das Material mit einem SlowFast-Ansatz: volle Auflösung auf Schlüsselframes, weniger auf dem Rest. Sie halten die Genauigkeit bei langen Videoaufgaben und brauchen weniger Vision-Token pro Anfrage.

Molmo erscheint unter Apache 2.0 mit Gewichten, Trainingscode und Rezepten, die Ai2 veröffentlicht hat. Molmo 2 ergänzt neun neue Datensätze für Beschreibung, Fragen und Antworten, Pointing und Verfolgung, mit mehr als 9 Millionen Trainingsbeispielen. Nichts hängt von Daten eines geschlossenen Modells ab, was die Kette für alle reproduzierbar hält, die darauf aufbauen.

Weil die Gewichte offen sind, können Sie Molmo auf eigener Hardware betreiben und die Gebühr pro Aufruf sparen. Ai2 weist darauf hin, dass die kleineren Modelle lokal ohne Rechenzentrum laufen. Im Gegenzug stellen Sie die GPU und die Einrichtung, und die größten Varianten brauchen weiterhin viel Speicher zum Laden.

Das Modell beantwortet „wie viele?" mit einem visuellen Beleg, nicht nur mit einer Zahl. Dadurch werden Zählungen prüfbar: Sie sehen, welche Objekte enthalten waren. Dasselbe Grounding unterstützt die Anomalieerkennung, bei der das Modell seltene oder überraschende Ereignisse meldet und auf den Frame zeigt.

Molmo 2-O (7B) baut auf Olmo auf, sodass Bildencoder, Konnektor und Sprachmodell unter Ihrer Kontrolle bleiben. Das passt zu Teams, die jeden Teil des Stacks neu trainieren wollen, statt ein festes Rückgrat zu tunen. Das Molmo-2-Repository enthält Skripte für Pretraining, SFT und Long-Context-SFT.