Molmo

Molmo pointe ce qu'il voit au lieu de seulement le décrire. Confiez une photo à ce modèle de pointage d'images et demandez quel objet est lequel : il renvoie des coordonnées 2D pour chaque réponse. Sur Molmo 2, ce pointage s'étend au temps. Demandez quand une tasse est tombée ou quel joueur a marqué, et vous obtenez un horodatage avec la localisation.

Molmo 2 suit les objets sur toute la durée d'un clip et maintient un identifiant fixe pour chacun. Cela compte pour le comptage, car la même tasse ne doit pas être comptée deux fois après être sortie du cadre puis revenue. Le modèle gère les occlusions et les réapparitions, ce qui posait problème aux modèles ouverts précédents. Ai2 affirme qu'il dépasse Gemini 3 Pro sur ses évaluations de suivi vidéo. Ce sont les benchmarks d'Ai2, donc prenez l'écart comme un point de départ, pas comme une note finale.

Les modèles acceptent une seule image, un groupe de deux à cinq images liées ou des clips qui dépassent quelques minutes. Comme modèle de compréhension vidéo, Molmo 2 traite les séquences avec une approche SlowFast : pleine résolution sur les images clés, moins sur le reste. Vous gardez la précision sur les tâches de vidéo longue tout en dépensant moins de tokens visuels par requête.

Molmo sort sous Apache 2.0 avec les poids, le code d'entraînement et les recettes qu'Ai2 a publiés. Molmo 2 ajoute neuf nouveaux jeux de données couvrant légendes, questions-réponses, pointage et suivi, avec plus de 9 millions d'exemples d'entraînement. Rien ne dépend de données générées par un modèle fermé, ce qui garde la chaîne reproductible pour qui veut construire dessus.

Les poids étant ouverts, vous pouvez faire tourner Molmo sur votre matériel et éviter la facturation à l'appel. Ai2 indique que les petits modèles tournent en local sans centre de données. En échange, vous fournissez le GPU et la configuration, et les grandes variantes demandent encore beaucoup de mémoire au chargement.

Le modèle répond à « combien ? » en renvoyant une preuve visuelle, pas seulement un chiffre. Les comptages deviennent donc auditables : vous voyez quels objets ont été inclus. Le même ancrage sert à la détection d'anomalies, où le modèle signale des événements rares ou surprenants et pointe l'image qui les contient.

Molmo 2-O (7B) est construit sur Olmo, donc l'encodeur visuel, le connecteur et le modèle de langage restent sous votre contrôle. Cela convient aux équipes qui veulent réentraîner chaque partie de la pile plutôt qu'affiner une base figée. Le dépôt Molmo 2 inclut des scripts de pré-entraînement, de SFT et de SFT à contexte long.