Molmo

Molmo señala lo que ve en lugar de solo describirlo. Dale una foto a este modelo de señalar imágenes y pregúntale qué objeto es cuál, y devuelve coordenadas 2D para cada respuesta. En Molmo 2 esa señalización se extiende al tiempo. Pregunta cuándo cayó una taza o qué jugador marcó, y recibes una marca de tiempo junto a la ubicación.

Molmo 2 sigue objetos a lo largo de un clip y mantiene un identificador fijo para cada uno. Eso importa al contar, porque la misma taza no debería contarse dos veces después de salir del encuadre y volver. El modelo resuelve oclusiones y reapariciones, algo que a los modelos abiertos anteriores les costaba. Ai2 afirma que supera a Gemini 3 Pro en sus pruebas de seguimiento de vídeo. Son los benchmarks de Ai2, así que toma la diferencia como punto de partida, no como nota final.

Los modelos aceptan una sola imagen, un grupo de dos a cinco imágenes relacionadas o clips que superan los pocos minutos. Como modelo de comprensión de vídeo, Molmo 2 procesa el metraje con un enfoque SlowFast: resolución completa en los fotogramas clave y menos en el resto. Mantienes la precisión en tareas de vídeo largo y gastas menos tokens visuales por consulta.

Molmo se publica bajo Apache 2.0 con pesos, código de entrenamiento y recetas que Ai2 hizo públicas. Molmo 2 añade nueve conjuntos nuevos que cubren descripción, preguntas y respuestas, señalización y seguimiento, con más de 9 millones de ejemplos de entrenamiento. Nada depende de datos generados por un modelo cerrado, lo que mantiene el proceso reproducible para quien quiera construir encima.

Como los pesos son abiertos, puedes ejecutar Molmo en tu hardware y evitar el pago por llamada. Ai2 señala que los modelos pequeños funcionan en local sin un centro de datos. El intercambio es que tú pones la GPU y la configuración, y las variantes más grandes siguen pidiendo bastante memoria para cargarse.

El modelo responde a "¿cuántos?" devolviendo evidencia visual, no solo una cifra. Así los recuentos se pueden auditar: ves qué objetos incluyó. El mismo anclaje sirve para detectar anomalías, donde el modelo marca eventos raros o sorprendentes y señala el fotograma que los contiene.

Molmo 2-O (7B) se construye sobre Olmo, así que el codificador visual, el conector y el modelo de lenguaje quedan bajo tu control. Eso encaja con equipos que quieren reentrenar cada parte de la pila en vez de ajustar una base fija. El repositorio de Molmo 2 incluye scripts de preentrenamiento, SFT y SFT de contexto largo.