Molmo

Molmo es una familia de modelos de visión y lenguaje creada por el Allen Institute for AI (Ai2). A diferencia de los modelos solo de texto, recibe una imagen y una pregunta juntas, y responde en lenguaje natural. También puede señalar el punto exacto del que habla, algo que la mayoría de los modelos no hace.

Bajo el nombre Molmo se distribuyen tres tamaños: 1B, 7B y 72B. El pequeño corre en un portátil. La versión de 72B compite de tú a tú con sistemas cerrados como GPT-4V y Gemini 1.5 en varias pruebas comparativas. Según Ai2, esa diferencia existe porque Molmo se entrenó con un conjunto curado de unas 600.000 imágenes, no con miles de millones. Calidad por encima de cantidad.

Aquí está el problema. Molmo es un modelo, no una app. No vas a encontrar una interfaz de chat pulida en una web. Ponerlo en marcha significa descargar los pesos e integrarlos en tu propio código. Para los desarrolladores, eso está bien. Para el resto, es un muro.

Los pesos, los datos de entrenamiento y el código fuente son públicos, así que puedes inspeccionar cómo funciona y construir sobre él sin pagar una licencia.

Cómo empezar

1. Crea una cuenta gratuita en Hugging Face, donde Ai2 aloja los pesos de Molmo y las fichas del conjunto de datos.
2. Elige un tamaño. Descarga el modelo de 1B si quieres probarlo en tu propia máquina, o las versiones de 7B y 72B si tienes el hardware o una GPU en la nube.
3. Carga el modelo con un kit de herramientas como Transformers y pásale una imagen junto a un texto de instrucción.
4. Pídele que describa, cuente o señale algo en la imagen, y lee la respuesta.
5. Lleva la salida a tu propio agente web, robot o flujo de trabajo.