Magma
Microsoft Research · Otro
Magma es el modelo base de Microsoft para agentes de IA multimodales. Lee imágenes, vídeo y texto, y después propone acciones como pulsar un botón o mover un brazo robótico en entornos digitales y físicos.
Acerca de Magma
What Is Magma
Magma es un modelo base que Microsoft Research creó para agentes de IA multimodales. A diferencia de un modelo de visión y lenguaje al uso, que solo describe lo que ve, Magma une la comprensión con la acción. Recibe imágenes, vídeo y texto, y a partir de ahí propone pasos orientados a un objetivo, desde pulsar botones en una app móvil hasta dirigir un brazo robótico para coger un objeto. El trabajo se aceptó en CVPR 2025, y Microsoft publicó el código y los pesos del modelo de forma abierta.
La idea que hay detrás es un solo modelo para dos mundos. Casi todos los sistemas anteriores se entrenaban para una tarea concreta, ya fuera una interfaz 2D o un robot 3D, y les costaba pasar de una a otra. Magma se preentrenó con una mezcla de imágenes, vídeo y datos de robótica para que un único modelo cubra navegación de interfaz, manipulación de robots y preguntas generales sobre imágenes o vídeo. Microsoft lo presenta como el primer modelo base para agentes de IA multimodales.
El límite principal es que Magma es un modelo de investigación, no un producto acabado. Se distribuye como pesos y código abiertos que ejecutas tú, y para probarlo necesitas una GPU con capacidad suficiente. Está pensado para desarrolladores e investigadores que puedan ajustarlo, no para quien quiera una app ya montada.
Getting Started
- Prepara un entorno de Python con PyTorch y el repositorio de Magma desde GitHub.
- Descarga los pesos de Magma-8B desde Hugging Face.
- Carga el modelo y el procesador, y apunta el código a tu GPU.
- Dale una imagen o un vídeo junto a un texto para obtener una respuesta o una acción propuesta.
- Ajusta el modelo con tus propios datos para una tarea concreta, como navegar por interfaces o controlar un robot.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de Magma.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Investigadores de IA
- Desarrolladores de apps y robótica
- Estudiantes de IA multimodal
Tareas
- Navegación de interfaz
- Manipulación de robots
- Preguntas sobre imágenes y vídeo
- Razonamiento espacial
Casos de uso
- Investigación sobre modelos agénticos
- Prototipo de automatización de interfaces
- Exploración de transferencia entre dominios
Funciones clave
Un modelo para tareas digitales y físicas
Magma cubre la navegación de interfaz y la manipulación de robots con un único conjunto de pesos. Los modelos anteriores solían ajustarse a un solo entorno, así que un agente de pantalla no podía pilotar un robot. Microsoft entrenó Magma con datos mezclados para que salte de pulsar una app a planificar una acción física.
Set-of-Mark para anclar acciones
Set-of-Mark etiqueta con marcas numéricas los objetos sobre los que se puede actuar, como botones en una pantalla o una pinza en un brazo robótico. El modelo predice sobre qué marca actuar, y así convierte una comprensión visual difusa en una acción concreta.
Trace-of-Mark para planificar
Trace-of-Mark etiqueta cómo se mueven los objetos a lo largo de los fotogramas, como la trayectoria de una mano o de un brazo robótico. Al aprender de esas trazas, Magma planifica acciones de varios pasos y anticipa lo que debería pasar, en lugar de reaccionar fotograma a fotograma.
Preentrenamiento con datos mezclados
Magma se preentrenó con un conjunto amplio y variado de imágenes, vídeo y datos de robótica. Esa mezcla deja que un mismo modelo mantenga la comprensión general de imagen y vídeo junto a las habilidades agénticas, sin sacrificar una por la otra. Se apoya en vídeo disponible libremente para aprender patrones espaciales y temporales.
Comprensión de vídeo e imágenes
Más allá de las acciones, Magma responde a preguntas sobre fotos y clips, incluidas tareas de preguntas y respuestas sobre vídeo y de razonamiento espacial. Microsoft señala que compite con modelos de visión y lenguaje más grandes en varios benchmarks, pese a entrenarse con menos datos de instrucciones de vídeo.
Código y pesos abiertos
Microsoft publica los pesos en Hugging Face, el código de entrenamiento e inferencia en GitHub, y Magma-8B en Azure AI Foundry. Esa apertura deja que los investigadores reproduzcan resultados y ajusten el modelo, aunque la instalación y el alojamiento corren de tu cuenta.
Ventajas y desventajas
Ventajas
- Un solo modelo abarca navegación de interfaz, control de robots y comprensión general de imagen y vídeo.
- Los pesos y el código abiertos permiten reproducir resultados y ajustar el modelo sin trabas.
- Set-of-Mark y Trace-of-Mark convierten la lectura visual en planes de acción concretos.
- Los informes apuntan a resultados de vanguardia en navegación de interfaz y manipulación robótica.
Desventajas
- Es un modelo de investigación, así que no hay app acabada y la puesta en marcha exige trabajo real.
- Ejecutar Magma requiere una GPU potente, lo que deja fuera al usuario casual.
- Los resultados siguen dependiendo de un ajuste fino por tarea, así que su uso directo es limitado.
- Parte de los datos y las evaluaciones vienen del propio Microsoft, así que conviene buscar comprobaciones independientes.
Preguntas frecuentes
Magma es un modelo base para agentes de IA multimodales. Dicho de otro modo, es un agente de IA multimodal que entiende y actúa. Los desarrolladores lo usan para construir agentes que leen una pantalla y proponen clics, o que planifican movimientos de robot, además de comprender imágenes y vídeo. Es código de investigación, así que lo ajustas a tu propia tarea.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con Magma.
Alternativas a Magma
Odyssey 3
Odyssey · OtroOdyssey-3 es el modelo del mundo fundacional de Odyssey. Simula física en tiempo real, convierte una descripción en un entorno interactivo y se adapta a robots, coches y videojuegos.
JarvisCore
Prescott Data · Programación · Productividad · OtroJarvisCore es un runtime de código abierto en Python donde los agentes de IA actúan como pares en una malla, reclaman tareas de un libro mayor compartido y llegan a servicios externos por un bróker sin confianza.
Clef
Cloudflare · Negocios · OtroClef es el modelo de decisión de código abierto de Cloudflare para Workers AI. Devuelve probabilidades calibradas para preguntas tipadas en lugar de texto, así que un agente clasifica, enruta y actúa rápido.