Magma
Microsoft Research · Sonstiges
Magma ist Microsofts Grundlagenmodell für multimodale KI-Agenten. Es liest Bilder, Videos und Text und schlägt dann Aktionen vor, etwa einen Klick oder eine Roboterbewegung, in der digitalen wie der physischen Welt.
Über Magma
What Is Magma
Magma ist ein Grundlagenmodell, das Microsoft Research für multimodale KI-Agenten gebaut hat. Anders als ein reines Vision-Language-Modell, das nur beschreibt, was es sieht, verbindet Magma Verständnis mit Handeln. Es nimmt Bilder, Videos und Text auf und schlägt daraus zielgerichtete Schritte vor, vom Klick auf einen Button in einer Handy-App bis zur Steuerung eines Roboterarms, der ein Objekt greift. Die Arbeit wurde auf der CVPR 2025 angenommen, und Microsoft hat Code und Modellgewichte offen veröffentlicht.
Dahinter steht die Idee eines Modells für zwei Welten. Fast alle früheren Systeme wurden für eine einzige Aufgabe trainiert, entweder eine 2D-Oberfläche oder einen 3D-Roboter, und taten sich schwer, zwischen beiden zu wechseln. Magma wurde mit einer Mischung aus Bildern, Videos und Robotikdaten vortrainiert, damit ein einziges Modell UI-Navigation, Robotermanipulation und allgemeine Bild- oder Videofragen abdeckt. Microsoft nennt es das erste Grundlagenmodell für multimodale KI-Agenten.
Die größte Einschränkung: Magma ist ein Forschungsmodell, kein fertiges Produkt. Es kommt als offene Gewichte und Code, die Sie selbst ausführen, und zum Ausprobieren brauchen Sie eine leistungsfähige GPU. Es richtet sich an Entwickler und Forschende, die es nachtrainieren können, nicht an Nutzer, die eine fertige App wollen.
Getting Started
- Richten Sie eine Python-Umgebung mit PyTorch und dem Magma-Repository von GitHub ein.
- Laden Sie die Gewichte von Magma-8B bei Hugging Face herunter.
- Laden Sie Modell und Prozessor und verweisen Sie im Code auf Ihre GPU.
- Geben Sie ein Bild oder Video mit einem Text ein, um eine Antwort oder eine vorgeschlagene Aktion zu erhalten.
- Trainieren Sie das Modell mit eigenen Daten für eine bestimmte Aufgabe nach, etwa UI-Navigation oder Robotersteuerung.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Magma.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- KI-Forschende
- App- und Robotik-Entwickler
- Studierende der multimodalen KI
Aufgaben
- UI-Navigation
- Robotermanipulation
- Fragen zu Bildern und Videos
- Räumliches Denken
Szenarien
- Forschung zu agentischen Modellen
- Prototyp für Oberflächenautomatisierung
- Transfer zwischen Domänen erkunden
Wichtigste Funktionen
Ein Modell für digitale und physische Aufgaben
Magma deckt UI-Navigation und Robotermanipulation mit einem einzigen Satz Gewichte ab. Frühere Modelle wurden meist auf eine Umgebung abgestimmt, sodass ein Bildschirm-Agent keinen Roboter steuern konnte. Microsoft hat Magma mit gemischten Daten trainiert, damit es vom Klick in einer App zur Planung einer physischen Aktion wechselt.
Set-of-Mark zur Verankerung von Aktionen
Set-of-Mark versieht handlungsfähige Objekte im Bild, etwa Buttons auf einem Bildschirm oder einen Greifer am Roboterarm, mit Nummern. Das Modell sagt voraus, auf welche Markierung es reagieren soll, und macht so aus vagem visuellem Verständnis eine konkrete Aktion.
Trace-of-Mark zur Planung
Trace-of-Mark versieht die Bewegung von Objekten über Videobilder hinweg mit Markierungen, etwa den Weg einer Hand oder eines Roboterarms. Aus diesen Spuren lernt Magma, mehrstufige Aktionen zu planen und den nächsten Schritt vorherzusehen, statt Bild für Bild zu reagieren.
Vortraining mit gemischten Daten
Magma wurde mit einem großen, vielfältigen Satz aus Bildern, Videos und Robotikdaten vortrainiert. Diese Mischung erlaubt es einem Modell, allgemeines Bild- und Videoverständnis neben agentischen Fähigkeiten zu behalten, statt eines für das andere zu opfern. Es stützt sich auf frei verfügbare Videos, um räumliche und zeitliche Muster zu lernen.
Video- und Bildverständnis
Über Aktionen hinaus beantwortet Magma Fragen zu Fotos und Clips, darunter Video-QA und räumliches Denken. Microsoft berichtet, dass es auf mehreren Benchmarks mit größeren Vision-Language-Modellen mithält, obwohl es mit weniger Video-Instruktionsdaten trainiert wurde.
Offener Code und offene Gewichte
Microsoft veröffentlicht die Gewichte bei Hugging Face, den Trainings- und Inferenzcode auf GitHub und Magma-8B auf Azure AI Foundry. Diese Offenheit lässt Forschende Ergebnisse reproduzieren und das Modell nachtrainieren, auch wenn Installation und Hosting bei Ihnen bleiben.
Vor- und Nachteile
Vorteile
- Ein Modell deckt UI-Navigation, Robotersteuerung und allgemeines Bild- und Videoverständnis ab.
- Offene Gewichte und offener Code lassen Forschende Ergebnisse reproduzieren und frei nachtrainieren.
- Set-of-Mark und Trace-of-Mark machen aus visuellem Lesen konkrete Aktionspläne.
- Die Berichte nennen Spitzenergebnisse bei UI-Navigation und Robotermanipulation.
Nachteile
- Es ist ein Forschungsmodell, also gibt es keine fertige App und der Aufbau kostet echte Arbeit.
- Magma braucht eine leistungsfähige GPU, was Gelegenheitsnutzer ausschließt.
- Die Ergebnisse hängen weiter vom Nachtraining pro Aufgabe ab, der direkte Einsatz bleibt begrenzt.
- Ein Teil der Daten und Tests kommt von Microsoft selbst, unabhängige Prüfungen sind deshalb wichtig.
Häufige Fragen
Magma ist ein Grundlagenmodell für multimodale KI-Agenten. Anders gesagt: ein multimodaler KI-Agent, der versteht und handelt. Entwickler bauen damit Agenten, die einen Bildschirm lesen und Klicks vorschlagen, oder die Roboterbewegungen planen, dazu allgemeines Bild- und Videoverständnis. Es ist Forschungscode, also trainieren Sie es für Ihre eigene Aufgabe nach.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Magma.
Alternativen zu Magma
BinkBink
BinkBink · SonstigesBinkBink ist eine kostenlose Online-Spielplattform und ein KI-Spielmacher, mit dem jeder eine kurze Textbeschreibung in ein spielbares Browser-Spiel verwandeln kann. Sie springen in Hunderte von der Community erstellte Spiele. Oder Sie beschreiben Ihre eigene Idee, spielen sie in Sekunden und teilen sie dann mit Freunden. Sie wollen Ihr eigenes Spiel erstellen? Sie müssen nicht programmieren. Kein Einrichten einer Engine, kein Download, kein Aufwand.
Audiogen
Audiogen Inc. · SonstigesAudiogen ist ein KI-Musikgenerator des Unternehmens Audiogen Inc., eines kleinen Forschungsteams, das rund 2,5 Jahre damit verbrachte, ein eigenes generatives Musikmodell zu trainieren und eine Web-Oberfläche darum herum zu entwerfen. Statt eines einfachen Textfelds verwandelt dieses KI-Musik-Tool die Zeitleiste in eine anfängerfreundliche Generative Audio Workstation, kurz GAW, in der Inpainting, Verlängern, Remixen und Stem-Bearbeitung eher wie Malen auf einer Leinwand funktionieren. Das Produkt ist noch in der Beta, der Zugang läuft also über eine Warteliste oder eine Einladung. Bezahlpläne sind noch nicht veröffentlicht.
Aiml API
AIMLAPI OÜ · SonstigesAiml API ist eine einheitliche KI-Modell-API, die über 1000 Modelle von OpenAI, Google, Anthropic und anderen hinter einem einzigen Endpunkt und einer einzigen Rechnung bündelt. Sie schreiben Code gegen ein einziges OpenAI-kompatibles Schema und wechseln dann zwischen Chat-, Bild-, Video- und Audiomodellen, indem Sie eine Modellzeichenfolge ändern. Sie passt zu Entwicklern und kleinen Teams, die multimodalen Zugriff wollen, ohne ein Dutzend getrennte Anbieterkonten zu verwalten, und sie beseitigt den üblichen Rechnungsstress beim Testen mehrerer Anbieter. Ein Schlüssel deckt alles ab.