Molmo
Allen Institute for AI (Ai2) · Bilder
Molmo ist ein quelloffenes multimodales KI-Modell von Ai2, das Bilder versteht, auf Objekte zeigt und Web-Agenten und Roboter antreibt.
Über Molmo
Was Molmo ist
Molmo ist eine Familie von Vision-Language-Modellen, die das Allen Institute for AI (Ai2) gebaut hat. Anders als reine Textmodelle nimmt es ein Bild und eine Frage zusammen entgegen und antwortet in natürlicher Sprache. Es kann außerdem auf die genaue Stelle zeigen, über die es spricht. Das schaffen die meisten Modelle nicht.
Drei Größen erscheinen unter dem Namen Molmo: 1B, 7B und 72B. Die kleine läuft auf einem Laptop. Die 72B-Version misst sich in mehreren Vergleichstests mit geschlossenen Systemen wie GPT-4V und Gemini 1.5. Laut Ai2 gibt es diesen Unterschied, weil Molmo mit einem kuratierten Satz von rund 600.000 Bildern trainiert wurde, nicht mit Milliarden. Qualität vor Masse.
Hier ist der Haken. Molmo ist ein Modell, keine App. Ein schickes Chat-Fenster auf einer Website finden Sie nicht. Wer es zum Laufen bringt, lädt die Gewichte herunter und bindet sie in eigenen Code ein. Für Entwickler ist das in Ordnung. Für alle anderen ist es eine Wand.
Die Gewichte, die Trainingsdaten und der Quellcode sind öffentlich, also können Sie nachsehen, wie es arbeitet, und darauf aufbauen, ohne eine Lizenzgebühr zu zahlen.
Erste Schritte
- Legen Sie ein kostenloses Konto bei Hugging Face an, wo Ai2 die Molmo-Gewichte und die Datenkarten hostet.
- Wählen Sie eine Größe. Nehmen Sie das 1B-Modell für Tests auf dem eigenen Rechner oder die 7B- und 72B-Versionen, wenn Sie die Hardware oder eine Cloud-GPU haben.
- Laden Sie das Modell mit einem Toolkit wie Transformers und übergeben Sie ihm ein Bild plus eine Textanweisung.
- Bitten Sie es, etwas im Bild zu beschreiben, zu zählen oder darauf zu zeigen, und lesen Sie die Antwort.
- Speisen Sie die Ausgabe in Ihren eigenen Web-Agenten, Roboter oder Arbeitsablauf ein.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Molmo.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Entwickler, die Computer-Vision-Funktionen bauen
- Forschende, die multimodale Modelle untersuchen
- Hobbyisten mit einer ordentlichen GPU
Aufgaben
- Auf bestimmte Objekte in einem Foto zeigen
- Diagramme, Speisekarten und Whiteboards lesen
- Web-Agenten steuern
Szenarien
- Eine wiederkehrende Bildschirmaufgabe automatisieren
- Eine Fotobibliothek sortieren oder verschlagworten
- Ein Basismodell für einen Produktprototyp wählen
Wichtigste Funktionen
Bildverständnis, das zeigt
Die meisten Modelle beantworten Fragen zu einem Bild mit Worten. Molmo geht weiter und setzt eine Markierung auf genau das Objekt, das Sie meinen, sei es eine Person in einer Menge oder eine Schaltfläche auf einem Menübildschirm. Dieses Zeigen funktioniert ohne spezielles Training, ein Zero-Shot-Kunststück, das Aufgaben wie Zählen und Bedienung von Oberflächen öffnet.
Drei Größen für verschiedene Hardware
Die Reihe umfasst 1B, 7B und 72B Parameter, Sie wählen also nach Ihrer Maschine, nicht umgekehrt. Das 1B-Modell ist leicht genug für ein persönliches Gerät, während die 72B-Version auf Teams mit ernsthafter GPU-Kapazität zielt. Dieselbe Familie, sehr unterschiedliche Spuren.
Trainiert mit einem kleinen, kuratierten Datensatz
Ai2 nutzte rund 600.000 von Menschen annotierte Bilder statt der Milliarden, auf die andere Labore setzen. Die Beschreibungen stammen von Menschen, nicht aus dem Netz gezogen, was das Modell gesprächig und präzise macht. Es bedeutet auch billigeres Training, und diese Effizienz zeigt sich daran, wie schnell die kleineren Modelle antworten.
Vollständig quelloffen
Gewichte, Code und Trainingsdatensatz sind der Öffentlichkeit zugänglich. Sie können Molmo ausführen, untersuchen, feinabstimmen und in kommerziellen Produkten ausliefern, ohne eine Lizenzgebühr zu zahlen. Für Forschende ist diese Transparenz der ganze Punkt.
Gebaut für Agenten und Roboter
Molmos Fähigkeit, einen Bildschirm zu sehen und darauf zu handeln, passt zu Web-Agenten, die Formulare ausfüllen oder Websites durchlaufen, und zu Robotern, die deuten müssen, was eine Kamera sieht. Es liest die visuelle Ebene direkt, Sie müssen also nicht die dahinterliegende Struktur einer Seite rekonstruieren.
Vor- und Nachteile
Vorteile
- Kostenlos nutzbar, ohne Abo oder Preis pro Aufruf.
- Offene Gewichte, Code und Datensatz lassen Sie alles prüfen und ändern.
- Die Zeigefunktion erledigt Objektlokalisierung und Zählen, was reine Textmodelle nicht können.
- Das 1B-Modell passt auf bescheidene Hardware, Tests brauchen also kein Rechenzentrum.
- Leistung auf Augenhöhe mit weit größeren proprietären Modellen in mehreren Vergleichstests, laut Ai2.
Nachteile
- Keine gehostete API, Sie müssen das Modell also selbst betreiben oder einen Drittanbieter finden, was Einrichtungsarbeit kostet.
- Nur die kleinste Version ist auf einem Laptop realistisch; das 72B-Modell braucht viel GPU-Speicher.
- Keine offizielle mobile App und keine fertige Oberfläche, was alle ausschließt, die nicht programmieren.
Häufige Fragen
Molmo wird für Aufgaben genutzt, die Bilder und Sprache mischen: Fotos beschreiben, Diagramme lesen, Objekte finden und Web-Agenten oder Roboter antreiben, die auf das reagieren, was sie sehen. Es ist ein Grundmodell, Entwickler bauen das fertige Werkzeug also darauf auf, statt es direkt zu verwenden.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Molmo.
Alternativen zu Molmo
Google EmbeddingGemma 2
Google DeepMind · Schreiben · Bilder · CodingGoogle EmbeddingGemma 2 ist ein offenes Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Videobilder in Vektoren eines gemeinsamen 768-dimensionalen Raums umwandelt und auf Handys und Notebooks läuft.
Tractionwave
TractionWave · Bilder · MarketingTractionWave erstellt per KI eine Aufmerksamkeits-Heatmap für statische Anzeigen. Sie laden ein PNG oder JPG hoch und bekommen prognostizierte Aufmerksamkeit, sortierte Hotspots und Korrekturen, bevor Budget fließt.
Imejis.io
Imejis.io · Bilder · MarketingImejis.io ist ein KI-Designstudio für Agenten und Marketingteams. Sie beschreiben ein Bild in eigenen Worten, und das Werkzeug schreibt den Text, baut das Layout, passt es an jedes Format an und exportiert die fertige Datei.