Google EmbeddingGemma 2

Text, Quellcode, Bilder, Videobilder und Audio landen im selben 768-dimensionalen Raum. Sie befragen ein Audioarchiv mit einem geschriebenen Satz oder finden einen Screenshot über die Beschreibung dessen, was darauf zu sehen war. Der Vergleich zwischen Medien funktioniert, weil die Vektoren dasselbe Koordinatensystem teilen und nicht, weil mehrere Modelle nachträglich verbunden wurden. Ein multimodales Embedding-Modell wird meist anders gebaut: Jedes Format bekommt einen eigenen Raum, und dazwischen wird übersetzt. An dieser Grenze geht Detail verloren.

Das vollständige Modell umfasst 740 Millionen Parameter: 270 Millionen für Text und Code, 170 Millionen für Vision, 300 Millionen für Audio. Wer nur den Textpfad ausliefert, senkt Download und Speicherbedarf deutlich. Vision oder Audio später zu ergänzen macht bereits berechnete Textvektoren nicht ungültig, weil der Raum gleich bleibt.

Matryoshka Representation Learning legt die nützlichsten Informationen an den Anfang jedes Vektors. Sie behalten alle 768 Dimensionen oder kürzen die Ausgabe auf 512, 256 oder 128, was bis zu sechsmal weniger lokalen Speicher bedeutet. Weniger Dimensionen kosten Treffergenauigkeit, und der Verlust zeigt sich bei Bild und Audio früher als bei Text. Prüfen Sie Ihre eigenen Anfragen, bevor Sie sich festlegen.

Das Kontextfenster ist viermal so groß wie beim Vorgänger. Praktisch sind das etwa 5,5 Minuten Audio, 29 Bilder oder 58 Videobilder in einer Eingabe, auch verschachtelte Kombinationen. Eine Präsentation mit Sprechertext wird als ein Element kodiert statt als Stapel einzelner Teile.

Mit Quantisierung belegen die Textgewichte auf einem Pixel 11 Pro rund 191 MB aktiven RAM. Das vollständige multimodale Modell liegt bei etwa 567 MB. Dieser Unterschied entscheidet, ob eine App erscheint oder wegen Speicherverbrauch abgelehnt wird, besonders auf Android der Mittelklasse.

Auf MTEB Code stieg der Wert von 68,76 auf 78,68, fast zehn Punkte mehr als in der Vorversion. Das Modell eignet sich für lokale Codeindizes und für die Trefferauswahl von Coding-Agenten, bei denen eine Anfrage eine Absicht beschreibt statt ein Symbol zu nennen. Google meldet außerdem, dass es spezialisierte Modelle mit mehr als doppeltem Umfang bei Bild-, Video-, Dokument- und Audioaufgaben übertrifft.

Offizielle und Community-Integrationen decken sentence-transformers, transformers, vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX, transformers.js und WebGPU ab. Qdrant hat eine Anleitung zum Speichern der Vektoren veröffentlicht, Unsloth dokumentiert das Fine-Tuning. Sie sind weder an einen Inferenz-Stack noch an einen Google-eigenen Weg gebunden.

EmbeddingGemma 2 teilt Text-Tokenizer und Audio-Encoder mit Gemma 4. Beide Modelle in einer Pipeline zu fahren vermeidet doppelte Komponenten und senkt den gemeinsamen Speicherbedarf. Abruf und Generierung laufen dann auf demselben Notebook oder Handy, ohne Netzaufruf.