Google EmbeddingGemma 2

Texte, code, images, images vidéo et audio tombent dans le même espace de 768 dimensions. Vous interrogez une archive audio avec une phrase écrite, ou retrouvez une capture d'écran à partir de la description de ce qu'elle montrait. La comparaison entre médias tient parce que les vecteurs partagent un système de coordonnées, pas parce que plusieurs modèles ont été recousus après coup. La plupart des montages de modèle d'embeddings multimodal encodent chaque format dans son propre espace et traduisent entre eux, et c'est à cette frontière que se perd du détail.

Le modèle complet compte 740 millions de paramètres: 270 millions pour le texte et le code, 170 millions pour la vision, 300 millions pour l'audio. Diffuser uniquement la branche texte fait chuter le téléchargement et la mémoire occupée. Ajouter la vision ou l'audio plus tard n'invalide pas les vecteurs texte déjà calculés, puisque l'espace ne bouge pas.

Matryoshka Representation Learning place l'information la plus utile au début de chaque vecteur. Vous gardez les 768 dimensions, ou coupez la sortie à 512, 256 ou 128, avec jusqu'à 6 fois moins de stockage local. Moins de dimensions coûte de la précision en récupération, et la perte se voit plus tôt sur l'image et l'audio que sur le texte. Testez vos propres requêtes avant de trancher.

La fenêtre de contexte quadruple par rapport à la première version. Concrètement, cela représente environ 5,5 minutes d'audio, 29 images ou 58 images vidéo dans une seule entrée, combinaisons entrelacées comprises. Une présentation narrée s'encode comme un seul élément au lieu d'une pile de morceaux séparés.

Après quantification, les poids texte occupent environ 191 Mo de RAM active sur un Pixel 11 Pro. Le modèle multimodal complet demande autour de 567 Mo. Cet écart décide si une appli sort ou se fait refuser pour consommation mémoire, surtout sur un Android de milieu de gamme.

Sur MTEB Code, le score passe de 68,76 à 78,68, soit près de dix points de plus que la version précédente. Le modèle sert à indexer des bases locales et à la récupération des agents de programmation, où la requête décrit une intention au lieu de nommer un symbole. Google indique aussi qu'il dépasse des modèles spécialisés plus de deux fois plus gros sur l'image, la vidéo, les documents et l'audio.

Les intégrations officielles et communautaires couvrent sentence-transformers, transformers, vLLM, SGLang, llama.cpp, Ollama, LM Studio, MLX, transformers.js et WebGPU. Qdrant a publié un guide pour stocker les vecteurs et Unsloth documente le fine-tuning. Vous n'êtes enfermé ni dans une pile d'inférence unique ni dans un déploiement signé Google.

EmbeddingGemma 2 partage son tokenizer texte et son encodeur audio avec Gemma 4. Faire tourner les deux dans un même pipeline évite de charger deux fois les mêmes composants et réduit la mémoire totale. La récupération et la génération se déroulent alors sur le même portable ou téléphone, sans appel réseau.