Google apprend à EmbeddingGemma 2 à comprendre texte, images, vidéo et son

Un modèle multimodal de poche

Google DeepMind a lancé le 6 octobre 2026 EmbeddingGemma 2, un modèle d'embeddings ouvert qui s'attaque au principal problème du secteur : jusqu'ici, chaque type de données nécessitait son propre modèle, et les vecteurs issus de modèles différents n'étaient pas comparables entre eux. Impossible de placer côte à côte un vecteur de texte et un vecteur d'image. EmbeddingGemma 2 regroupe les cinq modalités dans un seul espace à 768 dimensions.

Le modèle traite le texte, le code, les images, la vidéo et l'audio. Cette approche ouvre de nouvelles possibilités : rechercher des extraits vidéo à partir d'une requête textuelle, retrouver des images dans des documents, ou utiliser une requête vocale pour fouiller une base textuelle. Sur l'appareil, l'empreinte reste légère : sur un Pixel 11 Pro, la partie texte occupe environ 191 Mo de RAM, la version multimodale complète environ 567 Mo. Cela permet d'exécuter ce type de recherche directement sur le téléphone, sans envoyer les données vers un serveur.

La première version d'EmbeddingGemma, sortie en septembre 2025, ne prenait en charge que le texte et a dépassé, selon le média japonais livedoor, les 20 millions de téléchargements. Ce succès a poussé Google à développer un successeur multimodal.

Architecture et caractéristiques techniques

EmbeddingGemma 2 repose sur l'architecture Gemma 4. Le modèle compte 740 millions de paramètres, mais ce n'est pas une structure monolithique : les composants sont répartis de façon modulaire — 270M de paramètres pour la partie texte, 170M pour le traitement d'images, 300M pour l'audio. Cette architecture offre une flexibilité de déploiement : on peut n'utiliser que le composant texte, ou assembler la version multimodale complète selon les ressources disponibles.

Le modèle comprend plus de 100 langues et affiche des progrès par rapport à la première version : sur les tâches liées au code, les performances ont augmenté d'environ 14 %. La fenêtre de contexte a été étendue à 8192 tokens — soit quatre fois plus que dans la première version — ce qui permet de traiter des séquences plus longues sans perte de contexte.

Une particularité notable : les vecteurs Matryoshka. Le modèle prend en charge plusieurs dimensions de sortie — 768, 512, 256 ou 128 — ce qui permet de choisir le meilleur compromis entre précision et vitesse selon la tâche. La partie texte est implémentée comme un transformeur compact à 4 têtes KV, dont 2 opèrent localement et 1 globalement, assurant une efficacité accrue sans surcharge de calcul significative.

Optimisé pour les appareils mobiles

Le modèle est spécifiquement optimisé pour fonctionner sur smartphones et ordinateurs portables. Cela signifie que la recherche sémantique, la recherche de contenu (RAG), le clustering de données, la détection de doublons et les systèmes de recommandation peuvent fonctionner entièrement en local, sans envoyer les données privées de l'utilisateur vers des serveurs cloud. Google a ouvert ce modèle sous forme de poids et de code, permettant à la communauté de l'intégrer dans diverses applications et services.

Un embedding est un vecteur, c'est-à-dire une liste de nombres décrivant le sens d'un contenu. Des éléments proches par le sens obtiennent des vecteurs proches : par exemple, les phrases « Il fait un temps magnifique aujourd'hui » et « Il y a tellement de soleil dehors ! » se retrouveront proches dans l'espace vectoriel. La recherche fonctionne simplement : on calcule le vecteur de la requête, on calcule les vecteurs de tous les documents, puis on cherche les voisins les plus proches par similarité cosinus. C'est sur ce principe que reposent la recherche sémantique, le RAG (recherche documentaire avec génération de réponses), le clustering, la détection de doublons et les systèmes de recommandation personnalisée.

La seconde version d'EmbeddingGemma résout le problème d'incompatibilité des représentations vectorielles : toutes les modalités — texte, code, images, vidéo et audio — sont converties dans un même espace à 768 dimensions, ce qui permet de comparer des objets de nature différente dans le cadre d'une même tâche.