Google lance Gemini Embedding 2 pour un RAG multimodal avec vidéo, audio et PDF

Google a lancé Gemini Embedding 2, un modèle d'embeddings qui place dans un même espace vectoriel non seulement le texte, mais aussi les images, l'audio, la vidéo et les PDF. Pour le RAG multimodal, c'est une étape importante : une seule requête peut désormais retrouver aussi bien un article de la base de connaissances que le passage précis d'une vidéo de formation.

Ce qui change

Jusqu'ici, la recherche sur des contenus de types mixtes reposait sur une longue chaîne de conversions. Il fallait découper la vidéo en images, transcrire l'audio, décrire les images avec un modèle de vision, puis tout réassembler en texte avant de l'envoyer à un modèle d'embeddings. Le schéma fonctionnait, mais perdait des détails à chaque étape. Si la reconnaissance vocale se trompait ou si la description d'une image était trop générique, la qualité de la recherche chutait aussitôt, et le développeur devait maintenir un pipeline lourd reposant sur plusieurs services.

Avec Gemini Embedding 2, une partie de cette complexité disparaît. Le modèle accepte directement les fichiers sources et construit des représentations de différents formats dans un espace unifié. Une requête textuelle comme « comment configurer l'autorisation » peut ainsi correspondre non seulement à la documentation, mais aussi à un extrait vidéo pertinent, à une capture d'interface ou à un guide PDF. Pour les équipes dont les connaissances sont dispersées dans des formats variés, cela lève l'une des principales limites du RAG classique.

Comment construire le système

Mais le modèle d'embeddings ne rend pas à lui seul le RAG multimodal utile. Un grand modèle de langage ne sait pas simplement « lire » un MP4 ou une image comme il lit un contexte textuel. Une architecture qui fonctionne repose donc sur deux canaux : l'un assure la recherche par embeddings natifs, l'autre prépare une description textuelle de l'objet retrouvé, qui peut ensuite être transmise au LLM pour générer la réponse. C'est la combinaison de ces deux canaux qui transforme une belle démo en produit opérationnel.

• Indexer nativement les fichiers sources, sans conversions superflues
• Stocker à côté les descriptions textuelles, les transcriptions et les métadonnées
• Chercher dans un espace vectoriel unique pour tous les types de contenu
• Transmettre au LLM non pas le fichier, mais sa représentation textuelle et son contexte

En pratique, cela s'intègre bien à la pile RAG habituelle : Python pour le pipeline, l'API Gemini pour les embeddings et la génération de descriptions, Supabase ou une autre base vectorielle pour stocker les index. Cette approche permet de chercher simultanément dans la base de connaissances, les captures d'écran, les présentations et les vidéos internes, sans obliger l'utilisateur à se demander dans quel format se trouve la réponse. Côté produit, ce n'est plus une simple recherche dans des documents, mais un point d'accès unique aux connaissances de l'entreprise.

Où sont les goulots d'étranglement

La principale limite n'a pas disparu : l'objet multimédia retrouvé doit encore être expliqué au modèle et à l'humain. Si le système renvoie une vidéo sans savoir dans quel passage se trouve la réponse, l'utilisateur obtiendra toujours un résultat faible. La qualité du RAG multimodal dépend donc désormais non seulement des embeddings, mais aussi du soin apporté à la segmentation, à l'annotation et au rattachement de la couche textuelle au fichier source.

La requête « comment configurer l'autorisation » peut renvoyer à la

fois un article et le bon passage vidéo.

De là découlent des exigences d'ingénierie : il faut prévoir le chunking de la vidéo et de l'audio, la mise à jour des descriptions lors du remplacement des fichiers, le stockage des timecodes et le contrôle des coûts. La recherche multimodale native réduit les pertes d'information, mais n'élimine pas le besoin de bonnes données. Si les descriptions sont faibles, le LLM ne pourra pas construire une réponse fiable, même lorsque la recherche tombe juste. L'intérêt principal de Gemini Embedding 2 apparaît donc chez les équipes prêtes à bâtir un index complet, plutôt que de simplement téléverser des fichiers en attendant un miracle.

Ce que cela signifie

Pour les bases de connaissances d'entreprise, le support, l'onboarding et les plateformes de formation, c'est un changement notable. Google rapproche le RAG d'un scénario où texte, visuels et vidéo deviennent des sources de réponse à égalité. Ceux qui l'emporteront ne seront pas ceux qui possèdent le plus de fichiers, mais ceux qui sauront relier correctement la recherche multimodale à une couche textuelle claire pour le LLM.