miniCOIL EN-ES : chercher au-delà de la barrière linguistique sans traduction

Qdrant a lancé miniCOIL EN-ES, un moteur de recherche à vecteurs creux conçu pour la recherche bilingue sans traduction automatique. Ce projet mené avec Pento s'attaque à un problème récurrent du sparse retrieval : comment chercher à travers les traductions quand BM25 ne voit que des correspondances exactes de mots. L'espagnol « bajo » peut signifier bas, basse (musicale), court ou sous, mais pour un algorithme classique, ce n'est qu'un token parmi d'autres dans une posting list distincte.

La solution traditionnelle consiste à traduire les requêtes ou les documents, mais cela ajoute un modèle — et une dépendance — dans le chemin critique. Les encodeurs multilingues denses fonctionnent, mais ne garantissent pas une recherche par mot-clé exact. miniCOIL EN-ES a choisi une troisième voie : un vecteur creux qui raisonne non pas en mots, mais en concepts.

Un vocabulaire de concepts

La base du système repose sur 2 398 concepts — des clusters de traductions comme {cat, gato} ou {bat, murciélago, bate}. Chaque concept occupe 8 dimensions dans le vecteur creux.

Le vocabulaire a été construit à partir d'un graphe : départ avec 112 000 paires bilingues issues des MUSE dictionaries (anglais-espagnol), où chaque paire forme une arête entre deux mots. L'algorithme de Louvain a ensuite été lancé pour détecter les communautés dans ce graphe. La polysémie — par exemple l'espagnol « bajo » avec ses quatre traductions anglaises — tirait une centaine de mots dans un même cluster. La solution adoptée : limiter aux deux meilleures traductions par mot, avec un maximum de 20 mots par cluster. Résultat : environ 80 000 concepts.

Les équipes ont ensuite parcouru les Wikipédia anglaise et espagnole pour compter la fréquence de chaque concept : il n'en restait plus que 12 000. La sélection finale, basée sur des requêtes réelles de mMARCO dev.small (version traduite de MS MARCO), a retenu 2 398 concepts, qui couvrent 90% de toutes les correspondances du vocabulaire complet de 12 000 concepts.

Architecture : multilingual-e5-small et quintuplet loss

Le backbone du modèle est multilingual-e5-small (sorties à 384 dimensions, 118M paramètres). Testé sur des paires parallèles EN/ES, il atteint 100% de recall avec une similarité cosinus de 0,91 à 0,93. Chaque concept dispose d'une tête entraînable unique : une projection de 384 vers 8 dimensions.

L'innovation réside dans l'entraînement. miniCOIL v1 utilisait des triplets (ancre, exemple positif avec le même mot dans le même sens, exemple négatif avec un sens différent). Dans un contexte bilingue, la majorité des triplets reste monolingue, et le modèle « triche » en séparant les langues dans des régions distinctes du vecteur. miniCOIL EN-ES s'entraîne au contraire sur des quintuplets — cinq exemples couvrant quatre quadrants : correspondance dans une langue, correspondance dans l'autre, non-correspondance dans une langue, non-correspondance dans l'autre. La quintuplet loss force explicitement un concept à rester unifié, indépendamment de la langue. Les mots hors vocabulaire retombent sur un BM25 classique et fiable.

Les auteurs prévoient d'élargir le vocabulaire et l'entraînement ; l'approche se transpose facilement à d'autres langues.