Des embeddings statiques ont traité 32,9 millions de textes sur un ordinateur portable en 35 minutes

Quiconque a construit une recherche vectorielle sur un grand corpus connaît ce moment. Les données sont collectées, la base vectorielle est prête, puis on découvre que la transformation des textes en embeddings prend des jours. Les modèles de type transformeur saisissent très bien le sens, mais ils sont lourds sur CPU. Il ne reste qu'à attendre ou à payer pour des GPU. L'équipe de Qdrant montre une troisième voie : ne pas lancer de réseau de neurones du tout.

Comment fonctionne un modèle sans réseau de neurones

Le modèle statique est d'une simplicité presque comique. C'est un dictionnaire dans lequel chaque token du vocabulaire du modèle est associé à l'avance à un vecteur. Pour obtenir l'embedding d'un texte, il suffit de trois étapes :

1. Découper le texte en tokens.
2. Récupérer dans la table le vecteur de chaque token.
3. Faire la moyenne de ces vecteurs.

Il n'y a ni couches d'attention ni multiplications matricielles à chaque requête : tout le travail se réduit à des opérations rapides sur la mémoire. C'est pourquoi la vitesse relève d'un autre ordre de grandeur.

Les chiffres de l'expérience. Avec le modèle potion-base-8M, les auteurs ont vectorisé 32,9 millions de fragments de texte sur le CPU d'un ordinateur portable ordinaire en 35 minutes. Un modèle de type transformeur aurait eu besoin d'environ 53 jours. Au final, l'écart est d'environ 2 000 fois. Ce qui exigeait auparavant un cluster ou la location de cartes graphiques peut désormais se faire le temps d'une pause déjeuner.

Où est le piège

Il n'y a pas de repas gratuit, et les auteurs nomment franchement le prix : la qualité de la recherche baisse. La cause tient à la conception même du modèle. Dans un transformeur, chaque token « regarde » ses voisins, et le vecteur d'un mot dépend du contexte. Dans un modèle statique, un mot a un seul vecteur pour tous les usages.

Un exemple simple. Le mot « ключ » (clé) dans les requêtes « ключ от квартиры » (clé d'appartement) et « ключ API » (clé d'API) recevra exactement le même vecteur. Un transformeur distinguerait ces sens grâce à l'environnement, pas une moyenne. Autre souci : la moyenne perd l'ordre des mots. Les phrases « la banque a accordé un crédit au client » et « le client a accordé un crédit à la banque » deviennent presque indiscernables.

L'article ne donne pas de chiffres précis sur la perte de qualité ; ils sont absents du fragment source. On ne peut donc pas se contenter de penser que « ça ira ». Il faut mesurer sur ses propres données et ses propres requêtes.

Que faire en pratique

Les embeddings statiques ne remplacent pas les transformeurs partout, mais ils répondent bien à plusieurs situations typiques :

• Prototypes et expérimentations. Quand il faut vérifier rapidement une idée de recherche sur des millions de documents plutôt que d'attendre une semaine, une vectorisation peu coûteuse fait gagner du temps et de l'argent.
• Corpus gigantesques à budget limité. Si les GPU sont indisponibles ou économiquement injustifiés, on peut obtenir un index fonctionnel sur du matériel ordinaire.
• Recherche en deux étapes. Un modèle statique rapide sélectionne les candidats, tandis qu'un reranker lourd ou un transformeur ordonne la courte liste. La rudesse de la première étape est alors compensée par la seconde.
• Réindexations fréquentes. Si le corpus est mis à jour, la vitesse n'est plus un bonus mais une exigence.

L'algorithme pratique est le suivant. Prenez un échantillon représentatif de requêtes dont les bonnes réponses sont connues. Passez-le dans le modèle statique et dans le modèle de type transformeur, puis comparez les métriques de recherche. Si l'écart est acceptable pour votre produit, le gain en coût et en vitesse sera rentabilisé. Sinon, utilisez les vecteurs statiques comme première étape, pas comme étape finale.

La conclusion principale : un modèle « intelligent » n'est pas toujours nécessaire à chaque étape du pipeline. Une partie du travail peut être confiée à la table la plus simple, en économisant des jours de calcul ; l'essentiel est de mesurer honnêtement ce que vous payez en échange.