Un développeur se passe de Pinecone : recherche dans 72 450 fragments de code en 50 ms
D'ordinaire, pour chercher dans ses propres fichiers, on conseille l'API payante d'OpenAI et la base cloud Pinecone. Un développeur de Samara s'en est passé : il a découpé 18 projets en 72 450 fragments (chunks) et les a rangés dans un seul fichier SQLite de 110 Mo. La recherche sur un processeur ordinaire prend jusqu'à 50 millisecondes, et les embeddings, ces « empreintes » numériques du texte, coûtent 0 rouble. Sa conclusion : le RAG sert de navigateur dans les dépôts des autres, alors que le projet en cours se lit plus simplement en accès direct.
Traité par IA depuis Habr AI ; édité par Hamidun News
Quand les projets s'accumulent, l'agent IA oublie où se trouve chaque chose : le contexte du chat s'effrite et il faut retrouver à la main le bon morceau de code. Le conseil standard sur Internet consiste à prendre LangChain, à brancher l'API payante d'OpenAI et à stocker les vecteurs dans la base cloud Pinecone. L'auteur de l'analyse publiée sur Habr, un ingénieur AI/ML de 22 ans, étudiant en master à l'université de Samara, n'a pas voulu payer à chaque requête.
Il a découpé ses 18 projets en 72 450 chunks (le terme désigne de petits fragments de texte ou de code sur lesquels porte la recherche) et les a rangés dans un seul fichier SQLite, une base de données embarquée classique, sans serveur dédié. Le fichier pèse 110 Mo, et la recherche dans tous les fragments sur un processeur ordinaire prend jusqu'à 50 millisecondes, soit un vingtième de seconde. Pour les embeddings, ces « empreintes » numériques du sens du texte sur lesquelles repose la recherche, l'auteur paie 0 rouble.
Le résultat est une note d'ingénieur honnête sur ce qui casse dans un tel système et sur l'utilité concrète du RAG.
Comment ça fonctionne
L'idée : la génération des réponses est confiée au modèle par abonnement dans l'IDE (Antigravity ou Claude Code), tandis que la mémoire, la recherche et le stockage restent en local. La liaison passe par MCP, le protocole qui connecte des outils aux agents. Le transport utilise de simples flux d'entrée-sortie (stdio) : il n'y a donc ni serveur web ni port ouvert. Le code est écrit en Python 3.12 pur, sans LangChain ni LlamaIndex.
La recherche est hybride. Les vecteurs denses sont calculés avec numpy et retrouvent les textes proches par le sens. L'algorithme Okapi BM25 repère les correspondances exactes de mots. Les deux listes de résultats sont fusionnées par la méthode Reciprocal Rank Fusion, qui combine le rang des documents dans les deux classements.
Les vecteurs sont stockés dans SQLite sous forme de BLOB binaires au format float32. Un chunk représente 128 nombres, soit environ 512 octets. Selon l'auteur, la base n'occupe pas de mémoire vive au repos. 800 tests pytest vérifient qu'elle ne fuit pas et qu'elle encaisse les requêtes concurrentes.
Trois bugs à connaître d'avance
Le premier : l'incohérence de dimensions. Les documents avaient été indexés avec un fournisseur local à 128 nombres par vecteur, alors que le modèle de secours FastEmbed en produisait 384 par défaut. La toute première requête a planté avec l'erreur Embedding dimension mismatch. L'auteur n'a pas réindexé l'ensemble lors du changement de modèle. Il a ajouté un adaptateur : une requête trop longue est tronquée, une requête trop courte est complétée par des zéros. Mais une réserve s'impose : les vecteurs de modèles différents vivent dans des espaces différents. L'adaptateur supprime l'erreur sans garantir la qualité des résultats. Pour un usage sérieux, il est plus sûr de réindexer les données avec un seul modèle.
Le deuxième : les chemins Windows. Une requête LIKE '%Deckor%' sur des chemins avec barres obliques inverses renvoyait zéro ligne. L'auteur l'attribue au fait que, dans certaines configurations, la barre oblique inverse est traitée comme un caractère d'échappement. Le remplacement par INSTR(LOWER(doc_id), LOWER(?)) > 0 a réglé le problème : cette fonction n'utilise pas de séquences d'échappement et, d'après les mesures de l'auteur, s'exécute plus vite.
Le troisième : les « dépôts éléphants ». Le dépôt n8n a ajouté 38 000 chunks de localisations et de tests. À cause de lui, le top 8 de la requête « каркас брус » (« ossature, poutre », en russe) se remplissait de fragments étrangers avant que vienne le tour du bon projet, Deckor.
La solution : passer project_id directement dans la requête SQL. La base ne renvoie alors que les 2 300 chunks du projet voulu en 2 ms, et les autres n'entrent même pas dans le calcul de la similarité cosinus (la mesure de proximité entre deux vecteurs). La règle servira à tous ceux qui montent un RAG sur plusieurs sources : filtrer avant le calcul de similarité, pas après.
À quoi sert vraiment le RAG
L'enseignement le plus pratique concerne le comportement du modèle. L'agent lisait obstinément les fichiers directement via le terminal ou grep et ignorait le RAG tout prêt. L'auteur s'en est d'abord agacé, puis a donné raison au modèle. Si l'on a besoin de la ligne 20 de CLAUDE.md, la lecture directe offre une précision de 100 % en quelques millisecondes. La recherche vectorielle n'y ajoute que du bruit et le risque de recevoir un bout de code tronqué, sans les imports.
L'auteur a donc donné à l'agent un protocole de routage. Le dépôt courant se lit directement via read_file et grep. Pour les projets externes et les archives de plus d'une centaine de fichiers, l'agent passe par rag_search. Cette recherche fait office de radar : elle indique que la logique d'aimantation des nœuds se trouve dans builder.py et custom.py. L'agent ouvre ensuite lui-même ces fichiers et en tire les formules et constantes exactes, comme NODE_PX=11 et AXIS_PX=9. Le duo « RAG en navigateur plus lecture ciblée » fonctionne en une seconde et économise des dizaines de milliers de tokens de contexte.
Ce qu'il faut garder en tête
Il s'agit du projet personnel d'un seul développeur, et tous les chiffres (50 ms, 0 Mo de mémoire au repos, économie de tokens) viennent de l'auteur lui-même. Il n'existe pas de mesures indépendantes. Le parcours exhaustif des vecteurs avec numpy convient à des dizaines de milliers de chunks ; avec des millions, il faudra songer à des index approximatifs. Pour une base de connaissances personnelle, des documents internes d'équipe ou la navigation d'un agent dans d'anciens dépôts, le schéma paraît néanmoins viable et économique. L'auteur a publié les sources sur GitHub, dans le dépôt antigravity-local-core.
- 21 nov. 2026Gemini 4 Neon a compressé le binaire de TS Rust de 47,44 à 7,97 Mo en moins de 10 heures
- 21 nov. 2026Les offres FDE ont été multipliées par 4,6 en un an : ce que fait un ingénieur chez le client
- 21 nov. 2026La capitaine d'une équipe de nageurs a confié trois tâches planifiées à ChatGPT et divisé sa charge de travail par plusieurs
- 21 nov. 2026OpenAI GPT-6 Cyber a trouvé une trentaine de failles dans les iPhone, Mac et autres appareils Apple
Questions clés sur cet article
Comment ça fonctionne?
L'idée : la génération des réponses est confiée au modèle par abonnement dans l'IDE (Antigravity ou Claude Code), tandis que la mémoire, la recherche et le stockage restent en local. La liaison passe par MCP, le protocole qui connecte des outils aux agents. Le transport utilise de simples flux d'entrée-sortie (stdio) : il n'y a donc ni serveur web ni port ouvert. Le code est écrit en Python 3.12 pur, sans LangChain ni LlamaIndex. La recherche est hybride.
Que sait-on sur Trois bugs à connaître d'avance ?
Le premier : l'incohérence de dimensions. Les documents avaient été indexés avec un fournisseur local à 128 nombres par vecteur, alors que le modèle de secours FastEmbed en produisait 384 par défaut. La toute première requête a planté avec l'erreur Embedding dimension mismatch. L'auteur n'a pas réindexé l'ensemble lors du changement de modèle. Il a ajouté un adaptateur : une requête trop longue est tronquée, une requête trop courte est complétée par des zéros.
Que sait-on sur à quoi sert vraiment le RAG ?
L'enseignement le plus pratique concerne le comportement du modèle. L'agent lisait obstinément les fichiers directement via le terminal ou grep et ignorait le RAG tout prêt. L'auteur s'en est d'abord agacé, puis a donné raison au modèle. Si l'on a besoin de la ligne 20 de CLAUDE.md, la lecture directe offre une précision de 100 % en quelques millisecondes. La recherche vectorielle n'y ajoute que du bruit et le risque de recevoir un bout de code tronqué, sans les imports.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.