Une développeuse réduit de 97–98% le contexte d'un agent IA : 100 Ko au lieu de 4 Mo envoyés au modèle
Si l'on donne à un agent IA un projet de 500 fichiers en entier, le prompt gonfle jusqu'à 4 Mo. Le modèle invente alors des méthodes et butte sur la limite de contexte. Sur Habr, une développeuse a écrit en PHP et SQL un filtre qui sélectionne à l'avance 10–20 fichiers d'après les mots de la tâche, en les classant par fréquence des mots (TF-IDF). Le modèle ne reçoit plus qu'environ 100 Ko au lieu de 4 Mo, soit 97–98% de moins. Sur un index déjà construit, la recherche prend 1,5–10 ms. Pour le code, les noms exacts sont plus fiables que les embeddings.
Traité par IA depuis Habr AI ; édité par Hamidun News
Si l'on donne à un agent IA un projet de 500 fichiers en entier, le prompt gonfle jusqu'à plusieurs mégaoctets. Le modèle se met à inventer des classes et des méthodes qui n'existent pas, répond lentement et butte parfois sur la limite de la fenêtre de contexte, et le budget d'API part en fumée. L'autrice de l'analyse publiée sur Habr, une développeuse, a résolu ce problème sans base vectorielle ni service d'embedding payant. Elle a construit un petit module en PHP et SerenaDB qui sélectionne à l'avance, à partir du texte de la tâche, 10–20 fichiers pertinents. Résultat : le contexte est passé d'environ 4 Mo à 100 Ko, soit une réduction de 97–98%.
Comment fonctionne la sélection des fichiers
Le module reçoit la racine du projet et le texte de la tâche, et renvoie une liste de chemins qu'on peut présenter au modèle sans rougir. Il ne génère pas de code et ne fait pas de recherche « sémantique » : il se contente de sélectionner. Tout tourne sur un processeur ordinaire.
Le code est d'abord découpé en mots. Des noms comme ItemService et signing_date sont scindés en éléments : item, service, signing, date. Ce découpage doit avoir lieu avant le passage en minuscules, sinon les frontières de mots en camelCase disparaissent. Les mots réservés du langage (public, return, null) sont écartés. Les mots russes de la tâche passent par un stemmer léger, qui coupe les terminaisons et conserve un radical d'au moins quatre caractères.
Ensuite, une table enregistre le lien « mot → fichier → nombre d'occurrences ». La taille et la date de modification de chaque fichier sont aussi stockées : lors d'un nouveau lancement, seuls les fichiers nouveaux ou modifiés sont réindexés. Les 30 premiers Ko du contenu sont conservés pour de futurs extraits (snippets).
Le classement s'effectue en deux couches. La première est calculée par SQL selon le schéma TF-IDF. Autrement dit, un mot présent dans trois fichiers sur cinq cents pèse lourd, tandis qu'un mot présent presque partout ne signifie presque rien.
Les gros fichiers sont atténués par une division par le logarithme de leur taille, afin qu'ils ne l'emportent pas simplement grâce à leur volume. La seconde couche est calculée par PHP. Elle ajoute un bonus si un mot de la tâche figure dans le chemin du fichier, ainsi qu'un multiplicateur selon le type de fichier : .
php pèse 1,0, les tests 0,6, la documentation .md 0,3. Si SerenaDB n'accepte pas les fonctions LN et GREATEST, un mode de repli se déclenche, avec une simple somme des fréquences.
Les logs indiquent toujours quel mode a été utilisé.
Pourquoi pas de vecteurs ni de BM25
Dans le code, ce qui compte, ce sont des méthodes, des classes et des variables précises, pas une proximité de sens : les correspondances exactes d'identifiants sont donc plus prévisibles. De plus, SerenaDB ne prend en charge ni pgvector ni une véritable recherche plein texte. Autre avantage : le résultat est explicable. Pour chaque fichier, on voit quels mots, avec quelle fréquence, l'ont fait remonter en tête.
BM25, standard populaire du classement, a également été envisagé par l'autrice, qui l'a écarté. La raison principale tient moins à la formule qu'à la nature du problème. BM25 améliore l'ordre parmi les fichiers où les mots de la requête figurent déjà.
Or le fichier recherché ne les contient souvent pas du tout. Par exemple, on demande de « corriger les clés du DTO dans les contrats », alors que ItemDto.php ne contient ni « clés » ni « corriger » : ces éléments restent à y ajouter.
Aucun classement par correspondances ne fera remonter un tel fichier. Ce travail revient aux termes de rôle (le mot « contrat » ajoute à la requête les noms qui lui sont liés) et au bonus de chemin, qui ont apporté l'essentiel du gain. En outre, l'autrice ne dispose pas d'un échantillon annoté pour régler les paramètres de BM25, et les fréquences des mots dans le code source se situent généralement entre 3 et 20, si bien que la saturation de fréquence n'y joue presque aucun rôle.
Chiffres et limites
Sur un backend d'environ 500 fichiers, le contexte destiné au modèle est passé de ≈4 Mo à 84–111 Ko, pour un objectif de 150 Ko maximum. La recherche sur un index « chaud » prend 1,5–10 ms, la première indexation 8–30 secondes (médiane : 28). Il n'y a aucun appel à une API d'embedding. Sur un frontend d'environ 1200 fichiers monté via un bind-mount Docker, la première passe prend jusqu'à 80 secondes. L'autrice ne mesure pas le temps de réponse du LLM lui-même : il dépend davantage de l'API externe que de ce code.
Il y a aussi des limites. La validation est modeste : la présence du fichier cible dans le top 7 n'est confirmée que sur un seul cas, et non sur un jeu annoté de 10–20 tâches. Les règles de rôles et de synonymes sont écrites pour un domaine précis, et un autre projet demandera les siennes. Le bonus de chemin ne fonctionne que si les fichiers portent des noms parlants.
La conclusion pratique est simple. Avant de brancher une base vectorielle à un agent de code, essayez l'option bon marché : une tokenisation avec découpage du camelCase, du TF-IDF dans une base SQL ordinaire et un dictionnaire de synonymes propre à votre domaine. Elle est gratuite, explique chacune de ses décisions et économise des tokens à chaque requête. Les embeddings valent mieux d'être réservés aux tâches qui exigent réellement une recherche sémantique.
- 18 nov. 2026Un agent IA ne laisse que 27 minutes de réaction au SOC, contre 53 face à un attaquant junior
- 18 nov. 2026ArisGlobal réduit de 40% sa facture d'IA en mettant en cache le prompt commun plutôt que le PDF
- 18 nov. 2026Après le bannissement, l'auteur fait tourner une équipe d'agents dans Kimi, Codex et OpenCode : un run dès $0,30
- 18 nov. 2026Le plugin TokenEconomizer réduit de 18,4–30,9% le coût des agents IA de code, sans changer de modèle
Questions clés sur cet article
Comment fonctionne la sélection des fichiers?
Le module reçoit la racine du projet et le texte de la tâche, et renvoie une liste de chemins qu'on peut présenter au modèle sans rougir. Il ne génère pas de code et ne fait pas de recherche « sémantique » : il se contente de sélectionner. Tout tourne sur un processeur ordinaire. Le code est d'abord découpé en mots. Des noms comme ItemService et signing_date sont scindés en éléments : item, service, signing, date.
Pourquoi pas de vecteurs ni de BM25?
Dans le code, ce qui compte, ce sont des méthodes, des classes et des variables précises, pas une proximité de sens : les correspondances exactes d'identifiants sont donc plus prévisibles. De plus, SerenaDB ne prend en charge ni pgvector ni une véritable recherche plein texte. Autre avantage : le résultat est explicable. Pour chaque fichier, on voit quels mots, avec quelle fréquence, l'ont fait remonter en tête. BM25, standard populaire du classement, a également été envisagé par l'autrice, qui l'a écarté.
Que sait-on sur Chiffres et limites ?
Sur un backend d'environ 500 fichiers, le contexte destiné au modèle est passé de ≈4 Mo à 84–111 Ko, pour un objectif de 150 Ko maximum. La recherche sur un index « chaud » prend 1,5–10 ms, la première indexation 8–30 secondes (médiane : 28). Il n'y a aucun appel à une API d'embedding. Sur un frontend d'environ 1200 fichiers monté via un bind-mount Docker, la première passe prend jusqu'à 80 secondes. L'autrice ne mesure pas le temps de réponse du LLM lui-même : il dépend davantage de l'API externe que de ce code.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.