Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAPI / Produit · Prêt à l'emploiHabr AI→ original

Une développeuse réduit de 97–98% le contexte d'un agent IA : 100 Ko au lieu de 4 Mo envoyés au modèle

Si l'on donne à un agent IA un projet de 500 fichiers en entier, le prompt gonfle jusqu'à 4 Mo. Le modèle invente alors des méthodes et butte sur la limite de contexte. Sur Habr, une développeuse a écrit en PHP et SQL un filtre qui sélectionne à l'avance 10–20 fichiers d'après les mots de la tâche, en les classant par fréquence des mots (TF-IDF). Le modèle ne reçoit plus qu'environ 100 Ko au lieu de 4 Mo, soit 97–98% de moins. Sur un index déjà construit, la recherche prend 1,5–10 ms. Pour le code, les noms exacts sont plus fiables que les embeddings.

Traité par IA depuis Habr AI ; édité par Hamidun News
Une développeuse réduit de 97–98% le contexte d'un agent IA : 100 Ko au lieu de 4 Mo envoyés au modèle
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1La première indexation de 500 fichiers prend 8–30 secondes, médiane : 28
Zéro appel à une API d'embedding payantetout est calculé sur CPU
Chiffre clé #3Le bonus de chemin et les rôles permettent de retrouver des fichiers où les mots de la tâche n'apparaissent pas encore

Si l'on donne à un agent IA un projet de 500 fichiers en entier, le prompt gonfle jusqu'à plusieurs mégaoctets. Le modèle se met à inventer des classes et des méthodes qui n'existent pas, répond lentement et butte parfois sur la limite de la fenêtre de contexte, et le budget d'API part en fumée. L'autrice de l'analyse publiée sur Habr, une développeuse, a résolu ce problème sans base vectorielle ni service d'embedding payant. Elle a construit un petit module en PHP et SerenaDB qui sélectionne à l'avance, à partir du texte de la tâche, 10–20 fichiers pertinents. Résultat : le contexte est passé d'environ 4 Mo à 100 Ko, soit une réduction de 97–98%.

Comment fonctionne la sélection des fichiers

Le module reçoit la racine du projet et le texte de la tâche, et renvoie une liste de chemins qu'on peut présenter au modèle sans rougir. Il ne génère pas de code et ne fait pas de recherche « sémantique » : il se contente de sélectionner. Tout tourne sur un processeur ordinaire.

Le code est d'abord découpé en mots. Des noms comme ItemService et signing_date sont scindés en éléments : item, service, signing, date. Ce découpage doit avoir lieu avant le passage en minuscules, sinon les frontières de mots en camelCase disparaissent. Les mots réservés du langage (public, return, null) sont écartés. Les mots russes de la tâche passent par un stemmer léger, qui coupe les terminaisons et conserve un radical d'au moins quatre caractères.

Ensuite, une table enregistre le lien « mot → fichier → nombre d'occurrences ». La taille et la date de modification de chaque fichier sont aussi stockées : lors d'un nouveau lancement, seuls les fichiers nouveaux ou modifiés sont réindexés. Les 30 premiers Ko du contenu sont conservés pour de futurs extraits (snippets).

Le classement s'effectue en deux couches. La première est calculée par SQL selon le schéma TF-IDF. Autrement dit, un mot présent dans trois fichiers sur cinq cents pèse lourd, tandis qu'un mot présent presque partout ne signifie presque rien.

Les gros fichiers sont atténués par une division par le logarithme de leur taille, afin qu'ils ne l'emportent pas simplement grâce à leur volume. La seconde couche est calculée par PHP. Elle ajoute un bonus si un mot de la tâche figure dans le chemin du fichier, ainsi qu'un multiplicateur selon le type de fichier : .

php pèse 1,0, les tests 0,6, la documentation .md 0,3. Si SerenaDB n'accepte pas les fonctions LN et GREATEST, un mode de repli se déclenche, avec une simple somme des fréquences.

Les logs indiquent toujours quel mode a été utilisé.

Pourquoi pas de vecteurs ni de BM25

Dans le code, ce qui compte, ce sont des méthodes, des classes et des variables précises, pas une proximité de sens : les correspondances exactes d'identifiants sont donc plus prévisibles. De plus, SerenaDB ne prend en charge ni pgvector ni une véritable recherche plein texte. Autre avantage : le résultat est explicable. Pour chaque fichier, on voit quels mots, avec quelle fréquence, l'ont fait remonter en tête.

BM25, standard populaire du classement, a également été envisagé par l'autrice, qui l'a écarté. La raison principale tient moins à la formule qu'à la nature du problème. BM25 améliore l'ordre parmi les fichiers où les mots de la requête figurent déjà.

Or le fichier recherché ne les contient souvent pas du tout. Par exemple, on demande de « corriger les clés du DTO dans les contrats », alors que ItemDto.php ne contient ni « clés » ni « corriger » : ces éléments restent à y ajouter.

Aucun classement par correspondances ne fera remonter un tel fichier. Ce travail revient aux termes de rôle (le mot « contrat » ajoute à la requête les noms qui lui sont liés) et au bonus de chemin, qui ont apporté l'essentiel du gain. En outre, l'autrice ne dispose pas d'un échantillon annoté pour régler les paramètres de BM25, et les fréquences des mots dans le code source se situent généralement entre 3 et 20, si bien que la saturation de fréquence n'y joue presque aucun rôle.

Chiffres et limites

Sur un backend d'environ 500 fichiers, le contexte destiné au modèle est passé de ≈4 Mo à 84–111 Ko, pour un objectif de 150 Ko maximum. La recherche sur un index « chaud » prend 1,5–10 ms, la première indexation 8–30 secondes (médiane : 28). Il n'y a aucun appel à une API d'embedding. Sur un frontend d'environ 1200 fichiers monté via un bind-mount Docker, la première passe prend jusqu'à 80 secondes. L'autrice ne mesure pas le temps de réponse du LLM lui-même : il dépend davantage de l'API externe que de ce code.

Il y a aussi des limites. La validation est modeste : la présence du fichier cible dans le top 7 n'est confirmée que sur un seul cas, et non sur un jeu annoté de 10–20 tâches. Les règles de rôles et de synonymes sont écrites pour un domaine précis, et un autre projet demandera les siennes. Le bonus de chemin ne fonctionne que si les fichiers portent des noms parlants.

La conclusion pratique est simple. Avant de brancher une base vectorielle à un agent de code, essayez l'option bon marché : une tokenisation avec découpage du camelCase, du TF-IDF dans une base SQL ordinaire et un dictionnaire de synonymes propre à votre domaine. Elle est gratuite, explique chacune de ses décisions et économise des tokens à chaque requête. Les embeddings valent mieux d'être réservés aux tâches qui exigent réellement une recherche sémantique.

Dossier

Questions clés sur cet article

Comment fonctionne la sélection des fichiers?

Le module reçoit la racine du projet et le texte de la tâche, et renvoie une liste de chemins qu'on peut présenter au modèle sans rougir. Il ne génère pas de code et ne fait pas de recherche « sémantique » : il se contente de sélectionner. Tout tourne sur un processeur ordinaire. Le code est d'abord découpé en mots. Des noms comme ItemService et signing_date sont scindés en éléments : item, service, signing, date.

Pourquoi pas de vecteurs ni de BM25?

Dans le code, ce qui compte, ce sont des méthodes, des classes et des variables précises, pas une proximité de sens : les correspondances exactes d'identifiants sont donc plus prévisibles. De plus, SerenaDB ne prend en charge ni pgvector ni une véritable recherche plein texte. Autre avantage : le résultat est explicable. Pour chaque fichier, on voit quels mots, avec quelle fréquence, l'ont fait remonter en tête. BM25, standard populaire du classement, a également été envisagé par l'autrice, qui l'a écarté.

Que sait-on sur Chiffres et limites ?

Sur un backend d'environ 500 fichiers, le contexte destiné au modèle est passé de ≈4 Mo à 84–111 Ko, pour un objectif de 150 Ko maximum. La recherche sur un index « chaud » prend 1,5–10 ms, la première indexation 8–30 secondes (médiane : 28). Il n'y a aucun appel à une API d'embedding. Sur un frontend d'environ 1200 fichiers monté via un bind-mount Docker, la première passe prend jusqu'à 80 secondes. L'autrice ne mesure pas le temps de réponse du LLM lui-même : il dépend davantage de l'API externe que de ce code.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…