Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Les règles de l'équipe ont changé le plan de l'agent de code de 5 points sur 5, les audits répétés de 1

Trop de contexte dilue l'attention d'un agent de code. L'auteur a construit avec lui un service en Rust. Il a fourni les données par lots et, après chacun, évalué l'évolution du plan : 1 pour aucun changement, 5 pour de nouvelles sections et des embranchements à trancher par un humain. Les règles de l'équipe et ses dépôts ont obtenu 5 sur 5 : l'agent a découvert le framework interne redup-servicekit et changé de stack. Les audits répétés, eux, n'ont obtenu que 1.

Traité par IA depuis Habr AI ; édité par Hamidun News
Les règles de l'équipe ont changé le plan de l'agent de code de 5 points sur 5, les audits répétés de 1
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #12 étapes sur 24 ont obtenu le maximum de 5 points : les règles de l'équipe et les exemples de dépôts
5 étapes sur 24 ont obtenu 1 pointdes précisions et trois audits de contrôle sans nouvelles corrections
Un audit précoce a trouvé un bugle mode sync ajoutait un /search superflu à l'adresse et recevait une erreur 404

Quand on confie une tâche à un agent de code, la tentation est grande de tout joindre « au cas où » : cahier des charges, documentation de l'API, règles de l'équipe, exemples de code. Mais la fenêtre de contexte est finie, et le texte superflu dilue l'attention du modèle. L'auteur d'un article publié sur Habr a cherché à savoir quel contexte aide vraiment.

Sa méthode : après chaque lot de données, l'agent révisait son plan d'implémentation et évaluait de 1 à 5 à quel point ce plan avait changé. Un 1 signifie « le plan n'a pas besoin de changer ». Un 5 signifie que le plan comporte de nouvelles sections et des embranchements entre lesquels l'agent ne peut pas choisir : un humain est nécessaire.

Par exemple, les règles de l'équipe ont obtenu 5 sur 5, tandis que les audits de code répétés ont obtenu 1. La leçon pratique : il faut mettre dans le contexte ce que l'agent ne peut pas déduire seul. Les répétitions et les confirmations ne font que consommer des tokens.

Comment l'utilité du contexte a été mesurée

La tâche était réelle : écrire en Rust un service de recherche textuelle au-dessus de Yandex Search API. Le contexte a été fourni à l'agent par lots, et non en un seul bloc. L'auteur a évalué non pas le code final mais le plan : il réagit aux nouvelles données plus vite que le code et montre bien ce que l'agent a réellement pris en compte.

Quatre fichiers se trouvaient dans le dossier du projet : readme.md avec la description du projet, plan.md avec le plan lui-même, logqa.md avec l'historique brut des questions et réponses, et influence.md avec les notes de chaque lot. Le premier journal répond à la question « que s'est-il passé », le second à la question « à quel point était-ce significatif ».

L'échelle se présentait ainsi :

  • 1 — le plan n'a pas besoin de changer ;
  • 2 — corrections cosmétiques et renommages ;
  • 3 — modifications mineures sans nouvelles sections ;
  • 4 — modifications importantes et nouvelles sections ;
  • 5 — nouvelles sections et chemins alternatifs entre lesquels l'agent ne peut pas choisir.

Ici, un 5 signifie qu'on ne peut pas se passer d'un humain : il faut des accords d'équipe, des politiques de sécurité ou des contraintes externes.

Ce qui a bouleversé le plan, et ce qui n'a rien changé

Sur 24 étapes, deux ont obtenu le maximum. La première : les règles de développement de l'entreprise. Après leur lecture, le plan s'est enrichi de sections sur l'observabilité, le déploiement, le modèle de dépôts et les tests. Des questions auxquelles l'agent ne pouvait pas répondre ont aussi surgi : REST/JSON ou gRPC/proto, comment nommer les dépôts, faut-il helm et k8s d'emblée, comment acheminer les logs vers OpenSearch. Ce sont des accords d'équipe, pas des questions techniques.

La seconde : un ensemble de dépôts réels de l'entreprise. L'agent a constaté que l'équipe disposait déjà d'un framework interne, redup-servicekit, avec une observabilité toute prête. Il a abandonné la stack assemblée à la main, composée de metrics, prometheus et tower-http. La configuration (YAML au lieu de toml), le mode d'intégration de proto (sous-module Git) et le schéma de déploiement ont changé. Rien de tout cela ne pouvait se deviner à partir d'un cahier des charges abstrait : ce savoir vivait dans la tête des membres de l'équipe et dans ses dépôts.

La documentation de l'API externe a obtenu 4 points : il s'est avéré qu'il fallait Yandex Search API v2 et non l'ancien « Yandex.XML ». Une requête réelle contre cette API n'a ensuite obtenu que 3 : elle a précisé des détails, sans changer la direction.

Cinq étapes ont obtenu 1 point : une question sur la déclaration d'une dépendance, une demande de lister les décisions restantes et trois audits de code de contrôle consécutifs. Une fois toutes les remarques de gravité moyenne corrigées, on a encore demandé plusieurs fois à l'agent d'« analyser et corriger ». Sa réponse : rien de nouveau, pas de régressions, le code n'a pas changé.

Cela dit, les audits des premiers cycles ont été rentables. L'un d'eux a trouvé un bug critique : le mode sync ajoutait /search à une adresse déjà complète et recevait une erreur 404. La valeur d'un audit diminuait à mesure que les problèmes détectés étaient corrigés.

Enseignements pratiques

L'auteur tire de cette échelle plusieurs règles.

  • Placez le cahier des charges dans le projet sous forme de fichier. L'agent peut le relire à tout moment, alors qu'un résumé dans le chat déforme le sens et consomme la fenêtre de contexte.
  • Fournissez les règles de l'équipe et les dépôts réels dès le début. Ce sont eux qui valent des 5. Si vous les fournissez plus tard, il faudra réécrire le plan de zéro, ce qui coûte des tokens et du temps.
  • Donnez la documentation des systèmes externes comme source de faits. Tenez en parallèle une liste des questions ouvertes et marquez celles qui bloquent.
  • Confiez à un humain les embranchements notés 5. Si l'agent se heurte à une politique de sécurité ou à un accord d'équipe, il doit poser la question plutôt que deviner.
  • Consignez immédiatement les décisions closes dans le plan. L'agent ne reviendra alors pas sur la question.
  • Ne relancez pas de vérifications sans nouvelles données. Chaque passage coûte des tokens et des minutes, pour un rendement proche de zéro.

L'auteur l'explique ainsi : une note élevée signifie qu'un espace de choix, qui n'existait pas auparavant, s'est ouvert devant l'humain. Une note basse signifie que tout est déjà défini. L'utilité d'une même information diminue à mesure que le plan prend forme : les premiers lots lourds apportent le plus, puis le rendement décroît.

Limites

L'expérience est unique : une tâche, un agent, un auteur. Les notes ont été attribuées par l'agent lui-même selon l'échelle fixée. Il ne s'agit donc ni d'une évaluation indépendante ni d'un benchmark. Les résultats ne se transposent sans doute pas tels quels à d'autres stacks et à d'autres équipes. Mais la méthode peut se reproduire chez soi à peu de frais : il suffit de tenir un journal et un fichier de notes, puis de regarder quelles parties de votre contexte fonctionnent réellement. On verra aussi où vous payez du bruit en tokens.

Dossier

Questions clés sur cet article

Comment l'utilité du contexte a été mesurée?

La tâche était réelle : écrire en Rust un service de recherche textuelle au-dessus de Yandex Search API. Le contexte a été fourni à l'agent par lots, et non en un seul bloc. L'auteur a évalué non pas le code final mais le plan : il réagit aux nouvelles données plus vite que le code et montre bien ce que l'agent a réellement pris en compte.

Que sait-on sur Ce qui a bouleversé le plan, et ce qui n'a rien changé ?

Sur 24 étapes, deux ont obtenu le maximum. La première : les règles de développement de l'entreprise. Après leur lecture, le plan s'est enrichi de sections sur l'observabilité, le déploiement, le modèle de dépôts et les tests. Des questions auxquelles l'agent ne pouvait pas répondre ont aussi surgi : REST/JSON ou gRPC/proto, comment nommer les dépôts, faut-il helm et k8s d'emblée, comment acheminer les logs vers OpenSearch. Ce sont des accords d'équipe, pas des questions techniques.

Que sait-on sur Enseignements pratiques ?

L'auteur tire de cette échelle plusieurs règles. Placez le cahier des charges dans le projet sous forme de fichier. L'agent peut le relire à tout moment, alors qu'un résumé dans le chat déforme le sens et consomme la fenêtre de contexte. Fournissez les règles de l'équipe et les dépôts réels dès le début. Ce sont eux qui valent des 5. Si vous les fournissez plus tard, il faudra réécrire le plan de zéro, ce qui coûte des tokens et du temps. Donnez la documentation des systèmes externes comme source de faits.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…