Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Analyse de 99 compactages de Claude Code : 35% des détails utiles à l'agent ne sont pas passés dans le contexte

Quand Claude Code manque de contexte, le modèle résume la conversation, et l'agent poursuit son travail à partir de ce résumé. L'auteur a analysé 99 compactages dans ses propres logs : sur 506 détails (chemins, liens, hashes) auxquels l'agent est revenu, 179 (35%) ne figuraient pas dans le contexte transmis. Sa première estimation, 72% de pertes, était une erreur de script : les décisions survivaient presque toujours. Demandez au résumé de lister les chemins et les liens, et gardez les interdictions dans les règles du projet.

Traité par IA depuis Habr AI ; édité par Hamidun News
Analyse de 99 compactages de Claude Code : 35% des détails utiles à l'agent ne sont pas passés dans le contexte
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Décisions243 sur 265 conservées en totalité, 19 en partie, 3 perdues
Hashes de commits7 perdus sur 66 ; les 14 numéros de merge requests ont été retrouvés
Chemins, liens, numéros de tâches172 introuvables sur 426 (environ 40%)

Quand Claude Code arrive au bout de son contexte, le modèle résume toute la conversation, et l'agent travaille ensuite à partir de ce résumé. C'est ce qu'on appelle le compactage. Imaginez : vous passez une heure à modifier src/config.

rs et vous convenez de « ne pousser qu'après mon accord ». Après le compactage, le résumé doit conserver à la fois le fichier et l'interdiction. Un développeur de Lamantin AI, qui conçoit kaeru (une mémoire pour agents), a vérifié dans ses logs ce qui se perd réellement.

Résultat : sur 506 détails auxquels l'agent est revenu après le compactage, 179 (35%) restaient introuvables dans le contexte qui lui avait été transmis. Mais l'enseignement principal est ailleurs : les premiers chiffres, bien plus alarmants, venaient d'une erreur de calcul. Pour un développeur qui travaille chaque jour avec des agents de code, c'est un guide pratique : que demander au résumé, et que garder hors de la conversation.

Ce que l'agent reçoit après le compactage

D'après les logs de Claude Code, l'agent dispose après le compactage de trois sources : le résumé (objectif, ce qui a été fait, fichiers modifiés, point d'arrêt), quelques derniers messages reproduits mot pour mot, et les fichiers lus récemment, que Claude Code joint ensuite. Si un détail ne figure dans aucune de ces sources, l'agent doit le rechercher à nouveau, le reconstituer à partir d'indices indirects ou le tirer d'une mémoire externe, si elle est branchée.

Les données : 231 sessions Claude Code d'avril au début de novembre, et des sessions Codex en novembre. Après suppression des doublons, il reste 67 compactages dans Claude Code et 32 dans Codex, soit 99 au total. Les doublons (38 au total) apparaissent quand une session reprise copie l'historique avec les anciennes limites de compactage. Sur les 67 compactages de Claude Code, 64 étaient automatiques ; la taille médiane du contexte avant compactage est d'environ 973 mille tokens. Chez Codex, le résumé est chiffré : l'auteur n'a donc vérifié son contenu que sur Claude Code.

Comment 72% de pertes sont devenus 35%

Le premier calcul était rudimentaire : prendre tous les chemins, liens, hashes et numéros présents à la fois avant et après le compactage, puis vérifier s'ils figuraient dans le résumé et les messages conservés. 955 sur 1 330 restaient introuvables, soit 72%. Mais ce tas contenait du bruit : un chemin issu d'une stack trace pouvait apparaître dans la sortie d'une commande avant comme après le compactage, sans que l'agent en ait besoin.

Une partie des « pertes » se trouvait en outre directement dans le résumé. Cas révélateur : après le compactage, l'agent a relu le fichier de configuration par son chemin complet, et le script l'a classé parmi les pertes. Or le résumé contenait la ligne « Edited src/config.

rs: added CommandSpec struct ». L'erreur ne venait pas de l'agent, mais de l'expression régulière, qui ignorait les chemins courts.

L'auteur a alors resserré la question : ne compter que ce qui apparaissait avant le compactage et que l'agent a lui-même écrit après, dans une commande ou une réponse. Il reste 506 détails :

  • 300 (59%) retrouvés dans le résumé ou les messages conservés ;
  • 27 (5%) dans les fichiers joints ;
  • 179 (35%) introuvables dans le contexte transmis.

Selon le type de détail, l'écart est important. Les 14 numéros de merge requests ont tous été retrouvés, 7 hashes de commits sur 66 ont été perdus, et 172 chemins, liens et numéros de tâches sur 426 sont introuvables. L'auteur suppose que le modèle recopie volontiers un numéro court dans son résumé, tandis qu'il remplace un long chemin par des formules du type « modifié la config », mais il n'a pas vérifié cette hypothèse.

Une réserve importante : ces 35% ne signifient pas « l'agent a oublié ». Un détail que l'agent a oublié et qu'il n'a plus jamais mentionné n'entre pas dans ce calcul. C'est la part des éléments auxquels l'agent est revenu mais que le script n'a pas trouvés dans le contexte. Sur les 179 détails, 82 sont apparus pour la première fois après le compactage dans la sortie de Bash, de PowerShell ou de Read, un dans une réponse de kaeru, et les 96 autres ont été écrits par l'agent sans source visible dans le log.

Les décisions et la « violation » qui n'a pas eu lieu

Une comparaison de chaînes ne rend pas compte du sens. Pour 60 compactages, l'auteur a donc relevé les décisions prises dans les derniers échanges (« on ne pousse qu'après mon accord », « on ne touche pas à ce fichier ») : 298 au total. Un modèle de langage les a annotées en deux passes indépendantes, et seules les évaluations concordantes sont entrées dans le résultat. Sur 265 décisions, 243 ont été conservées en totalité, 19 en partie et 3 ont disparu, par exemple « imputer le temps du vendredi ». Que devient un accord conclu une centaine d'appels avant le compactage ? Ces données ne le disent pas.

Sur les 152 décisions dont le respect était observable, quatre ont reçu l'étiquette « violée ». Le cas le plus frappant : après le compactage, l'agent semblait avoir lancé un script sans autorisation. Mais le log contenait un « go » de l'auteur, prononcé avant le compactage mais après une demande d'attendre, et les 30 premiers appels de la nouvelle exécution n'en comportaient pas. Là encore, ce n'est pas l'agent qui a failli, mais la méthode de vérification.

Une découverte annexe : le rappel « consulte la mémoire » dans l'installateur de kaeru se déclenchait au démarrage, à la reprise et au nettoyage d'une session, mais pas après un compactage. Le correctif est déjà dans la branche principale. Pour 14 des 179 détails, kaeru contenait des enregistrements réussis avant le compactage ; pour l'un d'eux (le hash 12ce9e1), l'auteur a confirmé que la note se trouvait en mémoire au moment du compactage. Reste à savoir si elle aurait aidé l'agent : ce point n'a pas été vérifié, et il faudrait une expérience distincte avec des tâches identiques, avec et sans mémoire.

Que faire en pratique

  • Demandez au résumé de lister les chemins, les liens et les commits. Avec un /compact manuel, ajoutez : « liste les chemins de fichiers, les liens et les commits avec lesquels on a travaillé ».
  • Gardez les interdictions strictes hors de la conversation : dans les règles du projet ou dans un hook. Une consigne comme « ne pas pousser sans confirmation » survit au compactage, mais cette méthode est plus fiable.
  • Ajoutez compact au matcher du hook SessionStart (startup|resume|clear|compact), pour que l'agent reçoive après un compactage le rappel de consulter la mémoire.
  • Avant de blâmer l'agent, vérifiez le résumé et l'ordre des échanges avant le compactage.

Limites : il s'agit des logs d'un seul développeur, les modèles et les versions des clients ont changé, les chemins ont été comparés sur leurs deux derniers segments, et les décisions ont été annotées par un modèle. La part des appels répétés après le compactage n'a pas augmenté : chez Claude Code, 5,1% après contre 6,2% avant ; chez Codex, 1,5% contre 4,9%. Cette vérification ne détecte pas la répétition d'un ancien travail avec d'autres arguments. Pour retrouver les compactages dans vos propres logs, cherchez compact_boundary dans les fichiers JSONL de ~/.claude/projects ; dans Codex, il s'agit de l'entrée compacted avec le champ replacement_history.

Dossier

Questions clés sur cet article

Que sait-on sur Ce que l'agent reçoit après le compactage ?

D'après les logs de Claude Code, l'agent dispose après le compactage de trois sources : le résumé (objectif, ce qui a été fait, fichiers modifiés, point d'arrêt), quelques derniers messages reproduits mot pour mot, et les fichiers lus récemment, que Claude Code joint ensuite. Si un détail ne figure dans aucune de ces sources, l'agent doit le rechercher à nouveau, le reconstituer à partir d'indices indirects ou le tirer d'une mémoire externe, si elle est branchée.

Comment 72% de pertes sont devenus 35%?

Le premier calcul était rudimentaire : prendre tous les chemins, liens, hashes et numéros présents à la fois avant et après le compactage, puis vérifier s'ils figuraient dans le résumé et les messages conservés. 955 sur 1 330 restaient introuvables, soit 72%. Mais ce tas contenait du bruit : un chemin issu d'une stack trace pouvait apparaître dans la sortie d'une commande avant comme après le compactage, sans que l'agent en ait besoin. Une partie des « pertes » se trouvait en outre directement dans le résumé.

Que sait-on sur Les décisions et la « violation » qui n'a pas eu lieu ?

Une comparaison de chaînes ne rend pas compte du sens. Pour 60 compactages, l'auteur a donc relevé les décisions prises dans les derniers échanges (« on ne pousse qu'après mon accord », « on ne touche pas à ce fichier ») : 298 au total. Un modèle de langage les a annotées en deux passes indépendantes, et seules les évaluations concordantes sont entrées dans le résultat. Sur 265 décisions, 243 ont été conservées en totalité, 19 en partie et 3 ont disparu, par exemple « imputer le temps du vendredi ».

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…