Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarMicrosoft Research→ original

Le plugin TokenEconomizer réduit de 18,4–30,9% le coût des agents IA de code, sans changer de modèle

Un agent de code peut travailler des semaines dans le même dépôt, mais il démarre chaque session de zéro : il cherche à nouveau comment lancer les tests et traîne des outils inutiles. Le plugin TokenEconomizer lit les logs des sessions précédentes et souffle à l'agent ce qu'il a appris. Sur 277 corrections de bugs issues de SWE-Bench, le coût par tâche a baissé de 18,4–30,9%. Pour les équipes qui travaillent dans des dépôts permanents, c'est une économie sans changer d'agent.

Traité par IA depuis Microsoft Research ; édité par Hamidun News
Le plugin TokenEconomizer réduit de 18,4–30,9% le coût des agents IA de code, sans changer de modèle
Source : Microsoft Research. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMicrosoft Research ↗
Rédacteur en chef
Chiffre clé #1Sur 23 descriptions d'outils envoyées à chaque tour, l'agent n'en appelait pas 16
Chiffre clé #2Les 17% de tâches échouées ont absorbé 32% des dépenses : le plugin détecte les boucles
Chiffre clé #3À partir de la sixième tâche, les coûts cumulés sont plus bas qu'sans plugin dans chaque dépôt

Si vous faites tourner Claude Code ou un autre agent de code sur un même dépôt, vous l'avez sans doute remarqué : chaque nouvelle session commence comme si l'agent découvrait le projet pour la première fois. Il se demande de nouveau comment lancer les tests, relit les mêmes fichiers et retombe dans les mêmes pièges. Chacun de ces tours se paie en tokens, donc en argent.

Des chercheurs de UC Berkeley, Microsoft Research et Microsoft Security ont publié TokenEconomizer, un plugin open source qui analyse les sessions terminées et rappelle à l'agent, dans les suivantes, ce qu'il a appris. Sur 277 corrections de bugs réelles, le coût moyen d'une tâche a baissé de 18,4–30,9%, soit environ un cinquième à un tiers de la facture de tokens. L'agent et son modèle restent les mêmes, et le taux de tâches résolues n'a globalement pas reculé.

Si votre équipe travaille depuis des années dans quelques mêmes dépôts, une partie de la facture sert à payer ce que l'agent savait déjà hier.

Où partent les tokens

Les auteurs ont d'abord cherché à savoir où passait le budget. Ils ont lancé Claude Code sur 60 tâches de SWE-Bench (un jeu de corrections de bugs réels dans des projets Python open source), en enchaînant les tâches de chaque dépôt. Ils ont identifié trois sources de gaspillage.

Première source : l'agent redécouvre ce qu'il sait déjà. Lorsqu'un dépôt comptait au moins cinq tâches terminées, 30% des appels d'outils répétaient une action d'une tâche précédente dans le même dépôt. Avec l'historique d'un autre dépôt, seuls 7% coïncidaient. L'expérience est donc utile localement, pas en général.

Deuxième source : le paiement d'outils inutilisés. À chaque tour, l'agent recevait 23 descriptions d'outils, mais n'en appelait que 7. Les 16 autres gonflaient simplement la requête.

Troisième source : le blocage. Les 17% de tâches échouées ont consommé 32% des dépenses : l'agent tourne autour de la même erreur, et les tokens s'accumulent.

Les auteurs ont aussi testé trois plugins open source populaires d'économie de tokens, chacun reposant sur une stratégie figée. Chacun réduisait les coûts dans certains cas, mais pas dans d'autres. La conclusion : il n'existe pas de recette unique, et l'économie doit s'adapter à chaque dépôt.

Comment ça marche

Après chaque session, TokenEconomizer lit le log et met à jour ses connaissances sur le dépôt. Trois mécanismes entrent ensuite en jeu, tous via des interfaces que l'agent possède déjà.

  • Micro-compétences. De courtes notes d'une ligne, du type « les tests se lancent ainsi dans ce dépôt ». Une note n'entre dans le contexte de départ qu'après que plusieurs sessions ont confirmé la régularité. Si des données contradictoires apparaissent plus tard, la note est retirée.
  • Élagage des outils. Le plugin retire les outils dont l'agent n'aura probablement pas besoin, d'après l'historique du dépôt. Les outils de base (exécution de commandes et édition de fichiers) restent toujours disponibles, et les outils retirés peuvent être rétablis.
  • Intervention en cas de boucle. Un modèle distinct, jouant le rôle de juge, détermine si l'agent est réellement bloqué ou s'il progresse encore. S'il est bloqué, le plugin lui envoie un court conseil pour essayer une autre approche. Si rien ne change après cela, la version open source n'interrompt pas le travail d'elle-même : elle prévient le développeur.

Le plugin n'exige pas de clé API propre et conserve ce qu'il a appris sur la machine du développeur. L'économie annoncée tient déjà compte du coût de ses propres appels au modèle.

Ce que montrent les mesures

Les tests ont porté sur 277 tâches de SWE-Bench issues de six dépôts, avec cinq combinaisons d'agent et de modèle. Dans chaque dépôt, le plugin démarrait sans historique. Le coût moyen d'une tâche a baissé de 18,4–30,9%, et le Pass@1 (la part des tâches résolues dès la première tentative) a augmenté dans quatre combinaisons sur cinq. Parmi les approches sans perte de qualité, le plugin a réalisé la plus grande économie dans les 30 paires « dépôt — combinaison ». À titre de comparaison, une simple réduction de la profondeur de raisonnement du modèle économisait autant ou davantage, mais dégradait nettement le résultat.

L'économie s'accumule progressivement. Les premières tâches peuvent même coûter plus cher pendant que le plugin apprend, mais dès la sixième tâche, les coûts cumulés passent sous la référence dans chaque dépôt. Chacun des trois mécanismes apporte un gain isolément, et leur combinaison donne le meilleur résultat.

L'effet se maintient hors des corrections de bugs. Sur Web-Bench, où le développement web est séquentiel, les coûts ont baissé de 16,0–21,2%. Sur l'audit de sécurité, où chaque tâche se déroule dans un nouveau dépôt et où aucune expérience n'est accumulée, le coût a tout de même diminué de 6,4–19,6%.

Que faire de ces résultats

Le plugin s'installe à côté de l'agent habituel, l'essayer coûte donc peu. Il y a toutefois des réserves. Il s'agit d'un projet de recherche, et les principaux chiffres proviennent de benchmarks de corrections de bugs Python, qui diffèrent des bases de code de production. Le gain ne se voit pas dès la première tâche, mais après l'accumulation d'un historique : pour des expériences ponctuelles, l'intérêt sera limité. Avant de déployer le plugin dans une équipe, mieux vaut mesurer les dépenses sur son propre dépôt, avant et après.

Dossier

Questions clés sur cet article

Que sait-on sur Où partent les tokens ?

Les auteurs ont d'abord cherché à savoir où passait le budget. Ils ont lancé Claude Code sur 60 tâches de SWE-Bench (un jeu de corrections de bugs réels dans des projets Python open source), en enchaînant les tâches de chaque dépôt. Ils ont identifié trois sources de gaspillage. Première source : l'agent redécouvre ce qu'il sait déjà. Lorsqu'un dépôt comptait au moins cinq tâches terminées, 30% des appels d'outils répétaient une action d'une tâche précédente dans le même dépôt.

Comment ça marche?

Après chaque session, TokenEconomizer lit le log et met à jour ses connaissances sur le dépôt. Trois mécanismes entrent ensuite en jeu, tous via des interfaces que l'agent possède déjà. Micro-compétences. De courtes notes d'une ligne, du type « les tests se lancent ainsi dans ce dépôt ». Une note n'entre dans le contexte de départ qu'après que plusieurs sessions ont confirmé la régularité. Si des données contradictoires apparaissent plus tard, la note est retirée. Élagage des outils.

Que sait-on sur Ce que montrent les mesures ?

Les tests ont porté sur 277 tâches de SWE-Bench issues de six dépôts, avec cinq combinaisons d'agent et de modèle. Dans chaque dépôt, le plugin démarrait sans historique. Le coût moyen d'une tâche a baissé de 18,4–30,9%, et le Pass@1 (la part des tâches résolues dès la première tentative) a augmenté dans quatre combinaisons sur cinq. Parmi les approches sans perte de qualité, le plugin a réalisé la plus grande économie dans les 30 paires « dépôt — combinaison ».

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…