Garry Tan supprime le skill /investigate : 50,0% contre 47,2% de réussite, un correctif 43% plus cher
Un skill est une instruction fournie à Claude Code, par exemple une procédure pas à pas pour diagnostiquer un bug. Garry Tan a supprimé de gstack le skill /investigate. Sur 18 bugs, à raison de 20 tentatives chacun, le skill a permis de corriger 50,0% des cas, contre 47,2% sans lui. L'écart de 2,8 points, pour un seuil fixé à 10, relève du bruit statistique. Et chaque correctif réussi avec le skill coûtait 43% de plus. Après la sortie d'un nouveau modèle, testez vos propres skills de la même manière.
Traité par IA depuis TG: @sergiobulaev (Сергей Булаев AI) ; édité par Hamidun News
Un skill pour agent de code est une instruction toute prête que vous connectez à Claude Code pour qu'il suive votre méthode. Par exemple : « en corrigeant un bug, trouve d'abord la cause, puis écris le correctif ». Le problème : les modèles progressent, et une instruction utile hier peut aujourd'hui se contenter de gonfler la requête et de coûter de l'argent.
Garry Tan l'a vérifié sur son propre dépôt gstack et en a supprimé le skill /investigate : avec le skill, le modèle corrigeait 50,0% des bugs, sans lui 47,2%, et chaque correctif réussi avec le skill revenait 43% plus cher. Si vous maintenez dans votre projet un ensemble de prompts, de règles ou de skills pour un agent, cette méthode de test vous aidera à repérer ceux qu'il est temps de jeter.
Ce qui s'est passé avec /investigate
gstack est un dépôt de skills pour Claude Code : il compte environ 140 000 étoiles et plus de 50 skills. L'un d'eux, /investigate, guidait le modèle pas à pas dans l'analyse d'un bug. Cela aidait auparavant. Désormais, selon l'auteur, Opus 5.5 corrige les bugs aussi bien sans ce scénario. Chaque nouveau modèle en sait plus que le précédent, tandis que les anciens skills commencent à gêner et à coûter de l'argent.
L'équipe ne s'est pas contentée d'une impression du type « le skill est inutile » : elle a mesuré. Avec le skill, le taux de corrections réussies s'élevait à 50,0%, sans lui à 47,2%. L'écart de 2,8 points de pourcentage, pour un seuil fixé à l'avance à 10 points, relève du bruit et non d'un avantage réel. En outre, chaque correctif réussi avec le skill coûtait 43% de plus. Le skill n'est pas meilleur et il coûte plus cher : il a donc été retiré.
Désormais, les bugs sont corrigés directement selon un schéma court : une vérification de la cause, un test en échec avant la modification si la cause n'est pas claire, puis le correctif et une nouvelle exécution.
Une méthode de test applicable à n'importe quel skill
La méthode est simple et peut se transposer à votre projet.
Premièrement : rassemblez des tâches réelles que le modèle résout sans skill dans environ la moitié des cas. Sur des tâches trop faciles, il résout tout de toute façon ; sur des tâches trop difficiles, il ne résout rien. Dans les deux cas, on ne voit aucune différence entre les variantes et le test n'apprend rien.
Deuxièmement : exécutez chaque tâche de nombreuses fois dans deux branches, avec et sans skill. Chez gstack, cela représente 18 bugs à 20 tentatives chacun, soit 360 exécutions par branche. Le modèle ne répond pas de la même façon d'une fois sur l'autre : une seule exécution ne suffit donc pas.
Troisièmement : avant de lancer le test, notez l'écart que vous jugez significatif. Chez gstack, le seuil est de 10 points. C'est une protection contre l'autopersuasion : si l'on décide après avoir vu les chiffres, on peut proclamer victorieuse n'importe quelle différence.
Quatrièmement : calculez deux chiffres à la fois, à savoir la part de passes réussies et le coût de chaque passe réussie. Un skill peut légèrement améliorer le taux de réussite tout en doublant la consommation de tokens. Ou, comme ici, n'apporter aucun gain et ajouter malgré tout 43% au coût. Sans le second chiffre, un tel effet passe facilement inaperçu.
Comment le test a été intégré aux outils
L'équipe a intégré la même approche à gstack lui-même. Le skill /eval-plan prépare à l'avance une telle eval, c'est-à-dire un plan de vérification : un jeu de tâches, un nombre d'exécutions et un seuil. Quant à /write-skill, il exige de n'ajouter à un skill que ce que le modèle ne fait pas seul. Si le modèle s'en sort déjà, inutile d'écrire une instruction.
D'où un cycle de travail simple. Un nouveau modèle sort : vous relancez l'eval. Il y a un écart : le skill reste. Il n'y en a pas : le skill part. Ainsi, l'ensemble d'instructions ne gonfle pas et ne devient pas un poids mort que vous payez à chaque requête.
Ce qu'il faut garder à l'esprit
Le résultat concerne 18 bugs précis, un modèle précis et un skill précis. Sur une autre stack, dans un autre langage ou sur des tâches plus complexes, le skill peut se révéler utile. Les conclusions s'appuient sur le post de l'auteur et sur la description de la pull request ; personne n'a reproduit ces chiffres de manière indépendante. Un écart de 2,8 points signifie « dans la marge de bruit », et non la preuve d'une absence totale d'effet.
Conclusion pratique pour les équipes qui construisent des agents : traitez un skill comme une hypothèse, pas comme un actif. Chaque skill doit avoir ses tâches de test, son seuil et la date de sa dernière vérification. Ainsi, après chaque mise à jour du modèle, vous retirez ce qu'il sait déjà faire et économisez des tokens sans perte de qualité.
- 18 nov. 2026Un agent IA ne laisse que 27 minutes de réaction au SOC, contre 53 face à un attaquant junior
- 18 nov. 2026ArisGlobal réduit de 40% sa facture d'IA en mettant en cache le prompt commun plutôt que le PDF
- 18 nov. 2026Après le bannissement, l'auteur fait tourner une équipe d'agents dans Kimi, Codex et OpenCode : un run dès $0,30
- 18 nov. 2026Le plugin TokenEconomizer réduit de 18,4–30,9% le coût des agents IA de code, sans changer de modèle
Questions clés sur cet article
Que sait-on sur Ce qui s'est passé avec /investigate ?
gstack est un dépôt de skills pour Claude Code : il compte environ 140 000 étoiles et plus de 50 skills. L'un d'eux, /investigate, guidait le modèle pas à pas dans l'analyse d'un bug. Cela aidait auparavant. Désormais, selon l'auteur, Opus 5.5 corrige les bugs aussi bien sans ce scénario. Chaque nouveau modèle en sait plus que le précédent, tandis que les anciens skills commencent à gêner et à coûter de l'argent. L'équipe ne s'est pas contentée d'une impression du type « le skill est inutile » : elle a mesuré.
Que sait-on sur Une méthode de test applicable à n'importe quel skill ?
La méthode est simple et peut se transposer à votre projet. Premièrement : rassemblez des tâches réelles que le modèle résout sans skill dans environ la moitié des cas. Sur des tâches trop faciles, il résout tout de toute façon ; sur des tâches trop difficiles, il ne résout rien. Dans les deux cas, on ne voit aucune différence entre les variantes et le test n'apprend rien. Deuxièmement : exécutez chaque tâche de nombreuses fois dans deux branches, avec et sans skill.
Comment le test a été intégré aux outils?
L'équipe a intégré la même approche à gstack lui-même. Le skill /eval-plan prépare à l'avance une telle eval, c'est-à-dire un plan de vérification : un jeu de tâches, un nombre d'exécutions et un seuil. Quant à /write-skill, il exige de n'ajouter à un skill que ce que le modèle ne fait pas seul. Si le modèle s'en sort déjà, inutile d'écrire une instruction. D'où un cycle de travail simple. Un nouveau modèle sort : vous relancez l'eval. Il y a un écart : le skill reste. Il n'y en a pas : le skill part.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.