Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)

Garry Tan supprime le skill /investigate : 50,0% contre 47,2% de réussite, un correctif 43% plus cher

Un skill est une instruction fournie à Claude Code, par exemple une procédure pas à pas pour diagnostiquer un bug. Garry Tan a supprimé de gstack le skill /investigate. Sur 18 bugs, à raison de 20 tentatives chacun, le skill a permis de corriger 50,0% des cas, contre 47,2% sans lui. L'écart de 2,8 points, pour un seuil fixé à 10, relève du bruit statistique. Et chaque correctif réussi avec le skill coûtait 43% de plus. Après la sortie d'un nouveau modèle, testez vos propres skills de la même manière.

Traité par IA depuis TG: @sergiobulaev (Сергей Булаев AI) ; édité par Hamidun News
Garry Tan supprime le skill /investigate : 50,0% contre 47,2% de réussite, un correctif 43% plus cher
Source : TG: @sergiobulaev (Сергей Булаев AI). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTG: @sergiobulaev (Сергей Булаев AI) ↗
Rédacteur en chef
Chiffre clé #1Le seuil de 10 points a été consigné avant le lancement, pour ne pas ajuster la conclusion après coup
360 exécutions par branche au total18 bugs × 20 tentatives
Chiffre clé #3/write-skill n'admet dans un skill que ce que le modèle ne sait pas faire seul

Un skill pour agent de code est une instruction toute prête que vous connectez à Claude Code pour qu'il suive votre méthode. Par exemple : « en corrigeant un bug, trouve d'abord la cause, puis écris le correctif ». Le problème : les modèles progressent, et une instruction utile hier peut aujourd'hui se contenter de gonfler la requête et de coûter de l'argent.

Garry Tan l'a vérifié sur son propre dépôt gstack et en a supprimé le skill /investigate : avec le skill, le modèle corrigeait 50,0% des bugs, sans lui 47,2%, et chaque correctif réussi avec le skill revenait 43% plus cher. Si vous maintenez dans votre projet un ensemble de prompts, de règles ou de skills pour un agent, cette méthode de test vous aidera à repérer ceux qu'il est temps de jeter.

Ce qui s'est passé avec /investigate

gstack est un dépôt de skills pour Claude Code : il compte environ 140 000 étoiles et plus de 50 skills. L'un d'eux, /investigate, guidait le modèle pas à pas dans l'analyse d'un bug. Cela aidait auparavant. Désormais, selon l'auteur, Opus 5.5 corrige les bugs aussi bien sans ce scénario. Chaque nouveau modèle en sait plus que le précédent, tandis que les anciens skills commencent à gêner et à coûter de l'argent.

L'équipe ne s'est pas contentée d'une impression du type « le skill est inutile » : elle a mesuré. Avec le skill, le taux de corrections réussies s'élevait à 50,0%, sans lui à 47,2%. L'écart de 2,8 points de pourcentage, pour un seuil fixé à l'avance à 10 points, relève du bruit et non d'un avantage réel. En outre, chaque correctif réussi avec le skill coûtait 43% de plus. Le skill n'est pas meilleur et il coûte plus cher : il a donc été retiré.

Désormais, les bugs sont corrigés directement selon un schéma court : une vérification de la cause, un test en échec avant la modification si la cause n'est pas claire, puis le correctif et une nouvelle exécution.

Une méthode de test applicable à n'importe quel skill

La méthode est simple et peut se transposer à votre projet.

Premièrement : rassemblez des tâches réelles que le modèle résout sans skill dans environ la moitié des cas. Sur des tâches trop faciles, il résout tout de toute façon ; sur des tâches trop difficiles, il ne résout rien. Dans les deux cas, on ne voit aucune différence entre les variantes et le test n'apprend rien.

Deuxièmement : exécutez chaque tâche de nombreuses fois dans deux branches, avec et sans skill. Chez gstack, cela représente 18 bugs à 20 tentatives chacun, soit 360 exécutions par branche. Le modèle ne répond pas de la même façon d'une fois sur l'autre : une seule exécution ne suffit donc pas.

Troisièmement : avant de lancer le test, notez l'écart que vous jugez significatif. Chez gstack, le seuil est de 10 points. C'est une protection contre l'autopersuasion : si l'on décide après avoir vu les chiffres, on peut proclamer victorieuse n'importe quelle différence.

Quatrièmement : calculez deux chiffres à la fois, à savoir la part de passes réussies et le coût de chaque passe réussie. Un skill peut légèrement améliorer le taux de réussite tout en doublant la consommation de tokens. Ou, comme ici, n'apporter aucun gain et ajouter malgré tout 43% au coût. Sans le second chiffre, un tel effet passe facilement inaperçu.

Comment le test a été intégré aux outils

L'équipe a intégré la même approche à gstack lui-même. Le skill /eval-plan prépare à l'avance une telle eval, c'est-à-dire un plan de vérification : un jeu de tâches, un nombre d'exécutions et un seuil. Quant à /write-skill, il exige de n'ajouter à un skill que ce que le modèle ne fait pas seul. Si le modèle s'en sort déjà, inutile d'écrire une instruction.

D'où un cycle de travail simple. Un nouveau modèle sort : vous relancez l'eval. Il y a un écart : le skill reste. Il n'y en a pas : le skill part. Ainsi, l'ensemble d'instructions ne gonfle pas et ne devient pas un poids mort que vous payez à chaque requête.

Ce qu'il faut garder à l'esprit

Le résultat concerne 18 bugs précis, un modèle précis et un skill précis. Sur une autre stack, dans un autre langage ou sur des tâches plus complexes, le skill peut se révéler utile. Les conclusions s'appuient sur le post de l'auteur et sur la description de la pull request ; personne n'a reproduit ces chiffres de manière indépendante. Un écart de 2,8 points signifie « dans la marge de bruit », et non la preuve d'une absence totale d'effet.

Conclusion pratique pour les équipes qui construisent des agents : traitez un skill comme une hypothèse, pas comme un actif. Chaque skill doit avoir ses tâches de test, son seuil et la date de sa dernière vérification. Ainsi, après chaque mise à jour du modèle, vous retirez ce qu'il sait déjà faire et économisez des tokens sans perte de qualité.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui s'est passé avec /investigate ?

gstack est un dépôt de skills pour Claude Code : il compte environ 140 000 étoiles et plus de 50 skills. L'un d'eux, /investigate, guidait le modèle pas à pas dans l'analyse d'un bug. Cela aidait auparavant. Désormais, selon l'auteur, Opus 5.5 corrige les bugs aussi bien sans ce scénario. Chaque nouveau modèle en sait plus que le précédent, tandis que les anciens skills commencent à gêner et à coûter de l'argent. L'équipe ne s'est pas contentée d'une impression du type « le skill est inutile » : elle a mesuré.

Que sait-on sur Une méthode de test applicable à n'importe quel skill ?

La méthode est simple et peut se transposer à votre projet. Premièrement : rassemblez des tâches réelles que le modèle résout sans skill dans environ la moitié des cas. Sur des tâches trop faciles, il résout tout de toute façon ; sur des tâches trop difficiles, il ne résout rien. Dans les deux cas, on ne voit aucune différence entre les variantes et le test n'apprend rien. Deuxièmement : exécutez chaque tâche de nombreuses fois dans deux branches, avec et sans skill.

Comment le test a été intégré aux outils?

L'équipe a intégré la même approche à gstack lui-même. Le skill /eval-plan prépare à l'avance une telle eval, c'est-à-dire un plan de vérification : un jeu de tâches, un nombre d'exécutions et un seuil. Quant à /write-skill, il exige de n'ajouter à un skill que ce que le modèle ne fait pas seul. Si le modèle s'en sort déjà, inutile d'écrire une instruction. D'où un cycle de travail simple. Un nouveau modèle sort : vous relancez l'eval. Il y a un écart : le skill reste. Il n'y en a pas : le skill part.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…