Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHacker News AI→ original

Anthropic montre comment elle vérifie le code écrit à 90 % par Claude Code

Quand un agent écrit environ 90 % du code, relire chaque diff à la main devient irréaliste. L'équipe de Claude Code a donc conçu la vérification comme un système à part entière. Son outil principal : les tests de bout en bout, où l'agent lance lui-même l'application et parcourt un scénario utilisateur. Dans un test interne, un agent vérificateur distinct, guidé par une liste de contrôle, a fait progresser le taux de réussite des tâches de 10 points. La conclusion : donnez à l'agent un moyen de prouver son résultat, et vous pouvez faire tourner des dizaines d'instances en parallèle.

Traité par IA depuis Hacker News AI ; édité par Hamidun News
Anthropic montre comment elle vérifie le code écrit à 90 % par Claude Code
Source : Hacker News AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHacker News AI ↗
Rédacteur en chef
Chiffre clé #1L'agent s'arrête et appelle un humain si la vérification échoue trois fois de suite
Chiffre clé #2Les règles de vérification sont lues depuis la branche principale, et non depuis la pull request elle-même
Liste de contrôle de 39 pointspour chaque diff, il s'en déclenche généralement 3 à 10

Quand l'essentiel du code est écrit par des agents, le goulot d'étranglement n'est plus la génération mais la vérification. Dans l'équipe de Claude Code, environ 90 % du code est produit par Claude lui-même, et Anthropic a expliqué comment le contrôle qualité fonctionne à ce volume. Sans vérification fiable, vous ne pouvez piloter qu'un ou deux agents, car tout doit être contrôlé à la main. Avec elle, il devient possible d'en lancer des dizaines, voire des centaines, en parallèle.

Le chiffre issu des tests internes : lors de la génération de fichiers structurés, un agent vérificateur distinct confrontait le travail de Claude à une grille de critères. Cela a fait progresser la part de tâches menées à bien de 10 points par rapport à un cycle classique « prompt — réponse ». Les tâches les plus complexes en ont le plus profité.

Trois types de tests dans lesquels investir

Si l'on ne devait en retenir qu'un, l'équipe recommande les tests de bout en bout (end-to-end). Ils décrivent le parcours réel d'un utilisateur : ajouter un article au panier, valider la commande, voir la page de confirmation. Un tel test est difficile à contourner : la fonctionnalité marche dans son ensemble ou ne marche pas. Un test unitaire renverra « Timeout after 30 seconds », alors qu'un test de bout en bout peut fournir une capture d'écran décrivant ce qui a cassé. Les tests unitaires sont plus rapides et plus stables, mais on peut les réussir tout en cassant une fonction, parce que ni l'agent ni le test ne voient la tâche dans son ensemble.

Le deuxième type est celui des tests de propriétés. Vous formulez une assertion qui ne doit jamais être violée, et une bibliothèque génère des milliers d'entrées pour tenter de la réfuter. Exemples : encoder puis décoder une donnée restitue la valeur initiale ; le solde d'un compte ne passe jamais en négatif ; une migration rejouée donne le même résultat que la première ; un code optimisé coïncide avec une version simple mais manifestement correcte. Ces tests détectent des cas limites que l'agent n'aurait pas imaginés, car ils ne sont pas construits avec le même biais que le code source.

Le troisième type est celui des tests différentiels. L'ancienne et la nouvelle version du système sont exécutées sur les mêmes entrées, puis leurs résultats sont comparés. Toute divergence est soit un bug, soit une modification qu'il faut approuver explicitement. La méthode est pratique lors d'une réécriture, lorsque le comportement doit rester identique. Mieux vaut prendre des entrées aléatoires ou issues d'un échantillon de trafic réel, normaliser les écarts insignifiants comme les espaces, et tenir à jour une liste des écarts admis.

Mise en garde supplémentaire : les tests instables apprennent à l'agent à relancer la vérification plutôt qu'à corriger le code. Les tests lents incitent à les exécuter moins souvent et compliquent la recherche de la cause.

Le fonctionnement interne de l'équipe

La vérification consiste à exécuter la modification. Pour cela, l'équipe crée dans le dépôt une compétence (skill) verify, placée dans le dossier .claude/skills/, au plus près du code concerné. Elle décrit comment démarrer l'application ou le simulateur ; Claude s'en sert avant chaque commit. Pour le web, une extension Chrome est branchée ; pour le mobile, un serveur MCP iOS ou Android ; pour le bureau, computer use ; pour le backend, un lancement local du service.

Un humain est sollicité sur signal d'échec : si la vérification ne passe pas après trois cycles de corrections, Claude s'arrête et confie la tâche aux personnes. Les vérifications sont écrites par les responsables du code, et lorsqu'un relecteur est appelé, la vérification explique la cause pour qu'il n'ait pas à se plonger dans le diff.

Une liste de contrôle de fiabilité comporte 39 points. Chacun dispose d'un déclencheur lisible dans le diff, d'une vérification et de liens vers les incidents concernés. Claude examine le diff et n'applique que les points pertinents, généralement 3 à 10.

La règle de protection principale : une modification ne doit pas altérer la vérification qui la juge. Code Review lit REVIEW.md depuis la branche de base, et non depuis la pull request. Le résultat d'une relecture n'est valable que pour un commit donné.

Le nouveau « portail » de commits est déployé par étapes, en mode off, observe puis enforce. En observe, il se contente de journaliser ce qu'il aurait bloqué, afin d'analyser les faux positifs. En enforce, il bloque tout commit sans /code-review ou /verify, mais après deux blocages dans une même session, il laisse passer le suivant pour que l'agent ne reste pas bloqué. Chaque commit porte la mention de la méthode de vérification utilisée, y compris « none ».

Vérifier les vérificateurs

L'équipe suit le nombre de modifications intégrées puis annulées, ainsi que celles rejetées par le mainteneur, et les compare à un échantillon propre de même taille. Pour évaluer un relecteur, elle constitue un jeu de données à partir d'incidents passés : le dépôt est restauré à l'état du moment de la relecture, et le relecteur doit décrire en une phrase le bug en cause. Des points ne sont attribués que pour une description exacte.

L'échantillon de réglage est séparé de l'échantillon de test, et le taux de couverture est mesuré séparément pour les découvertes brutes, après filtrage et au final, afin de vérifier qu'aucun bug déjà repéré ne se perd en route. Les constats sont classés Important, Nit ou Pre-existing.

Les nouvelles règles naissent de deux sources : les commentaires de revue et les annulations qui reviennent (minimum deux PR, trois agents tentent de les réfuter, un humain valide) et la réexécution de trois chasseurs de bugs sur une PR liée à un incident connu. Claude n'a pas le droit de contourner un test instable, de lui ajouter des pauses ou de le relancer jusqu'à ce qu'il passe : faute de cause identifiée, le test est supprimé avec une note expliquant pourquoi.

Ce qu'il faut en retenir

Il s'agit de la description d'une pratique propre à une équipe, et non d'une étude indépendante : le gain de +10 points provient de tests internes. Mais l'ensemble des procédés est transposable : rendez la vérification rapide et stable, protégez-la des modifications par un changement vérifiable, évaluez-la sur de vrais bugs et nettoyez régulièrement ses règles. Votre travail se déplace alors de la lecture de chaque diff vers la définition de ce que signifie « terminé » et vers la vérification des preuves.

Dossier

Questions clés sur cet article

Que sait-on sur Trois types de tests dans lesquels investir ?

Si l'on ne devait en retenir qu'un, l'équipe recommande les tests de bout en bout (end-to-end). Ils décrivent le parcours réel d'un utilisateur : ajouter un article au panier, valider la commande, voir la page de confirmation. Un tel test est difficile à contourner : la fonctionnalité marche dans son ensemble ou ne marche pas. Un test unitaire renverra « Timeout after 30 seconds », alors qu'un test de bout en bout peut fournir une capture d'écran décrivant ce qui a cassé.

Que sait-on sur Le fonctionnement interne de l'équipe ?

La vérification consiste à exécuter la modification. Pour cela, l'équipe crée dans le dépôt une compétence (skill) verify, placée dans le dossier .claude/skills/, au plus près du code concerné. Elle décrit comment démarrer l'application ou le simulateur ; Claude s'en sert avant chaque commit. Pour le web, une extension Chrome est branchée ; pour le mobile, un serveur MCP iOS ou Android ; pour le bureau, computer use ; pour le backend, un lancement local du service.

Que sait-on sur Vérifier les vérificateurs ?

L'équipe suit le nombre de modifications intégrées puis annulées, ainsi que celles rejetées par le mainteneur, et les compare à un échantillon propre de même taille. Pour évaluer un relecteur, elle constitue un jeu de données à partir d'incidents passés : le dépôt est restauré à l'état du moment de la relecture, et le relecteur doit décrire en une phrase le bug en cause. Des points ne sont attribués que pour une description exacte.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…