Rescale en 5 jours : un agent IA pour les tests en échec, attente de mise en production réduite de 20 %
Chaque matin, l'ingénieur d'astreinte de Rescale analysait les tests automatisés tombés pendant la nuit et décidait à qui confier chaque incident. Tant que les tests restaient rouges, la mise en production était bloquée. Désormais, le premier tri est réalisé par un agent IA reposant sur Claude, assemblé en cinq jours selon la méthodologie AI-DLC. Son verdict concorde avec celui des humains dans 68 % des cas (44 % au lancement), et le temps d'attente de la mise en production lié à l'analyse des échecs a diminué de 20 %. La tâche de tri répétitive peut ainsi être confiée à l'agent, la vérification restant à un humain.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Chaque équipe d'ingénierie connaît ce rituel. La nuit, des tests automatisés échouent ; le matin, l'ingénieur d'astreinte consulte les journaux, identifie la cause et transmet la tâche à l'équipe concernée. Puis tout recommence. Chez Rescale, plateforme de calcul d'ingénierie et de simulation, ces tests bloquent en outre la mise en production hebdomadaire : tant que les échecs ne sont pas analysés, le nouveau code ne part pas en production.
Désormais, c'est un agent IA qui réalise le premier diagnostic. Il a été assemblé en cinq jours, de la définition de la tâche à la mise en service sur l'environnement de préproduction (staging), et est entré en environnement de production quelques semaines plus tard. Les résultats en chiffres : les verdicts de l'agent concordent avec ceux des ingénieurs dans 68 % des cas (44 % au lancement), et le temps pendant lequel la mise en production reste à l'arrêt à cause de l'analyse des échecs a diminué de 20 %.
Ce que fait l'agent
L'agent s'exécute comme une étape du pipeline existant d'intégration et de déploiement continus (CI/CD), sur Argo Workflows dans Amazon EKS. Lorsque la suite nocturne de tests Playwright, forte de plusieurs centaines de cas, signale des échecs, le pipeline lance un pod contenant l'agent. Celui-ci effectue ensuite quatre opérations :
- il envoie chaque échec au modèle Claude Opus 4.8 via Amazon Bedrock et obtient l'une des quatre causes possibles : problème d'infrastructure, bug dans le code, test instable (« flaky »), problème d'environnement ;
- il récupère dans la base de connaissances les échecs similaires survenus par le passé ;
- il interroge les journaux des pods dans CloudWatch via le Model Context Protocol (MCP) afin de corroborer son verdict ;
- il produit un rapport au format JSON et HTML, avec les fichiers et fonctions concernés ainsi que des recommandations de correction.
L'ensemble prend quelques secondes. L'agent ne corrige rien lui-même : c'est un ingénieur qui examine le rapport en premier. Auparavant, il fallait parcourir manuellement le chemin qui va du rapport aux journaux, à l'historique des échecs et au code source. Désormais, c'est l'agent qui réalise cette première passe, et l'humain qui la valide.
Comment il a été conçu : AI-DLC et sessions de groupe
AI-DLC (AI-Driven Development Lifecycle) est une méthodologie ouverte d'AWS. Dans ce cadre, l'IA établit des plans, écrit du code et propose une architecture, mais face aux choix à faire, elle pose des questions au lieu de deviner. Les décisions restent aux mains des humains. Le travail se déroule en sessions collectives : l'équipe formule d'abord les exigences ensemble, puis construit, pendant que l'IA écrit le code.
La demande initiale tenait en une phrase : un système qui classe les échecs et recommande des corrections. L'IA a posé plus de 20 questions de précision. Le résultat est un document d'exigences qui sépare clairement la frontière de la première phase de la seconde, ainsi que quatre blocs de travail : la base de connaissances, l'agent lui-même, l'intégration avec Argo et un jeu d'évaluation de la qualité. Les pull requests automatiques ont été reportées à plus tard.
Au cours du projet, deux revirements d'architecture ont eu lieu. L'agent devait d'abord être hébergé sur Amazon Bedrock AgentCore, mais il a finalement été déployé sur EKS, où vit déjà Argo. Il n'a donc pas fallu maintenir un environnement supplémentaire, et le lancement se fait directement depuis le pipeline. Les journaux ont d'abord été récupérés depuis un service tiers, puis CloudWatch a été adopté. Le fonctionnement via MCP est resté le même ; seule la source a changé. Les exigences et les décisions figurant dans des documents partagés, il a suffi de les mettre à jour sur place.
Le niveau de détail de la conception variait selon la complexité des blocs. La base de connaissances, construite en Terraform, a été prête en quelques heures. L'agent, lui, a bénéficié d'un processus complet : revue d'architecture, contrats d'interface, 12 questions de conception et revue itérative du code. Il est écrit avec le SDK Strands et sait analyser plusieurs échecs en parallèle. Au cinquième jour, l'équipe a livré un framework d'évaluation PyTest disposant de modes réel et simulé, et a montré au CTO comment l'agent identifie correctement à la fois une panne d'infrastructure et un véritable bug, avec une recommandation portant sur un fichier précis.
Résultats et limites
Les chiffres sont modestes et sans fard. La concordance avec la classification humaine est passée de 44 % à 68 %, et l'équipe continue d'améliorer le jeu d'exemples de référence ainsi que les prompts. Environ un verdict sur trois diverge encore de l'avis de l'ingénieur, c'est pourquoi l'humain reste dans la boucle. La réduction de 20 % du temps d'arrêt se voit directement dans la cadence des livraisons : ce sont ces tests qui ouvrent la voie vers la production.
Pour les praticiens, trois enseignements se dégagent. Premièrement, commencer par une tâche répétitive qui coûte cher et dont le critère de réussite est clair, comme le premier tri des échecs. Deuxièmement, construire le jeu d'évaluation dès le premier jour : c'est grâce à lui que Rescale dispose d'une référence de 44 % et voit dans quel sens évolue la qualité. Troisièmement, la valeur d'AI-DLC ne réside pas dans le code lui-même mais dans une spécification validée. Il est plus simple pour un agent d'écrire du code à partir de décisions déjà arrêtées que d'inventer en même temps l'architecture.
Rescale envisage désormais la création d'un centre de compétences interne dédié à AI-DLC et intègre cette méthodologie au développement de ses nouveaux produits de simulation. Elle est notamment appliquée à un catalogue d'applications HPC, au suivi des vulnérabilités dans les conteneurs et aux agents de codage dans le cloud. Précision : il s'agit d'un texte partenaire d'AWS, dont les chiffres n'ont pas fait l'objet d'une vérification indépendante.
- 21 nov. 2026Les offres FDE ont été multipliées par 4,6 en un an : ce que fait un ingénieur chez le client
- 21 nov. 2026Sakana AI crée un laboratoire appliqué pour modéliser les marchés et l'économie
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
Questions clés sur cet article
Que sait-on sur Ce que fait l'agent ?
L'agent s'exécute comme une étape du pipeline existant d'intégration et de déploiement continus (CI/CD), sur Argo Workflows dans Amazon EKS. Lorsque la suite nocturne de tests Playwright, forte de plusieurs centaines de cas, signale des échecs, le pipeline lance un pod contenant l'agent.
Comment il a été conçu : AI-DLC et sessions de groupe?
AI-DLC (AI-Driven Development Lifecycle) est une méthodologie ouverte d'AWS. Dans ce cadre, l'IA établit des plans, écrit du code et propose une architecture, mais face aux choix à faire, elle pose des questions au lieu de deviner. Les décisions restent aux mains des humains. Le travail se déroule en sessions collectives : l'équipe formule d'abord les exigences ensemble, puis construit, pendant que l'IA écrit le code.
Que sait-on sur Résultats et limites ?
Les chiffres sont modestes et sans fard. La concordance avec la classification humaine est passée de 44 % à 68 %, et l'équipe continue d'améliorer le jeu d'exemples de référence ainsi que les prompts. Environ un verdict sur trois diverge encore de l'avis de l'ingénieur, c'est pourquoi l'humain reste dans la boucle. La réduction de 20 % du temps d'arrêt se voit directement dans la cadence des livraisons : ce sont ces tests qui ouvrent la voie vers la production. Pour les praticiens, trois enseignements se dégagent.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.