Cognition lance Devin Oncall : 100 % sur SREGym et un correctif en prod en 2m 21s

Cognition a ouvert l'accès général à Devin Oncall, un agent cloud dédié aux astreintes qui analyse de manière autonome les alertes et les rapports de bugs, diagnostique les pannes en production et tente de les corriger. Selon l'entreprise, il a atteint un taux de réussite de bout en bout de 100 % sur le benchmark SREGym, avec un meilleur temps de résolution de 2 minutes et 21 secondes. En conditions réelles, le système traite déjà des milliers d'alertes quotidiennes pour de grands comptes.

Le benchmark : ce qui a été mesuré

SREGym évalue les agents sur des pannes types au sein de systèmes en production. Chaque test repose sur un incident réel et exige, au cours d'une seule exécution, d'identifier la cause première et d'appliquer une mesure corrective fonctionnelle. D'après les graphiques de Cognition, Devin Oncall atteint 100 % avec GPT-6 Astra et Claude Opus 5.5, 94,1 % avec GPT-6.1 Sol et 85,3 % avec Claude Fable 5.1. À titre de comparaison, Claude Code sur Sonnet 5 a obtenu 45,1 %, Codex sur GPT-5.6 Sol 76,5 % et CloudThinker sur Opus 5 également 76,5 %.

Une nuance importante s'impose néanmoins. Cognition reconnaît elle-même que des modèles de milieu de gamme saturent déjà ce jeu de données plus « propre », alors que la génération précédente plafonnait entre 50 et 60 %. Le benchmark arrive à saturation, et un score de 100 % ne garantit pas des performances identiques sur des systèmes legacy complexes. L'entreprise souligne d'ailleurs explicitement que les agents continuent souvent de s'arrêter à la première explication plausible.

Architecture de l'agent

La philosophie du système applique la fameuse « amère leçon » (The Bitter Lesson) : au lieu d'empiler des prompts ultra-spécialisés, des architectures en graphes et des modèles SRE réentraînés, Cognition mise sur un agent de code performant, doté du bon contexte et des outils adaptés. Les concepteurs, parmi lesquels figurent d'anciens membres de TierZero, expliquent que les anciennes astuces deviennent obsolètes à mesure que les modèles progressent et doivent être éliminées. L'architecture de Devin n'étant pas liée à un modèle unique, il est possible de sélectionner le plus adapté à chaque tâche d'astreinte.

Pour contrer les conclusions hâtives, un second agent intervient en tant que relecteur. Il examine de manière asynchrone le raisonnement et les appels d'outils de l'agent principal afin de détecter les biais classiques : confondre corrélation et causalité, ignorer une télémétrie contradictoire ou assimiler l'élément déclencheur à la cause racine. Dans la logique du système, un déploiement récent constitue une piste, pas une explication.

Le contexte s'articule autour de trois couches :

• Per-Responder Memory : la mémoire propre à chaque intervenant, précisant par exemple qui notifier et comment orienter les investigations suivantes.
• Per-Org Skills : les compétences générées par Devin via l'indexation régulière de l'environnement (par exemple, le calcul du rayon d'impact pour les clients).
• Per-Org Memory : le post-traitement de chaque analyse et un cache à faible précision capitalisant les connaissances de l'organisation.

L'offre se divise en deux produits. Responders surveille le flux d'alertes ou de tickets de bugs. Un agent parent sous-jacent détermine s'il s'agit d'un problème inédit et lance une sous-investigation avec un contexte vierge.

Cette approche permet d'ignorer environ 60 % des investigations (65 alertes sur 100 dans l'exemple fourni) et réduit les coûts à 46 % par rapport à un traitement exhaustif, soit une économie de 54 %. De son côté, Incidents rejoint le canal dédié à l'incident, tient à jour un document dynamique avec chronologie et éléments de preuve, et délègue les questions directes des ingénieurs à des sous-agents pendant que le parent poursuit ses recherches en tâche de fond. Les messages entrants font l'objet d'un filtrage préalable.

Retours clients et métriques

• Reducto : Devin a repéré une tendance à travers plusieurs signaux faibles et a ouvert un incident de lui-même, avant le déclenchement des alertes de production. Il prend désormais en charge la majorité des alertes en première ligne, résout parfois des anomalies de gravité moyenne ou prépare et teste une PR avant même de solliciter un ingénieur.
• RV Tech (coentreprise Rivian et Volkswagen) : l'agent extrait les identifiants de véhicules et les horodatages des signalements, récupère les logs, lance des parseurs et assure le triage. Une équipe a ainsi pu réaffecter plusieurs ingénieurs au développement produit.
• AngelList : la cause racine est identifiée 3,5 fois plus souvent qu'avec le système interne Sky ; 50 % des incidents sont résolus de façon totalement autonome. Sky a été mis hors service.

Précisons toutefois que l'ensemble de ces données provient du blog de l'éditeur, sans validation indépendante.

Pour les équipes techniques, la démarche la plus pragmatique consiste à démarrer avec Responders sur un canal d'alertes particulièrement bruyant, afin de mesurer le taux de doublons écartés et la pertinence de l'analyse causale. L'intégration des outils d'observabilité (les retours mentionnent notamment le MCP Datadog) et du traçage de code pèsera bien plus lourd sur la qualité du diagnostic que le choix du modèle sous-jacent. Enfin, conformément aux recommandations de Cognition, les droits d'action directe en production doivent rester limités à des mesures de remédiation comme le rollback ou le redimensionnement, toute modification de code devant impérativement passer par une revue humaine.