Le meilleur agent IA ne résout que 60% des tâches DevOps dans le cloud, et 80% des échecs viennent du raisonnement

Imaginez que vous demandiez à un agent IA de couper l'accès d'un employé qui a quitté l'entreprise dans AWS. Un ingénieur expérimenté vérifiera les utilisateurs, les rôles, les clés et les comptes de service. Un agent peut désactiver un seul compte, annoncer « c'est fait » et laisser ouverts d'autres voies d'accès.

C'est exactement ce type d'échec que met en évidence CloudOpsBench, un nouveau benchmark ouvert, c'est-à-dire un ensemble de tâches standardisées pour comparer des modèles. Le meilleur modèle testé, Claude Fable 5.1, n'a résolu que 60% des tâches, et GPT-6 Astra 53%.

Environ 80% des échecs ne s'expliquent pas par une méconnaissance du cloud, mais par un raisonnement défaillant : le modèle évalue mal l'ampleur du travail, ne vérifie pas tous les services concernés ou s'arrête trop tôt. Si vous envisagez de confier à un agent des opérations sur une infrastructure cloud, ces chiffres indiquent où placer des garde-fous.

Ce que mesure CloudOpsBench

Le benchmark a été conçu par une équipe dirigée par Ang Chen, de l'université du Michigan. La version 1.0 comprend 45 tâches sur AWS, rédigées par des ingénieurs DevOps expérimentés. L'ensemble couvre le travail courant : réparer un service, supprimer des ressources, restreindre des droits d'accès, déployer une mise à jour et mettre un projet hors service.

Chaque tâche s'exécute de la même manière dans le cloud AWS réel et dans un émulateur. L'émulateur permet de relancer les tests de façon reproductible, sans risque pour une infrastructure réelle. Le projet est publié sur GitHub sous licence Apache 2.0, accompagné d'une analyse détaillée des erreurs. Des extensions pour GCP, Azure et OCI (Oracle Cloud Infrastructure) sont prévues.

Où les agents échouent

Même le meilleur modèle échoue sur une part notable des tâches : Claude Fable 5.1 atteint 60% de réussite, GPT-6 Astra 53%. Aucun modèle n'est venu à bout de toutes les tâches. Selon les auteurs, le goulot d'étranglement est, dans la plupart des cas, le raisonnement.

Environ 80% des échecs relèvent de trois scénarios :

• l'agent évalue mal l'ampleur de la tâche ;
• il ne vérifie pas tous les services liés ;
• il s'arrête avant que le travail soit terminé.

C'est exactement le cas de l'accès de l'employé parti : l'agent connaît les commandes, mais ne s'assure pas d'avoir traité l'ensemble du périmètre.

Les quelque 20% d'erreurs restantes sont des actions incorrectes. Certaines ont des conséquences irréversibles pour l'infrastructure. Une ressource supprimée, par exemple, ne se récupère pas : le coût de l'erreur est alors plus élevé que pour un travail inachevé.

Que faire en pratique

Les conclusions ci-dessous sont nos recommandations, et non des résultats des auteurs du benchmark.

Premièrement, limitez les droits. Sur un compte de production, il est raisonnable de n'accorder à l'agent que la lecture et un petit ensemble d'opérations sûres, et de soumettre à la validation d'un humain la suppression de ressources, la modification des politiques d'accès et la mise hors service d'un projet.

Deuxièmement, ne prenez pas le mot « terminé » pour argent comptant. Comme l'arrêt prématuré est une cause fréquente d'échec, il faut une vérification indépendante du résultat : un script ou une relecture qui énumère les services touchés et les compare à l'état attendu.

Troisièmement, testez sur des tâches proches des vôtres. CloudOpsBench étant ouvert et exécutable dans un émulateur, vous pouvez l'utiliser pour comparer des modèles ou des variantes de prompts sans mettre en danger un cloud réel.

Limites

Un ensemble de 45 tâches reste modeste et ne couvre pour l'instant qu'AWS : les chiffres valent donc pour une version précise du benchmark et des modèles précis. Dans votre infrastructure, avec ses propres conventions, les résultats peuvent différer. La conclusion générale est pourtant claire : ce qui gêne le plus les agents dans les opérations cloud, ce sont la planification et l'auto-vérification, et non la connaissance des commandes. Tant que ces compétences ne progresseront pas, l'humain reste la dernière ligne de défense avant les actions irréversibles.