IBM et Artificial Analysis créent un benchmark : les agents d'IA échouent aux tâches informatiques

IBM et Artificial Analysis ont présenté ITBench-AA — le premier benchmark complet pour évaluer la capacité des agents IA à résoudre des tâches réelles dans les environnements informatiques d'entreprise. Les résultats sont décourageants : les modèles leaders ont obtenu moins de 50%. Cela signifie que le rêve d'ingénieurs IA autonomes reste un rêve.

Ce qu'ITBench-AA a testé

Le benchmark incluait des scénarios réels d'opérations informatiques : configuration des infrastructures réseau, gestion des bases de données, débogage des erreurs dans les systèmes en production, déploiement d'applications, surveillance et optimisation des ressources. Ce ne sont pas de simples tâches écrites où vous devez fournir la bonne réponse. Ici, l'IA doit agir comme un ingénieur à part entière : interagir avec les interfaces des systèmes, analyser les journaux d'erreurs, prendre des décisions sous incertitude, ajuster l'approche si la première tentative n'a pas fonctionné.

Les modèles leaders ont été testés : GPT-4, Claude 3 Opus, Gemini Ultra et autres. Les résultats étaient approximativement les mêmes : tous ont obtenu des performances autour de 45–50%. Encore plus remarquablement, lors de tentatives d'exécution de procédures complexes multi-étapes, les agents se coincaient souvent ou commettaient des erreurs critiques.

Quel est le vrai problème

Le chiffre de 50% n'est pas seulement un mauvais résultat. C'est un signal de limitations fondamentales. Le travail informatique exige non seulement des connaissances étendues, mais aussi des qualités que l'IA possède actuellement de manière incohérente :

• Impeccabilité — une erreur peut paralyser un système pour des milliers d'utilisateurs
• Pensée séquentielle — les procédures multi-étapes exigent un respect strict de la logique
• Compréhension contextuelle — savoir non seulement quoi faire, mais pourquoi chaque étape est critique
• Adaptation sur le vif — quand les instructions standard ne conviennent pas en raison des spécificités de l'environnement
• Responsabilité — la capacité à se retirer et demander l'aide humaine en cas d'incertitude

Les agents sous leur forme actuelle sont plutôt des systèmes qui peuvent aider, mais qui nécessitent une supervision constante et une validation des résultats.

Réajustement des attentes

ITBench-AA influence déjà les stratégies des entreprises. L'illusion des « travailleurs numériques qui remplaceront le département informatique en un mois » s'évanouit. À la place, la demande augmente pour des solutions plus réalistes : partenariat entre humains et IA, où l'agent prend en charge le travail routinier (mises à jour de configuration, surveillance basique, journalisation), et l'ingénieur conserve le contrôle des opérations critiques.

Le benchmark crée également pour la première fois une norme universellement reconnue pour évaluer les agents. ITBench-AA deviendra un outil pour les développeurs de modèles afin de comprendre sur quoi travailler dans les prochaines versions.

Qu'est-ce que cela signifie

L'IA évolue, mais l'évolution progresse plus lentement que ne le promettent les startups. Bonne nouvelle pour les spécialistes informatiques : votre expertise reste une ressource rare. Pour les entreprises, c'est un signal : l'automatisation complète des tâches informatiques n'est pas un projet sur un ou deux ans. Pour les développeurs de modèles, c'est un plan d'action spécifique pour les améliorations.