IBM et Artificial Analysis créent un benchmark : les agents IA échouent sur les tâches IT

IBM et Artificial Analysis ont présenté ITBench-AA, le premier benchmark complet pour évaluer la capacité des agents IA à résoudre des tâches réelles dans des environnements IT d'entreprise. Les résultats sont décevants : les modèles de pointe ont obtenu moins de 50 %. Le rêve d'ingénieurs IA autonomes reste un rêve.

Ce que ITBench-AA a testé

Le benchmark reprenait des scénarios issus des opérations IT réelles : configuration d'infrastructures réseau, gestion de bases de données, débogage d'erreurs dans des systèmes de production, déploiement d'applications, supervision et optimisation des ressources. Il ne s'agit pas de simples tâches écrites où il suffit de donner la bonne réponse. Ici, l'IA doit agir en ingénieur à part entière : interagir avec les interfaces des systèmes, analyser les logs d'erreurs, décider dans l'incertitude et corriger sa démarche si la première tentative échoue.

Les modèles testés sont des modèles de pointe : GPT-4, Claude 3 Opus, Gemini Ultra et d'autres. Les résultats sont à peu près identiques : tous se situent entre 45 et 50 %. Plus frappant encore, face à des procédures complexes en plusieurs étapes, les agents restaient souvent bloqués ou commettaient des erreurs critiques.

Où est le vrai problème

Les 50 % ne sont pas un simple mauvais score. C'est le signe de limites fondamentales. Le travail IT exige non seulement de vastes connaissances, mais aussi des qualités que l'IA ne maîtrise encore que de façon irrégulière :

• Zéro erreur : une seule erreur peut mettre hors service un système pour des milliers d'utilisateurs
• Cohérence du raisonnement : les procédures en plusieurs étapes exigent de suivre la logique avec rigueur
• Compréhension du contexte : savoir non seulement quoi faire, mais pourquoi chaque étape est critique
• Adaptation à la volée : quand la consigne standard ne convient pas à cause des spécificités de l'environnement
• Responsabilité : savoir s'arrêter et demander l'aide d'un humain en cas de doute

Dans leur état actuel, les agents sont plutôt des systèmes qui peuvent aider, mais qui exigent une supervision constante et une validation des résultats.

Des attentes revues à la baisse

ITBench-AA influence déjà les stratégies des entreprises. L'illusion de « travailleurs numériques qui remplaceront le service IT en un mois » se dissipe. La demande se porte plutôt sur des solutions plus réalistes : un partenariat entre humain et IA, où l'agent prend en charge la routine (mise à jour des configurations, supervision de base, journalisation) tandis que l'ingénieur garde la main sur les opérations critiques.

Pour la première fois, le benchmark crée aussi un standard largement reconnu pour évaluer les agents. ITBench-AA servira aux développeurs de modèles à identifier les chantiers des prochaines versions.

Ce que cela signifie

L'IA progresse, mais plus lentement que ne le promettent les start-up. Bonne nouvelle pour les professionnels de l'IT : leur expertise reste une ressource rare. Pour les entreprises, le signal est clair : l'automatisation complète des tâches IT n'est pas un projet d'un an ou deux. Pour les développeurs de modèles, c'est une feuille de route concrète d'améliorations.