CRM-Agent-Bench teste 16 agents IA : le meilleur réussit strictement 83,6% des tâches

Un agent peut tenir en conversation un discours irréprochable et pourtant laisser dans le CRM un enregistrement corrompu, un mauvais statut de commande ou un remboursement en trop. Le nouveau benchmark CRM-Agent-Bench mesure précisément cet écart entre « dit » et « fait ». Ses auteurs, Monojit Banerjee, Zhujun Lan et Defu Cao, ont constitué 555 tâches à état, avec plusieurs tours de dialogue, dans neuf domaines métier. Les seize systèmes évalués obtiennent un succès strict compris entre 64,32% et 83,60%. Le code est publié dans le dépôt salesforce-misc/crm-agent-bench, et le projet dispose d'une page dédiée.

Un contrat plutôt qu'un « ça a l'air juste »

La plupart des benchmarks d'agents examinent soit la réponse finale, soit l'état final de l'environnement. Pour les auteurs, cela ne suffit pas à un déploiement en production. Ils proposent d'évaluer quatre dimensions à la fois :

• le résultat, c'est-à-dire ce à quoi l'agent est parvenu ;
• la trajectoire, c'est-à-dire les étapes qu'il a suivies ;
• la viabilité opérationnelle : latence et coût ;
• le respect des politiques définies dans la tâche.

Le CRM se prête presque idéalement à ce type de contrôle : les enregistrements évoluent, des règles opérationnelles s'y superposent, et une erreur a des conséquences financières. C'est pourquoi chacune des 555 tâches est dotée de son propre contrat exécutable. Ce contrat repose sur six types de vérifications :

• les actions que l'agent doit effectuer ;
• les arguments des appels d'outils ;
• l'ordre des opérations ;
• le contenu de la réponse à l'utilisateur ;
• l'état cible des données après l'exécution ;
• l'état protégé, qu'il est interdit de toucher.

Le dernier point compte plus que les autres. Un agent qui ferme un ticket tout en écrasant l'enregistrement d'un autre a formellement exécuté la demande, mais il a provoqué un incident dans une entreprise réelle. Dans le benchmark, le succès se définit comme une conjonction stricte : une tâche n'est validée que si toutes les vérifications déclarées pour elle passent. Aucun point partiel n'est accordé pour un résultat « presque correct ».

Seize systèmes, un plafond à 83,6%

Le benchmark n'évalue pas un modèle nu, mais un système complet : enveloppe de l'agent, outils, logique de dialogue. C'est plus proche de ce que les entreprises achètent et déploient réellement. Outre la part de tâches réussies, il enregistre la couverture de l'évaluation, la latence et le coût d'une exécution.

Voici les résultats sur la version finale vérifiée : les seize systèmes se situent dans une fourchette de 64,32% à 83,60% de succès strict. Cet écart de près de vingt points de pourcentage montre que les tâches ne sont pas saturées et que le benchmark distingue bien les systèmes. Les leaders sont certes groupés, mais leurs prix et leur fiabilité dans certains domaines divergent fortement. Un système peut exceller dans un domaine et décrocher dans un autre, ce que le pourcentage moyen masque.

Les tâches sont annotées avec 36 tags de capacités, ce qui permet d'analyser les échecs par compétence et par domaine, et non à partir d'un chiffre global. Les auteurs qualifient le cadre d'auditable et de portable : sa structure peut être étendue à mesure que les modèles atteindront le plafond.

Comment s'en servir pour choisir un agent

Pour les équipes qui déploient des agents dans le support client, les ventes ou le back-office, la principale leçon est que l'exactitude d'une réponse ne garantit pas la justesse de la transaction. Il faut évaluer l'état final des données, l'ordre des actions et l'absence d'effets de bord.

Deuxième conséquence pratique : il faut lire les chiffres par paire « succès plus coût ». Si les leaders diffèrent nettement par le prix mais à peine par la qualité, choisir l'option la plus chère est mal justifié.

Troisième point : le pourcentage global ne remplace pas l'analyse par domaine. Avant de confier à un agent des paiements, des remboursements ou la modification de fiches clients, mieux vaut lui faire passer des tâches de son propre profil et examiner l'état protégé. La structure des contrats de CRM-Agent-Bench peut être transposée à ses propres processus : décrire, pour chaque scénario, les actions attendues, les arguments admissibles et les données à ne pas toucher.

Une limite demeure : un maximum de 83,6% signifie qu'environ une tâche sur six échoue aux critères stricts, même pour le meilleur système. Pour des processus où une erreur coûte de l'argent, c'est insuffisant sans contrôle humain ni mécanismes de retour arrière.