AgentLens : l'évaluation des agents de code passe du résultat au processus

Des chercheurs ont présenté en juillet 2026 AgentLens, un benchmark d'évaluation des agents de code. Contrairement aux tests standards, qui ramènent le résultat à un simple pass/fail, AgentLens analyse toute la trajectoire de l'agent : comment il suit les consignes, utilise les outils à sa disposition, vérifie son propre code, se remet de ses erreurs et communique avec l'utilisateur.

Pourquoi les anciennes approches ne suffisent pas

Un benchmark typique pour agents de code est extrêmement simple : une tâche est donnée, et l'agent la résout ou non. Le résultat se réduit à une seule valeur binaire : 1 ou 0, pass ou fail. C'est pratique pour classer rapidement des modèles, mais cela ne reflète en rien l'expérience réelle de l'utilisateur.

Ceux qui travaillent avec des agents de code en production voient bien davantage. Ils interagissent avec l'agent tout au long de son travail, suivent son raisonnement, voient les erreurs qu'il commet, observent comment il se rétablit et change de stratégie. Ils lui posent des questions de précision, lui demandent de réécrire du code et lui signalent des bugs.

Les benchmarks standards ne captent rien de tout cela. Ils n'expliquent pas pourquoi l'agent a choisi telle approche, quelles étapes intermédiaires lui semblaient logiques, ni où il est resté bloqué. Le résultat final peut être techniquement correct, mais le chemin pour y arriver peut être long, inefficace et semé de tentatives infructueuses.

Comment fonctionne AgentLens

AgentLens combine plusieurs approches d'évaluation en un seul système :

• Vérification formelle — des contrôles objectifs lorsque c'est possible (syntaxe du code, logique, résultats des tests unitaires)
• Revues de trajectoire rédigées par des LLM — des modèles spécialement entraînés analysent tout le parcours de l'agent et évaluent chaque étape et chaque décision
• Comparaisons side-by-side — le système affiche une comparaison visuelle entre versions d'agents et met en évidence les différences de comportement

Le résultat de chaque exécution n'est pas seulement une note de 1 à 10, mais une explication détaillée en langage naturel. Le système décrit pourquoi l'agent a obtenu cette évaluation, quelles décisions étaient logiques et justes, où il s'est trompé, comment il s'est sorti de ses erreurs et s'il a utilisé les outils efficacement.

Où AgentLens est utilisé

Le benchmark s'est révélé utile au-delà du simple classement de modèles. Les développeurs l'emploient à trois fins principales :

• Diagnostic du comportement — comprendre en profondeur où l'agent se trompe systématiquement, quelles classes de tâches lui posent le plus de difficultés et quels outils il sous-exploite
• Comparaison des versions de leur propre agent — suivre si la qualité s'est améliorée entre deux versions ou si une régression est apparue sur un aspect donné
• Surveillance automatique — des pipelines de tests nocturnes détectent les problèmes avant qu'ils n'atteignent les systèmes en production

Ce que cela signifie

AgentLens illustre une tendance plus large dans la communauté de l'IA : l'évaluation des agents de code passe de métriques simples à une analyse globale de tout le processus de travail. Au lieu d'un yes/no binaire, le système offre désormais un tableau complet : quelles décisions l'agent a prises, pourquoi, ce qui a fonctionné et ce qui n'a pas fonctionné.

Cela aide les développeurs non seulement à améliorer les résultats finaux, mais aussi à mieux comprendre comment raisonnent leurs systèmes d'IA, quels types de tâches leur sont faciles et lesquels leur posent problème.

Le benchmark est publié en open source sur GitHub, ce qui permet aux chercheurs et aux développeurs du monde entier de l'utiliser dans leurs propres projets.