ApprenticeBench : les agents surpassent les testeurs humains, mais coûtent 2,5 fois plus cher

Quiconque a accompagné un nouveau salarié sur un projet le sait : le plus difficile n’est pas la tâche elle-même, mais tout le contexte qui l’entoure. Où se trouvent les fichiers de configuration, quelles conventions de nommage utiliser pour les branches, pourquoi il ne faut pas toucher à tel service le vendredi. La plupart des benchmarks destinés aux agents n’évaluent pas cet aspect. Ils proposent une tâche bien délimitée et vérifient si elle a été résolue. L’équipe de LMSYS Org a attiré l’attention sur de nouveaux travaux qui tentent de combler cette lacune.

Qu’est-ce qu’ApprenticeBench ?

ApprenticeBench évalue les agents en situation d’intégration dans une entreprise. L’agent ne reçoit pas un cahier des charges parfaitement formulé. Comme une nouvelle recrue, il doit comprendre les conventions de l’entreprise, maîtriser ses outils et assimiler ce qui n’est consigné nulle part : ce que l’on appelle les connaissances tacites. Cette approche se rapproche davantage du travail réel que les tests classiques du type « corriger un bug dans un dépôt isolé ».

Yu Su, de NeoCognition, a présenté les résultats. Il s’agit d’une publication sur un réseau social, et non d’un rapport complet ; les détails sont donc limités. Nous ne savons pas combien de tâches comporte le benchmark, quelles entreprises et quels outils il simule précisément, ni comment fonctionne l’évaluation. Il faut consulter la source originale pour examiner ces éléments avant de tirer des conclusions.

Ce que l’on sait des chiffres

Le principal résultat annoncé est le suivant : les modèles de pointe ont dépassé les testeurs humains en proportion de tâches accomplies avec succès. Mais cette performance a un prix : le coût par tâche des agents est 2,5 fois plus élevé.

Ces deux constats doivent être considérés ensemble. Le premier indique que les agents sont déjà capables d’apprendre à partir du contexte, et pas seulement d’exécuter des instructions. Le second rappelle que « meilleur » ne signifie pas « plus rentable ». Si un humain coûte X par tâche et un agent 2,5X, l’intérêt économique n’a rien d’évident à qualité comparable. Les gains peuvent venir de la rapidité, du passage à l’échelle et d’un fonctionnement permanent, mais seulement si ces capacités répondent à un besoin réel.

Il faut aussi garder à l’esprit les limites de la comparaison. Les « testeurs humains » ne sont pas nécessairement représentatifs de salariés expérimentés de l’entreprise. Qu’un agent surpasse une personne qui découvre l’environnement ne prouve pas qu’il surpasse un spécialiste ayant des années d’expérience. La manière exacte dont le coût du travail humain a été mesuré reste, elle aussi, incertaine.

Quelles conséquences pratiques ?

Premièrement : si vous développez un agent pour des processus internes, testez-le dans un contexte « brouillon », plutôt que sur des tâches parfaitement cadrées. Donnez-lui un wiki, des instructions obsolètes et des noms non standardisés, puis observez comment il s’en sort. C’est précisément là que les agents échouent le plus souvent en production.

Deuxièmement : suivez le coût d’un résultat réussi, et pas seulement celui des tokens. L’indicateur « coût d’une tâche correctement menée à terme » reflète mieux la réalité et montre immédiatement dans quels cas l’agent coûte plus cher qu’un humain. S’il lui faut de longs cycles d’essais et d’erreurs, la facture grimpe vite.

Troisièmement : réfléchissez à la manière dont l’agent accumule les connaissances. Par définition, son intégration ne devrait pas recommencer à zéro à chaque exécution. La mémoire, une documentation destinée aux agents et des conventions explicitement consignées peuvent réduire à la fois les coûts et le nombre d’erreurs.

La conclusion reste prudente. ApprenticeBench semble constituer un pas vers une évaluation plus réaliste des agents, et le résultat annoncé est intéressant. Mais, à ce stade, il s’agit d’une publication présentant les principaux chiffres, pas d’une analyse détaillée. Attendez la méthodologie et les données avant de vous appuyer sur ces résultats pour planifier le remplacement de salariés.