LiveMACEBench a testé cinq agents LLM sur un marché réel pendant 30 jours

Des chercheurs présentent LiveMACEBench, un benchmark qui évalue les agents LLM non pas sur leur résultat final, mais sur la manière dont ils prennent leurs décisions. Le banc d'essai : les marchés financiers réels. Cinq modèles frontier ont fonctionné comme des agents persistants pendant 30 jours consécutifs. Les auteurs ont conservé les traces complètes de leurs décisions et les ont analysées mécanisme par mécanisme. Principal résultat : la rentabilité réalisée diverge souvent des capacités mesurées, et des résultats similaires peuvent masquer des comportements très différents.

Pourquoi un marché plutôt qu'un jeu de tâches statique

Les benchmarks d'agents classiques fonctionnent dans un environnement fermé, aux conditions fixes. L'agent résout une tâche, reçoit une note, et l'évaluation s'arrête là. Dans un environnement évolutif, la situation est différente. Le résultat y naît d'une boucle de rétroaction : le comportement de l'agent influe sur l'état des choses, tandis que les conditions extérieures changent indépendamment de lui. Si l'on ne regarde que le chiffre final, impossible de savoir à quoi il tient : à un bon usage des outils, à une mémoire efficace des étapes passées, au respect des règles, ou simplement à la chance sur un segment de marché donné.

Un marché financier réel se prête naturellement à ce type de test. Il change en permanence, on ne peut pas l'apprendre par cœur à l'avance, et l'on ne peut pas ajuster les données au modèle en cours d'épreuve. Les auteurs parlent d'un « terrain d'essai naturellement évolutif » pour les agents persistants.

Comment fonctionne LiveMACEBench

L'expérience met en jeu cinq LLM frontier. Ils opèrent sur des trajectoires continues, et non par épisodes isolés. Chaque modèle passe par des configurations comparables, dans lesquelles certaines capacités sont activées ou désactivées.

• Tool Use : utilisation d'outils externes.
• Persistent Memory : conservation et application de la mémoire d'une étape à l'autre.
• Rule Following : respect de contraintes et de règles données.
• Multi-Agent Collaboration : interaction entre plusieurs agents.
• Durée : 30 jours d'évaluation en conditions réelles.
• Métriques : résultat réalisé, plus diagnostic par mécanisme à partir des traces complètes des décisions.

Le second groupe de métriques est ici le plus important. Les auteurs ne regardent pas seulement ce que l'agent a gagné, mais aussi comment il a manié les outils, ce qu'il a rappelé de sa mémoire, s'il a enfreint les règles et comment il a coordonné ses actions avec les autres agents.

L'écart entre résultat et capacité

La principale découverte porte le nom d'outcome-capability gap. La rentabilité ne coïncidait souvent pas avec l'évaluation des capacités concrètes. L'inverse se produisait aussi : des résultats finaux proches cachaient des schémas d'utilisation des mécanismes nettement différents. Deux modèles pouvaient arriver à un chiffre voisin, l'un grâce à un usage soigneux des outils et de la mémoire, l'autre grâce à tout autre chose.

La traçabilité des décisions a aussi mis en évidence des goulots d'étranglement distincts. Chaque capacité a les siens, si bien qu'une seule note globale de « qualité de l'agent » ne reflète pas la réalité. Les auteurs distinguent trois notions que l'on confond souvent : l'accès à un mécanisme, l'utilisation effective de ce mécanisme et la performance finale. D'après leurs conclusions, ces grandeurs ne sont pas interchangeables.

L'abstract ne donne ni les noms des modèles ni les valeurs numériques de rentabilité : il est donc impossible de comparer les éditeurs à partir de ce document. L'intérêt du travail est méthodologique : il transforme le marché réel, d'un simple classement de tournoi, en environnement de diagnostic.

Que faire quand on construit des agents

La leçon pratique est simple : journalisez non seulement le résultat, mais aussi tout le chemin qui y mène. Que votre agent trade, écrive du code, assure du support ou pilote des processus, les traces complètes des décisions sont aussi indispensables au débogage que la métrique de succès.

Deuxième point : vérifiez les mécanismes séparément. La présence d'une mémoire ou d'un jeu d'outils dans l'architecture ne garantit pas que l'agent s'en serve à bon escient. Il est utile de définir des métriques du type « à quelle fréquence et avec quelle pertinence l'outil est appelé » et « la mémoire récupérée influence-t-elle la décision ».

Troisième point : ne vous fiez pas à une exécution unique dans un environnement changeant. Une bonne rentabilité sur une courte période peut n'être que du bruit, et une rentabilité faible peut cacher de solides capacités qui n'ont simplement pas coïncidé avec la phase de marché. Le diagnostic par les traces aide à distinguer les deux cas et à savoir ce qu'il faut améliorer : la mémoire, la discipline vis-à-vis des règles ou la coordination entre agents.

Pour ceux qui choisissent un modèle pour un produit agentique, la conclusion est aussi pratique : comparez les candidats sur vos propres traces, et non d'après un seul leaderboard public.