ABF-Bench : on apprend aux agents IA à retrouver la crypto volée, mais ils abandonnent trop tôt

Une équipe de l'Imperial College London (Xu Yu et William Nottenbelt) présente ABF-Bench, un test interactif pour les agents IA chargés d'enquêter sur la circulation de fonds volés dans la blockchain. L'agent reçoit quelques adresses de départ et un budget limité de requêtes sur les données du réseau. Il doit reconstituer le chemin des fonds : où ils sont partis, via quels échanges et quels ponts. Selon l'article, $2,2 milliards ont été volés à des plateformes crypto rien qu'en 2024, et le traçage de ces fonds est au cœur du contrôle anti-blanchiment (AML) et de la réponse aux incidents. Le benchmark n'est pas encore publié : les auteurs promettent de le mettre en ligne après la publication de l'article.

Une enquête vérifiable sans faire confiance à l'enquêteur

L'idée centrale : un registre public conserve chaque mouvement de fonds, de sorte que les conclusions peuvent être vérifiées de façon indépendante. Dans ABF-Bench, l'agent remet un rapport composé d'« opérations ». Chaque opération contient les transferts déclarés et des renvois vers les enregistrements précis du registre qui les confirment. Un vérificateur déterministe examine ces enregistrements et rend son verdict, sans consulter la réponse de référence.

Les règles de validation sont définies pour chaque type d'opération. Par exemple, un échange se prouve par le reçu de la transaction et la trace d'exécution, tandis qu'un passage d'un réseau à l'autre se prouve par une paire d'enregistrements : le dépôt et le versement.

Si des enregistrements manquent mais qu'aucune contradiction n'apparaît, l'opération reste « indéterminée ». L'échec d'une requête ne vaut pas preuve de l'absence de transfert.

Plusieurs mesures sont utilisées :

• Rappel par arêtes (edge recall) : la métrique principale, soit la part des arêtes du graphe de référence caché des mouvements de fonds qui ont été retrouvées. Une arête n'est comptée que si l'agent a lui-même chargé tous les enregistrements qu'il cite. • Fidélité (fidelity) : la part des opérations soumises qui passent la vérification. • Précision par arêtes (edge precision) : la part des arêtes trouvées qui figurent dans la référence.

Le graphe de référence est construit de façon prudente : le traçage s'interrompt partout où les enregistrements ne permettent pas de poursuivre le chemin sans ambiguïté. La tâche a donc toujours une réponse définie, mais le graphe sous-estime l'ampleur réelle du blanchiment. Les preuves alternatives sont acceptées dès lors qu'elles respectent les règles : la solution n'a pas à reproduire le chemin des auteurs.

Les tâches s'appuient sur de véritables schémas de blanchiment. On y trouve des transferts en plusieurs étapes, des échanges en DeFi, des routes circulaires entre réseaux, des dépôts sur des services custodiaux et des mixeurs, ainsi que l'empoisonnement d'adresses (address poisoning), où l'attaquant glisse une adresse qui ressemble à la bonne. Une partie des limites n'est pas révélée dans la tâche : l'agent doit comprendre seul, d'après le comportement du compte, que les fonds sont arrivés sur un service custodial inconnu, et s'arrêter.

Qui a participé et quels résultats

Les auteurs ont comparé trois groupes de solveurs :

• Leur propre harnais ABF à mémoire de travail, dans lequel l'agent tient une liste de branches non vérifiées. • Les agents de code généralistes Codex et Claude Code. • Des traceurs à ordre de parcours fixe, dont le parcours en largeur.

Le harnais ABF devance les deux agents généralistes sur l'exhaustivité finale, y compris Codex avec exactement le même modèle. Le résultat ne dépend donc pas seulement du modèle, mais aussi de la conception de l'agent.

Chez Claude Code, l'exhaustivité chute par excès de confiance : l'agent cite des enregistrements qu'il n'a pas chargés. Le vérificateur résout lui-même ces renvois, mais selon les règles du benchmark, l'arête n'est alors pas comptée.

En début de budget, le harnais rassemble les preuves plus vite que le meilleur traceur. Il repère aussi les services custodiaux non étiquetés que les traceurs dépassent sans les remarquer, pour une fidélité comparable.

Toutefois, tous les agents s'arrêtent trop tôt, surtout sur les grosses tâches. Résultat : sur l'exhaustivité finale, le meilleur score revient au parcours en largeur, pas aux agents. Les auteurs y voient une marge de progression : l'agent ne sait pas encore détecter à temps que le travail n'est pas terminé.

Ce que cela change pour les ingénieurs et les entreprises

Pour les équipes qui construisent des agents, ABF-Bench est utile parce qu'il mesure un comportement vérifiable. Un agent ne peut pas raisonner brillamment sans s'appuyer sur les données : chaque affirmation est soit confirmée par un enregistrement, soit non confirmée. Le test attrape au passage une défaillance typique des agents : des renvois assurés vers des éléments qu'ils n'ont pas lus.

Pour les services de conformité et d'AML, le benchmark montre qu'on peut déjà confier aux agents la routine manuelle, comme la ramification des transferts et la recherche de ponts, mais qu'on ne peut pas compter sur eux pour l'exhaustivité d'une enquête. L'agent bâcle encore les fins de piste, qu'il faudra compléter par des parcours déterministes ou par des humains.

Il y a aussi un second avantage. Les verdicts du vérificateur peuvent servir de signal pour l'apprentissage par renforcement, comme on le fait déjà avec les tâches de code. Inutile d'inventer la difficulté à la main : elle vient de vrais attaquants, qui changent de méthode d'un cas à l'autre.