ABF-Bench: agentes de IA aprendem a rastrear cripto roubada, mas desistem cedo

Uma equipe do Imperial College London (Xu Yu e William Knottenbelt) apresentou o ABF-Bench, um teste interativo para agentes de IA que investigam o movimento de dinheiro roubado em blockchains. O agente recebe alguns endereços iniciais e um orçamento limitado de consultas aos dados da rede, e precisa reconstruir o caminho dos fundos: para onde foram, por quais exchanges e pontes passaram. Segundo o artigo, só em 2024 foram roubados US$ 2,2 bilhões de plataformas de cripto, e o rastreamento desse dinheiro é a base do controle antilavagem (AML) e da resposta a incidentes. O benchmark ainda não foi publicado: os autores prometem liberá-lo depois da publicação do artigo.

Uma investigação que dá para verificar sem confiar no investigador

A ideia central é que o registro público guarda cada movimentação de fundos, e por isso as conclusões podem ser checadas de forma independente. No ABF-Bench, o agente entrega um relatório composto de "operações". Cada operação traz as transferências declaradas e links para os registros específicos do ledger que as comprovam. Um verificador determinístico examina esses registros e dá o veredito sem olhar a resposta de referência.

Há regras de comprovação para cada tipo de operação. Por exemplo, uma troca é provada pelo recibo da transação e pelo rastro de execução, e uma travessia entre redes, por um par de registros: depósito e saque.

Se faltam registros, mas não há contradições, a operação fica como "indeterminada". A falha de uma consulta não conta como prova de que a transferência não ocorreu.

Há várias métricas:

• Cobertura de arestas (edge recall), a métrica principal: que fração das arestas do grafo de referência oculto, que descreve o movimento dos fundos, foi encontrada. Uma aresta só é contabilizada se o agente carregou ele mesmo todos os registros que citou. • Fidelidade (fidelity): fração das operações enviadas que passaram na verificação. • Precisão de arestas (edge precision): fração das arestas encontradas que existem na referência.

O grafo de referência é construído de forma conservadora: o rastreamento é interrompido sempre que os registros não permitem continuar o caminho sem ambiguidade. Por isso a tarefa sempre tem uma resposta definida, mas o grafo subestima a escala real da lavagem. Provas alternativas são aceitas se atenderem às regras: a solução não precisa repetir o caminho dos autores.

As tarefas se baseiam em esquemas reais de lavagem. Elas incluem transferências em várias etapas, trocas em DeFi, rotas circulares entre redes, depósitos em serviços custodiais e mixers, além de envenenamento de endereços, quando o criminoso empurra um endereço parecido com o verdadeiro. Parte dos limites não é revelada na tarefa: o agente precisa entender, pelo comportamento da conta, que os fundos chegaram a um serviço custodial desconhecido, e parar.

Quem participou e qual foi o resultado

Os autores compararam três grupos de solucionadores:

• A harness própria do ABF, com memória de trabalho em que o agente mantém uma lista de ramos não verificados. • Os agentes de programação de uso geral Codex e Claude Code. • Rastreadores com ordem fixa de varredura, incluindo a busca em largura.

A harness do ABF superou os dois agentes de uso geral na cobertura final, inclusive o Codex rodando exatamente o mesmo modelo. Ou seja, o resultado depende não só do modelo, mas também da arquitetura do agente.

No Claude Code, a cobertura cai por excesso de confiança: ele cita registros que não carregou. O verificador resolve esses links por conta própria, mas, pelas regras do benchmark, a aresta não é contabilizada nesse caso.

No início do orçamento, a harness reúne provas mais rápido do que o melhor rastreador. Com fidelidade comparável, ela também reconhece serviços custodiais não rotulados, que os rastreadores deixam passar sem notar.

Porém todos os agentes param cedo demais, sobretudo nas tarefas grandes. Por isso, na cobertura final, o melhor resultado é da busca em largura, e não dos agentes. Os autores veem aí margem para melhorias: por enquanto, o agente não sabe perceber a tempo que o trabalho não terminou.

O que isso significa para engenheiros e empresas

Para quem constrói agentes, o ABF-Bench é útil porque mede um comportamento verificável. O agente não consegue só argumentar bem sem se apoiar em dados: toda afirmação ou é confirmada por um registro, ou não é. Além disso, o teste pega uma falha típica de agentes: citações confiantes de coisas que eles não leram.

Para as áreas de compliance e AML, o benchmark indica que já é possível deixar os agentes cuidarem de tarefas manuais de rotina, como ramificar transferências e procurar pontes, mas não dá para confiar neles quanto à completude da investigação. Por enquanto, o agente deixa pontas soltas, que precisam ser fechadas por varreduras determinísticas ou por pessoas.

Há ainda um segundo benefício. Os vereditos do verificador podem servir de sinal para aprendizado por reforço, como já se faz com tarefas de código. A dificuldade aqui não precisa ser inventada à mão: ela vem de criminosos reais, que mudam as técnicas a cada caso.