ABF-Bench: entrenan a agentes de IA para rastrear criptomonedas robadas, pero abandonan la búsqueda demasiado pronto

Un equipo del Imperial College London (Xu Yu y William Knottenbelt) ha presentado ABF-Bench, un test interactivo para agentes de IA que investigan el movimiento de dinero robado en la blockchain. Al agente se le dan varias direcciones iniciales y un presupuesto limitado de consultas a los datos de la red, y debe reconstruir el recorrido de los fondos: adónde fueron, por qué exchanges y puentes (bridges) pasaron. Según el artículo, solo en 2024 se robaron $2,2 mil millones de plataformas cripto, y el rastreo de ese dinero es la base del control antiblanqueo (AML) y de la respuesta a incidentes. El benchmark todavía no se ha publicado: los autores prometen liberarlo tras la publicación del artículo.

Una investigación que se puede verificar sin confiar en el investigador

La idea central es que el registro público conserva cada movimiento de fondos, de modo que las conclusiones pueden comprobarse de forma independiente. En ABF-Bench el agente entrega un informe compuesto por «operaciones». Cada operación contiene las transferencias declaradas y enlaces a los registros concretos que las respaldan. Un verificador determinista examina esos registros y emite su veredicto sin consultar la respuesta de referencia.

Las reglas de confirmación se definen para cada tipo de operación. Por ejemplo, un intercambio se prueba con el recibo de la transacción y la traza de ejecución, y un salto entre redes, con un par de registros: el depósito y el pago.

Si faltan registros pero no hay contradicciones, la operación queda como «indeterminada». Que una consulta falle no se considera prueba de que la transferencia no existió.

Hay varias métricas:

• Exhaustividad por aristas (edge recall), la métrica principal: qué proporción de las aristas del grafo de referencia oculto del movimiento de fondos se ha encontrado. Una arista solo cuenta si el agente ha descargado él mismo todos los registros a los que remite. • Fiabilidad (fidelity): proporción de operaciones presentadas que superan la verificación. • Precisión por aristas (edge precision): proporción de aristas encontradas que figuran en el grafo de referencia.

El grafo de referencia se construye de forma conservadora: el rastreo se corta allí donde los registros no permiten continuar el camino sin ambigüedad. Por eso la tarea siempre tiene una respuesta definida, aunque el grafo subestima la escala real del blanqueo. Se aceptan pruebas alternativas si cumplen las reglas: la solución no tiene por qué repetir el camino de los autores.

Las tareas se basan en esquemas reales de blanqueo. Incluyen transferencias de varios pasos, intercambios en DeFi, rutas circulares entre redes, depósitos en servicios custodiales y mezcladores, así como el envenenamiento de direcciones, en el que el atacante cuela una dirección parecida. Parte de los límites de la tarea no se revela: el agente debe deducir por el comportamiento de la cuenta que los fondos han llegado a un servicio custodial desconocido y detenerse.

Quién participó y qué resultó

Los autores compararon tres grupos de solucionadores:

• El arnés propio de ABF con memoria de trabajo, donde el agente guarda una lista de ramas sin verificar. • Los agentes de programación de uso general Codex y Claude Code. • Trazadores con orden de recorrido fijo, incluida la búsqueda en anchura.

El arnés de ABF superó a ambos agentes generalistas en exhaustividad final, incluido Codex con el mismo modelo. Es decir, el resultado depende no solo del modelo, sino también de cómo está diseñado el agente.

En Claude Code la exhaustividad cae por exceso de confianza: cita registros que no ha descargado. El verificador resuelve por sí mismo esas referencias, pero según las reglas del benchmark la arista no se contabiliza en ese caso.

Al inicio del presupuesto, el arnés reúne pruebas más rápido que el mejor trazador. También reconoce servicios custodiales sin etiquetar, junto a los que los trazadores pasan sin advertirlo, con una fiabilidad comparable.

Sin embargo, todos los agentes se detienen demasiado pronto, sobre todo en las tareas grandes. Por eso, en exhaustividad final, el mejor resultado es el de la búsqueda en anchura, no el de los agentes. Los autores lo ven como margen de mejora: por ahora el agente no sabe reconocer a tiempo que su trabajo no ha terminado.

Qué aporta a ingenieros y empresas

Para los equipos que construyen agentes, ABF-Bench es útil porque mide un comportamiento verificable. El agente no puede razonar con elegancia sin apoyarse en datos: cada afirmación o queda confirmada por un registro o no lo está. Además, el test detecta un fallo típico de los agentes: referencias seguras a lo que no han leído.

Para los departamentos de compliance y AML, el benchmark indica que ya se puede dejar a los agentes la rutina manual, como bifurcar transferencias y buscar puentes, pero no se puede confiar en ellos para que la investigación sea exhaustiva. Por ahora el agente deja cabos sueltos, que habrá que completar con recorridos deterministas o con personas.

Hay también una segunda ventaja. Los veredictos del verificador pueden usarse como señal para el aprendizaje por refuerzo, como ya se hace con las tareas de código. Aquí no hace falta inventar la dificultad a mano: la crean los atacantes reales, que cambian sus técnicas de un caso a otro.