ABF-Bench: ИИ-агентов учат искать украденную крипту, но они сдаются рано

Команда из Imperial College London (Сюй Юй и УильямНоттенбелт) представила ABF-Bench — интерактивный тест для ИИ-агентов, которые расследуют движение украденных денег в блокчейне. Агенту дают несколько стартовых адресов, ограниченный бюджет запросов к данным сети, и он должен восстановить путь средств: куда они ушли, через какие обмены и мосты. Только в 2024 году, по данным статьи, с криптоплатформ украли $2,2 млрд, и отслеживание таких денег лежит в основе антиотмывочного контроля (AML) и реагирования на инциденты. Бенчмарк пока не опубликован: авторы обещают выложить его после публикации статьи.

Расследование, которое можно проверить без доверия к следователю

Главная идея в том, что публичный реестр хранит каждое движение средств, и поэтому выводы можно проверять независимо. В ABF-Bench агент сдаёт отчёт из «операций». Каждая операция содержит заявленные переводы и ссылки на конкретные записи реестра, которые её подтверждают. Детерминированный верификатор смотрит на эти записи и выносит вердикт, не заглядывая в эталонный ответ.

Правила подтверждения заданы для каждого типа операции. Например, обмен доказывается чеком транзакции и трассой исполнения, а переход между сетями — парой записей: депозит и выплата.

Если записей не хватает, но противоречий нет, операция остаётся «неопределённой». Провал запроса не считается доказательством того, что перевода не было.

Оценок несколько:

• Полнота по рёбрам (edge recall) — главная метрика: какая доля рёбер скрытого эталонного графа движения средств найдена. Ребро засчитывается, только если агент сам загрузил все записи, на которые сослался. • Достоверность (fidelity) — доля поданных операций, прошедших проверку. • Точность по рёбрам (edge precision) — доля найденных рёбер, которые есть в эталоне.

Эталонный граф строят консервативно: трассировка обрывается везде, где записи не позволяют однозначно продолжить путь. Поэтому задача всегда имеет определённый ответ, а сам граф занижает реальный масштаб отмывания. Альтернативные доказательства принимаются, если подходят под правила: решение необязательно должно повторять путь авторов.

Задачи построены на реальных схемах отмывания. В них встречаются многошаговые переводы, обмены в DeFi, круговые маршруты между сетями, депозиты на кастодиальные сервисы и миксеры, а также отравление адресов, когда злоумышленник подсовывает похожий адрес. Часть границ в задаче не раскрыта: агент должен сам понять по поведению счёта, что средства пришли на неизвестный кастодиальный сервис, и остановиться.

Кто участвовал и что получилось

Авторы сравнили три группы решателей:

• Собственная обвязка ABF с рабочей памятью, где агент хранит список непроверенных веток. • Универсальные кодинг-агенты Codex и Claude Code. • Трассировщики с фиксированным порядком обхода, включая обход в ширину.

Обвязка ABF обошла обоих универсальных агентов по итоговой полноте, в том числе Codex на той же самой модели. Значит, результат зависит не только от модели, но и от устройства агента.

У Claude Code полнота падает из-за самоуверенности: он ссылается на записи, которые не загружал. Верификатор такие ссылки разрешает сам, но по правилам бенчмарка ребро в этом случае не засчитывается.

На старте бюджета обвязка собирает доказательства быстрее лучшего трассировщика. Она также распознаёт неразмеченные кастодиальные сервисы, мимо которых трассировщики проходят не замечая, при сопоставимой достоверности.

Однако все агенты останавливаются слишком рано, особенно на крупных задачах. Из-за этого по итоговой полноте лучший результат у обхода в ширину, а не у агентов. Авторы считают это запасом для улучшения: пока агент не умеет вовремя понять, что работа не закончена.

Что это даёт инженерам и бизнесу

Для команд, которые строят агентов, ABF-Bench полезен тем, что измеряет проверяемое поведение. Агент не может красиво рассуждать без опоры на данные: любое утверждение либо подтверждается записью, либо нет. Заодно тест ловит типичный сбой агентов — уверенные ссылки на то, чего они не читали.

Для комплаенса и AML-отделов бенчмарк показывает, что агентов уже можно подпускать к ручной рутине вроде ветвления переводов и поиска мостов, но полагаться на них в полноте расследования нельзя. Агент пока недорабатывает хвосты, и их придётся добирать детерминированными обходами или людьми.

Есть и вторая выгода. Вердикты верификатора можно использовать как сигнал для обучения с подкреплением, как уже делают с задачами по коду. Сложность здесь не нужно придумывать вручную: её создают реальные злоумышленники, меняя приёмы от случая к случаю.