LiveMACEBench проверил пять LLM-агентов на живом рынке за 30 дней

Исследователи представили LiveMACEBench: бенчмарк, который проверяет LLM-агентов не по итоговому результату, а по тому, как они принимают решения. Тестовой площадкой стали живые финансовые рынки. Пять frontier-моделей работали как постоянные агенты 30 дней подряд, а авторы сохраняли полные трассы решений и разбирали их по механизмам. Главный результат: реализованная доходность часто расходится с измеренными способностями, а похожие итоги получаются при очень разных паттернах поведения.

Почему рынок, а не статичный набор задач

Классические агентные бенчмарки работают в замкнутой среде с фиксированными условиями. Агент решает задачу, получает оценку, и на этом всё. В эволюционирующей среде картина другая. Итог там возникает из петли обратной связи: поведение агента влияет на состояние дел, а внешние условия меняются независимо от него. Если смотреть только на финальную цифру, невозможно понять, чем она обусловлена: грамотным использованием инструментов, удачной памятью о прошлых шагах, соблюдением правил или просто везением на конкретном отрезке рынка.

Живой финансовый рынок подходит для такого теста естественным образом. Он постоянно меняется, его нельзя заучить заранее, а данные по ходу испытания нельзя подогнать под модель. Авторы называют это «естественно эволюционирующим полигоном» для персистентных агентов.

Как устроен LiveMACEBench

В эксперименте участвуют пять frontier-LLM. Они работают по непрерывным траекториям, а не отдельными эпизодами. Каждая модель проходит через сопоставимые конфигурации, где включаются или отключаются отдельные возможности.

• Tool Use: использование внешних инструментов.
• Persistent Memory: сохранение и применение памяти между шагами.
• Rule Following: соблюдение заданных ограничений и правил.
• Multi-Agent Collaboration: взаимодействие нескольких агентов.
• Длительность: 30 дней живой оценки.
• Метрики: реализованный результат плюс диагностика по конкретным механизмам на основе полных трасс решений.

Вторая группа метрик здесь главная. Авторы смотрят не только на то, что агент заработал, но и на то, как он обращался с инструментами, что вспоминал из памяти, нарушал ли правила и как согласовывал действия с другими агентами.

Разрыв между результатом и способностью

Ключная находка называется outcome-capability gap. Доходность нередко не совпадала с оценкой конкретных способностей. Бывало и наоборот: близкие итоговые результаты скрывали заметно разные схемы использования механизмов. Две модели могли прийти к похожему числу, одна за счёт аккуратной работы с инструментами и памятью, другая за счёт чего-то совсем иного.

Трассировка решений показала и разные узкие места. У разных способностей они оказались свои, поэтому одна общая оценка «качества агента» не отражает реальной картины. Авторы разделяют три вещи, которые часто смешивают: доступ к механизму, эффективное использование механизма и итоговую результативность. По их выводам, эти величины не взаимозаменяемы.

В аннотации не приведены названия моделей и численные значения доходности, поэтому сравнивать вендоров по ней нельзя. Ценность работы в методологии: она превращает live-рынок из турнирной таблицы в диагностическую среду.

Что делать командам, которые строят агентов

Практический вывод простой: логируйте не только результат, но и весь путь к нему. Если ваш агент торгует, пишет код, ведёт поддержку или управляет процессами, полные трассы решений нужны для отладки не меньше, чем метрика успеха.

Второе: проверяйте механизмы по отдельности. Наличие памяти или набора инструментов в архитектуре не гарантирует, что агент ими пользуется осмысленно. Полезно заводить метрики вида «как часто и насколько уместно вызывается инструмент» и «влияет ли извлечённая память на решение».

Третье: не доверяйте единичному прогону в меняющейся среде. Хорошая доходность за короткий период может быть шумом, а слабая может скрывать сильные способности, которые просто не совпали с рыночной фазой. Диагностика по трассам помогает отличить одно от другого и понять, что именно улучшать: память, дисциплину правил или координацию между агентами.

Для тех, кто выбирает модель под агентный продукт, вывод тоже прикладной: сравнивайте кандидатов на ваших трассах, а не по одному публичному лидерборду.