JockeyBench: 28 конфигураций LLM-агентов проиграли на скачках в Японии

Если LLM-агент неплохо предсказывает исход события, значит ли это, что на нём можно зарабатывать? Команда из HKUST KnowComp проверила это на японских скачках и получила неудобный ответ. В бенчмарке JockeyBench 28 конфигураций «модель плюс обвязка» прогнали по 324 историческим забегам. Парные тесты после поправки на множественные сравнения нашли семь улучшений от пересмотра прогноза и два ухудшения. При этом средняя прибыль при ставках по capped-Kelly отрицательна у каждой конфигурации без исключения.

Скачки как испытательный стенд для агентов

Авторы (Zhongwei Xie, Xingsu Li, Jingqiao Yu, Zihao Wang, Hong ChiTat, Zhaowei Wang, Weizhi Du, Yuxuan Liu, Huihao Jing, Jiaxin Bai и Yangqiu Song) решают конкретную задачу: повторяющееся прогнозирование событий. Агент должен вытащить сигнал из шумных данных, а потом показать, что этот сигнал чего-то стоит в серии последовательных решений. Скачки подходят для такого теста почти идеально: события регулярные, исходы однозначные, рынок ставок даёт цену ошибки.

Главная инженерная идея в том, как устроена честность эксперимента. Данные отдаются по времени, и агент не видит ничего из будущего относительно забега. Инструменты платные, то есть исследование стоит денег и в итоговой оценке учитывается. Для сравнения используются парные контроли с замороженными программами: так можно отделить эффект от пересмотра прогноза от случайного разброса.

Две схемы работы и три слоя оценки

Бенчмарк сравнивает два рабочих процесса:

• LLM пишет предиктор, то есть программу, которая затем исполняется и выдаёт прогнозы;
• LLM собирает свидетельства и делает новый прогноз под каждый отдельный забег.

Оценка разведена на три независимых уровня:

• качество прогноза;
• чистая полезность, специфичная для бенчмарка, с учётом платы за инструменты;
• ретроспективная доходность и риск ставок при фиксированных правилах решений.

Имена конкретных моделей в описании работы не приводятся, поэтому сравнивать вендоров по нему нельзя. Зато есть структурный вывод. В сравнении четырёх моделей режим с переиспользуемой программой даёт более высокую среднюю прибыль и меньшие расходы на исследование. Выигрыш относительный: оба режима в среднем проигрывают.

Где деньги прячутся и где исчезают

Самое интересное в диагностике. Среднее смещение вероятностей, которое выглядит терпимо на всей выборке, меняет знак на тех ставках, которые агент реально выбрал. Иначе говоря, модель особенно уверена там, где её уверенность ошибочна: отбор ставок усиливает завышенные оценки. Это знакомая болезнь любых систем, которые ищут «ценность» относительно рынка, и LLM от неё не застрахованы.

Вторая находка касается отдельных прибыльных прогонов. Они зависят от концентрированных доходов: один-два удачных исхода делают плюс на всей серии. Если смотреть только на лучшие запуски, легко принять везение за навык. Именно поэтому в бенчмарк встроены парные тесты и поправка на множественные сравнения, а средняя прибыль считается по всем конфигурациям.

Числа в итоге складываются так:

• 28 конфигураций «модель плюс обвязка»;
• 324 забега;
• 7 значимых улучшений от пересмотра и 2 значимых ухудшения;
• 0 конфигураций с положительной средней прибылью при capped-Kelly;
• 4 модели в отдельном сравнении двух рабочих процессов, где побеждает режим готовой программы.

Capped-Kelly задаёт размер ставки по критерию Келли с потолком. Он наказывает за переоценку собственных вероятностей, и именно это вскрывает слабость агентов.

Практический вывод для тех, кто строит агентов для прогнозирования, будь то спрос, цены, риски или рыночные события, такой. Оценивать нужно четыре вещи отдельно: предсказательную компетентность, способность адаптироваться, расход ресурсов и ценность самого решения. Улучшение метрики прогноза не гарантирует положительной отдачи, а дешёвая переиспользуемая программа может обыграть дорогое исследование на каждый случай. Код и страница проекта опубликованы на GitHub и на сайте HKUST KnowComp, так что протокол можно перенести на другие домены с повторяющимися событиями.