AlphaBet учит LLM-агента прогнозировать события: Brier лучше на 14,4%

Исследователи из команды Liqin Ye (в работе указан Georgia Institute of Technology) выпустили AlphaBet, фреймворк агентного обучения с подкреплением, который превращает языковую модель в прогнозиста реальных событий. Базовая GLM-4.5-Air после обучения снизила Brier score на бенчмарке Forecast-Dojo с 0,731 до 0,626, а на FutureX с 0,612 до 0,528. В относительных числах это 14,4% и 13,7%. Меньше Brier значит, что вероятности лучше соответствуют реальным исходам. Код, модели и данные лежат в открытом доступе.

Почему прогноз нельзя тренировать на готовой подборке фактов

Прогнозирование ещё не случившегося события состоит из двух задач: найти релевантные свидетельства и решить, насколько сильно они поддерживают каждый исход. Многие схемы обучения LLM-прогнозистов по результату начинают с заранее собранных материалов на одну дату предсказания. Поиск доказательств при этом остаётся за пределами цикла обучения: модель учится взвешивать то, что ей дали, но не учится добывать то, что нужно.

AlphaBet встраивает поиск прямо в политику. Одна модель ищет информацию, рассуждает и выдаёт вероятности на нескольких датах до развязки события. Каждый датированный прогноз оценивается строгим правилом скоринга (proper scoring rule) по итоговому исходу. Один разрешившийся вопрос становится источником сигнала сразу для нескольких состояний информации: за месяц до события, за неделю, за день.

Два разрыва в ошибке прогноза

Авторы раскладывают регрет прогнозиста на две составляющие:

• разрыв приобретения доказательств: модель не нашла или не запросила нужные данные;
• разрыв отчёта вероятностей: данные найдены, но число на выходе откалибровано плохо.

Контролируемые абляции показывают, что выигрыш приходит от обучения по нескольким датам и складывается из улучшений в обеих частях. RL учит модель лучше искать и точнее переводить найденное в проценты.

Подвох с нормализацией в GRPO

Отдельный результат касается Group Relative Policy Optimization. Стандартная реализация нормирует преимущество внутри группы выборок на стандартное отклонение награды. Авторы показывают, что при многоклассовых строгих скорингах такая нормировка может исказить целевое распределение, которое модель должна воспроизвести при отчёте вероятностей.

Эмпирика это подтверждает. Нормализация по std ухудшает качество по строгому скорингу, а точность угадывания самого вероятного исхода почти не меняется. Модель продолжает называть верного фаворита, но хуже расставляет проценты. Для задач, где важна калибровка, а не угадывание «да/нет», это существенная оговорка к привычному рецепту.

Ключевые данные работы

• Фреймворк: AlphaBet, агентный RL с единой политикой для поиска, рассуждения и вероятностного отчёта.
• Базовая модель: GLM-4.5-Air.
• Forecast-Dojo: Brier 0,731 → 0,626, улучшение 14,4%.
• FutureX: Brier 0,612 → 0,528, улучшение 13,7%.
• Ключевой приём: обучение по нескольким датам до разрешения события, каждая оценивается строгим правилом скоринга.
• Теоретическая рамка: разложение регрета на разрыв доказательств и разрыв вероятностей.
• Находка про GRPO: нормализация по стандартному отклонению ухудшает строгий скоринг и почти не влияет на top-outcome accuracy.
• Доступность: код на GitHub (AlphaBet-Agent/AlphaBet), модели и данные в коллекции liqinye/alphabet на Hugging Face, сайт проекта alphabet-agent.github.io.

Авторы работы: Liqin Ye, Rongzhi Zhang, Xin Liu, Zheng Li, Yuan He, Qingyu Yin, Priyanka Nigam и Chao Zhang.

Что с этим делать практикам

Командам, которые строят агентов для аналитики, рисков или рыночных ожиданий, стоит пересмотреть метрику. Если вы оцениваете только долю верных ответов, вы не видите калибровку, а именно она определяет ценность прогноза при принятии решений. Brier или другое строгое правило скоринга покажет разницу, которую accuracy скрывает.

Второй вывод касается обучения. Если вы тренируете агента с GRPO на задачах с вероятностным выходом, проверьте, как std-нормализация влияет на калибровку, и сравните варианты без неё. Третий вывод: одна и та же развязка события даёт несколько обучающих примеров на разных датах. Это дешёвый способ получить больше сигнала из ограниченного набора разрешившихся вопросов.

Открытые веса и данные позволяют воспроизвести результат и сравнить его с соседними работами по теме, например Forecast-Dojo с воспроизводимыми средами для обучения прогнозистов и исследованиями о совместном обучении действию и прогнозу у языковых агентов. Пока цифры получены на одной базовой модели и двух бенчмарках, поэтому перенос на другие LLM и домены остаётся вопросом для независимых проверок.