LLM-агенты за 20 дней построили ИИ для Hearthstone Battlegrounds сильнее топ-10 игроков

Исследователи из MCG-NJU (Changlian Ma и Limin Wang) проверили, что LLM-агенты умеют лучше: играть или строить. Ответ оказался однозначным. Их система AutoTavern за 20 дней собрала полный симулятор Hearthstone Battlegrounds и обучила на нём агента TavernAgent, который на живой лестнице обошёл десять сильнейших игроков сервера. Рейтинг вырос с 6000 до около 15 000 MMR, а в последних 20 партиях бот набрал среднее место 1,60 и 80% побед.

Battlegrounds — тяжёлая среда для ИИ: восемь игроков, случайные магазины и бои, скрытая информация и почти тысяча взаимодействующих карт. Именно поэтому авторы выбрали её как испытание для «исследовательских» агентов, способных довести сложную задачу от сырых данных до системы, которая держится наравне с людьми.

Исследовательская фабрика вместо игрока

AutoTavern устроен как самоулучшающаяся исследовательская система. Специализированные LLM-агенты делят общую типизированную память исследования, каждое утверждение проходит через верификационные ворота, а живые партии замыкают цикл обратной связи. По итогам агенты улучшают симулятор, оппонентов и политику, а заодно и собственный исследовательский процесс. Человек задаёт цели и правила для неоднозначных механик, то есть остаётся арбитром, а не разработчиком.

Первым результатом стал TavernGym: по заявлению авторов, первая точная воспроизводимая копия живой игры с полным набором контента. Поверх него агенты выпустили 23 версии TavernAgent. Он обучен через PPO против оппонентов, откалиброванных по реальным партиям, и играет полные матчи на лестнице полностью самостоятельно.

Цифры против людей и против LLM

По метрике публичного лидерборда TavernAgent показывает среднее место 1,60 и 80% первых мест на последних 20 записях. У десяти самых рейтинговых игроков сервера те же показатели составляют 2,34 и 59%. Бот выигрывает по каждой статистике.

Для сравнения с языковыми моделями авторы собрали TavernBench: 960 задач в 40 сценариях. Основные результаты:

• TavernAgent решает 91% задач на игру, лучшие фронтирные LLM не более 63%;
• время решения у TavernAgent 0,03 с, у LLM до 26 с;
• в рамках одной секунды, которую даёт живой ход, TavernAgent сохраняет 90% качества, а ни одна LLM не превышает 26%;
• рейтинг на лестнице: с 6000 до примерно 15 000;
• среднее место: 1,60 против 2,34 у топ-10 сервера;
• доля первых мест: 80% против 59%;
• объём работы: 20 дней, 23 версии агента.

Авторы формулируют вывод жёстко: LLM-агенты строят гораздо лучше, чем играют. Языковая модель, которой надо думать десятки секунд над ходом, проигрывает маленькой специализированной политике, созданной ею же или её коллегами.

Что забрать себе

Главный практический урок: не стоит заставлять LLM принимать каждое игровое решение. Выгоднее использовать её как инженера, который строит среду, проверяет правила, обучает компактную модель и итеративно улучшает её по реальным данным. Это же касается любых задач с жёсткими ограничениями по задержке: торговли, логистики, робототехники, симуляций.

Второе: верификационные ворота и общая типизированная память выглядят как рабочий рецепт для длинных автономных исследовательских циклов. Без проверки утверждений агенты быстро накапливают ошибки, а точный симулятор здесь стал фундаментом для всего остального.

Третье: код TavernGym и бенчмарк TavernBench открыты на GitHub (MCG-NJU/AutoTavern). Это даёт сообществу воспроизводимый стенд для проверки агентных систем на игре со скрытой информацией и случайностью. Стоит помнить, что результаты относятся к одной игре и заявлены самими авторами, а человек в цикле всё же решал спорные вопросы механик. Но 20 дней от нуля до уровня выше лучших игроков сервера показывают, куда движется автоматизация прикладных исследований.