SpireBench заставил 20 LLM пройти Slay the Spire целиком: эксперты всё ещё впереди

Авторы SpireBench проверили 20 больших языковых моделей на полной коммерческой версии карточного рогалика Slay the Spire (StS) на высшей сложности. Фронтирные модели обыгрывают эвристические базовые алгоритмы и выходят на уровень среднего игрока-человека, но до экспертов не дотягивают. Разрыв растёт вместе с длиной забега. Лучшие модели выигрывают первый акт так же часто, как эксперты, а затем начинают проседать.

Зачем нужна длинная игра

Большинство агентных бенчмарков короткие и эпизодические. Модель решает задачу за несколько шагов, получает оценку, и всё заканчивается. Стратегическое рассуждение на длинной дистанции остаётся малоизученным. Вторая проблема в том, что результат на длинной задаче трудно разложить на три составляющие: хранимые знания, рассуждение и везение.

StS подходит для такой проверки. Ранние решения, например какие карты добавить в колоду, определяют успех через много часов игры. Ошибка в первом акте проявляется в третьем. Авторы утверждают, что их обвязка (harness) первой в своём классе даёт модели полную оригинальную игру, а не упрощённый клон. Они сравнивают её с уже существующими обвязками.

Где агенты теряют очки

Разбор по актам показывает характер отставания. На коротком отрезке сильные модели не уступают экспертам, но с каждым следующим актом накопленные ошибки стратегии отнимают всё больше шансов на победу.

Сильные модели отличаются от слабых тем, как играют каждый бой. При этом риск оценивают неправильно все 20. Модели берегут здоровье, хотя в таких играх его выгоднее тратить, чтобы усилить колоду. Осторожность выглядит разумной в каждом отдельном решении, но на длинной дистанции она снижает шансы на победу.

Ещё два наблюдения касаются знаний и памяти:

• Авторы последовательно переименовали все игровые термины. Результат показал, что часть успеха моделей держится на знании самой игры, полученном при обучении.
• Между забегами модели записывают себе заметки. Улучшения от них нет. Эти воспоминания часто содержат ошибки и слишком осторожны.

Ключевые результаты

• Выборка: 20 LLM, высшая сложность StS, полная игра.
• Фронтирные модели превосходят эвристические базовые алгоритмы и равны среднему человеку.
• До экспертов остаётся большой отрыв, и он растёт с длиной забега.
• В первом акте лучшие модели не уступают экспертам по доле побед.
• Сильных от слабых отделяет качество игры в отдельных боях.
• Общий дефект: недооценка пользы от трат здоровья ради роста силы.
• Переименование терминов выявляет зависимость от предобученных знаний об игре.
• Самописная память между забегами не даёт прироста.

Что забрать разработчикам агентов

Бенчмарк не насыщен: даже лучшим моделям есть куда расти, и это редкость для сегодняшних тестов. Авторы называют его инструментом, который показывает, где и почему агент ошибается, а не просто выставляет итоговую оценку.

Из результатов следуют несколько практических выводов. Во-первых, оценивать агента стоит по ранним, средним и поздним этапам отдельно, потому что общий процент побед скрывает, где именно начинается деградация. Во-вторых, переименование терминов дёшево проверяет, решает ли модель задачу или вспоминает её из обучающих данных. В-третьих, механизмы долговременной памяти нужно проверять на реальный прирост. Если агент пишет себе выводы и не становится лучше, заметки могут закреплять ошибочные и слишком осторожные привычки. Наконец, калибровку отношения к риску стоит тестировать отдельно: модель, которая избегает потерь, может проигрывать там, где нужно инвестировать ресурсы в будущий рост.

Вывод основан на аннотации препринта. Названия моделей, точные доли побед и методика сравнения с человеком есть только в полной версии статьи.