Исследователи прогнали 120 конфигураций CPT для игровых агентов: от 0,8B до 27B

Команда исследователей поставила прямой вопрос: если масштабировать данные, разнообразие и размер модели, станут ли агенты лучше в виртуальных мирах, которые между собой почти ничем не связаны? В физическом мире все опыты подчиняются одним законам, и обобщение там получается естественно. В играх у каждого мира свой визуальный стиль, своя динамика, управление и цели. Ответ авторы искали на 120 конфигурациях continued pre-training (CPT): четыре размера модели от 0,8B до 27B, шесть бюджетов данных от 50 до 1 600 часов и пять составов корпуса, от одного Minecraft до набора разных миров.

Три оси и три уровня проверки

Дизайн эксперимента важнее любой отдельной цифры. Авторы варьировали три фактора независимо: объём данных, разнообразие и размер модели. Качество измеряли на трёх уровнях валидационного лосса и на игровых бенчмарках. Сначала миры из самого обучающего корпуса, затем родственные им, затем вообще не виденные. Так видно, где именно заканчивается перенос навыков.

Ключевые метрики и параметры исследования:

• 120 конфигураций обучения;
• размеры моделей: от 0,8B до 27B параметров;
• бюджеты данных: от 50 до 1 600 часов;
• пять миксов: от только Minecraft до разнородных мультимировых корпусов;
• оценка по лоссу и по геймплейным бенчмаркам в трёх зонах: знакомые, родственные и незнакомые миры.

Что даёт каждая ось

Картина вышла неровной. Больше данных улучшает результат внутри корпуса, и это ожидаемо. Разнообразие помогает переносу на родственные миры, но в далёких играх выигрыш остаётся небольшим. Размер модели повышает эффективность использования данных: крупная модель быстрее выжимает пользу из тех же часов геймплея. Но если обучать её на одном мире, в далёких мирах она обобщает хуже. Крупная модель, обученная узко, глубже подгоняется под свой мир.

Это практичное наблюдение. Масштаб без разнообразия может усилить специализацию, а не универсальность. Для команд, которые собирают датасеты под агентов, это аргумент считать бюджет не только в часах, но и в числе непохожих миров.

Две фазы обучения

Самое интересное в статье — динамика обучения. Авторы выделяют раннюю «интерфейсную» фазу, когда польза распространяется широко по разным мирам. Модель учится базовым вещам: как читать экран, как связаны наблюдения и действия, как работает управление. Затем наступает «мировая» фаза, в которой приросты сужаются до миров из корпуса и родственных им. Модель начинает запоминать устройство конкретных миров, а на дальние это уже почти не переносится.

На этой основе авторы подогнали эмпирический закон масштабирования. Он связывает валидационный лосс с объёмом данных, разнообразием и размером модели. Это позволяет прикидывать эффект до запуска дорогого обучения. Правда, закон описывает лосс, а не успех в игре, и разрыв между ними остаётся отдельной проблемой.

Сравнение со специалистами и пределы имитации

По итоговым бенчмаркам модели конкурентоспособны со специалистами по Minecraft и с frontier-моделями в 3D-мирах. Лучше всего они проявляют себя в режиме реального времени. Здесь важна скорость реакции, а компактная модель, обученная на игровых демонстрациях, не тратит время на длинные рассуждения.

Ограничения авторы называют сами. Обучение на демонстрациях упирается в потолок имитации: модель повторяет то, что видела, но не открывает новых стратегий. В далёких мирах разрыв сохраняется при любых изученных масштабах. Вывод статьи прямой: для универсальных воплощённых агентов нужны более богатые стадии обучения после CPT.

Что брать в работу

Для разработчиков агентов выводы такие. Если цель — сильный игрок в конкретной игре или семействе похожих игр, достаточно наращивать данные и модель внутри этого семейства. Если нужен перенос на новые миры, надо закладывать в корпус разнородные игры и не рассчитывать, что размер модели сам решит проблему. Раннюю интерфейсную фазу можно использовать как дешёвый старт, но дальше выгоду нужно проверять на незнакомых мирах, а не только по лоссу. Для настоящего обобщения следующим шагом выглядит обучение с подкреплением или другие постобучающие стадии, которые выходят за рамки имитации.