ИИ-инженер написал одну функцию награды для команд агентов: винрейт вырос с 51% до 90%

Обучить команду роботов или игровых юнитов действовать сообща можно, только если вовремя говорить им, что они делают правильно. Такие подсказки называются функцией награды. Если платить лишь за итоговую победу, агенты почти не понимают, чьи действия к ней привели. Поэтому инженеры вручную добавляют промежуточные поощрения, а при смене карты или состава команды переделывают их заново. Д. Ургун из Карабюкского университета (Турция) предложил метод GARDEN, который отдаёт эту работу языковой модели. Он пошёл дальше предыдущих систем: награду пишут один раз для целого семейства похожих сценариев и переносят на новые без единой правки.

Что именно проверяли и какие получились цифры

Метод испытали в библиотеке JaxMARL на двух бенчмарках.

• Overcooked. Два повара готовят суп на тесной кухне: кладут ингредиенты в кастрюлю, достают готовое, несут тарелку. Стандартная награда даёт 20 очков за блюдо и небольшие бонусы за промежуточные шаги: 3 за ингредиент в кастрюле, 3 за тарелку, 5 за готовый суп. Расположение столов определяет, как поварам делить работу.
• SMAX. Это переписанный на JAX бенчмарк StarCraft Multi-Agent Challenge: отряд союзных юнитов сражается с врагами, которыми управляют встроенные скрипты. Награда равна 1, если враги уничтожены, а хотя бы один свой юнит выжил. Среднее по эпизодам совпадает с процентом побед. Стандартный бонус даётся за урон по врагам.

Новыми для награды были четыре сценария. В Overcooked это две раскладки кухни: с делящей стойкой и с центральной стойкой. В SMAX это бой против увеличенной команды морпехов и бой со случайными типами и стартовыми позициями юнитов. На них итоговый результат Overcooked оказался выше стандартной награды на 58,2% и 52,5%. Средний процент побед в SMAX поднялся с 51,0% до 89,9%. Для сравнения взяли два подхода с тем же числом кандидатов и пробных запусков. Фиксированный диагностический отчёт дал 84,2%, рефлексия в духе Eureka (модель правит награду по статистике обучения) дала 79,2%.

Как модель сама ищет, что не так с наградой

В большинстве прежних методов, включая Eureka, формат обратной связи задан заранее: модель получает сводные кривые обучения и по ним переписывает код. Если проблема координации в них не видна, она остаётся незамеченной. В GARDEN LLM-инженер работает как человек в терминале. Через ограниченную командную оболочку он читает исходники среды и алгоритма, логику стандартной награды, конфиги, траектории, потери, чекпоинты. При необходимости он пишет собственные скрипты анализа. Готового списка проверок ему не дают.

Гипотезы он проверяет пробными обучениями. Это ограниченное число запусков черновика на одном из сценариев разработки с теми же алгоритмом, бюджетом и случайным зерном, что и в итоговой оценке. К каждой версии награды модель прикладывает короткий отчёт: какие данные смотрела, какой механизм предполагает и в чём слабые места.

Процесс идёт поколениями кандидатов:

• Каждый кандидат работает в независимой сессии и не видит черновиков и проб «братьев» по поколению. Результаты прошлых поколений ему доступны.
• После фиксации версию обучают и оценивают на каждом сценарии разработки.
• Финальную награду выбирает формула: среднее улучшение над стандартной наградой на сценариях разработки. При равенстве смотрят на худший сценарий, затем на средний результат, затем на идентификатор. Предпочтения модели и данные новых сценариев в выборе не участвуют.
• Выбранный код замораживают, считают хеш и обучают новых агентов с нуля на скрытых сценариях.

Модель не знает номер сценария и должна выводить его из геометрии карты или состава команды. Читать код стандартной награды ей можно, вызывать её из своего кода нельзя. Обучаемая «память» награды ограничена и сбрасывается в начале каждого эпизода. Скрытые сценарии защищены очищенными рабочими папками и журналом действий.

Что это даёт на практике и где пределы

Перенос здесь касается самой награды, а не обученных политик: агентов на новых картах учат заново. Авторы подчёркивают, что измеряют обобщение сигнала обучения. Для инженеров это экономия: одна автоматически написанная награда может заменить переписывание под каждую раскладку или состав отряда. Для робототехники и логистики с изменчивой конфигурацией команд это особенно важно.

Ограничения есть. Эксперименты покрывают два семейства задач и четыре скрытых сценария. Гарантий переноса автор не даёт: выбор строится на данных разработки, а скрытые результаты заранее неизвестны. Для честного сравнения стандартный шейпинг в Overcooked оставлен постоянным, хотя в справочной конфигурации JaxMARL он затухает. Проверять метод на других средах придётся сообществу: код, промпты и конфигурации лежат в открытом репозитории DoganUrgun/GARDEN.