ProAS ускорил обучение LLM-агентов в 2,44 раза и довёл ALFWorld до 94,3%

Команда LINs-lab опубликовала ProAS, Progress-Aware Advantage Shaping: подключаемую надстройку для обучения LLM-агентов с подкреплением. Метод не требует отдельной критик-модели и поднимает результаты групповых базовых алгоритмов до нового уровня. На Qwen2.5-7B-Instruct агент решает 94,3% задач в ALFWorld и 70,8% в WebShop, а версия на 1,5 млрд параметров достигает 91,9% и 66,7%. Обучение при этом сходится до 2,44 раза быстрее.

Проблема: одна оценка на всю траекторию

RL стал основным способом дообучать LLM-агентов. Самые популярные алгоритмы без критика, к которым относится GRPO, дёшевы, потому что не держат вторую большую сеть для оценки состояний. Цена этой экономии в том, что преимущество (advantage) считается на уровне всей траектории и раздаётся поровну всем действиям в ней.

Авторы ProAS показывают, к чему это приводит в многошаговых задачах, где агент совершает десятки действий.

• В удачной траектории поощряется всё подряд, в том числе структурно бессмысленные шаги: лишние переходы, повторные проверки, петли. Модель закрепляет их как «правильные» только потому, что финал оказался успешным.
• В неудачной траектории все действия наказываются с одинаковой силой, хотя одни шаги почти привели к цели, а другие увели агента далеко от неё. Сигнал не различает ошибку на втором шаге и промах на последнем.

В длинных агентных сценариях это замедляет обучение и тянет вниз итоговый успех.

Как ProAS перераспределяет награду

Вместо критика метод использует Agentic Reference Graph (ARG), динамически развивающийся граф-ориентир. Он позволяет оценивать прогресс каждого действия относительно задачи. На этой оценке строятся два механизма:

• Masking Unreasonable Incentives (MUI) маскирует положительный сигнал для действий, которые не имеют смысла, даже если они лежат в «хорошей» траектории.
• Asymmetric Penalty Redistribution (APR) перераспределяет штраф в плохих траекториях в зависимости от того, насколько оставшийся путь отклоняется от нужного. Шаги, сильнее уводящие от цели, получают больше штрафа.

Это plug-and-play-схема: она калибрует расчёт преимущества в уже существующих групповых алгоритмах и не меняет остальной пайплайн обучения.

Цифры и устойчивость

Эксперименты проведены на двух моделях семейства Qwen2.5-Instruct, на бенчмарках ALFWorld и WebShop:

• Qwen2.5-1.5B-Instruct: 91,9% успеха на ALFWorld, 66,7% на WebShop.
• Qwen2.5-7B-Instruct: 94,3% на ALFWorld, 70,8% на WebShop.
• Ускорение сходимости обучения: до 2,44 раза.
• Результаты получены поверх нескольких распространённых групповых базовых методов, и авторы заявляют, что ProAS поднимает их все до нового state-of-the-art.

Отдельно проверена устойчивость к качеству графа-ориентира. Метод сохраняет эффективность и с неидеальными, и с дистиллированными ARG. Это важно, потому что идеальный граф для реальных агентных задач получить трудно, а работоспособность на приближённых вариантах снижает порог входа.

Кому это пригодится на практике

Команды, которые обучают агентов на GRPO-подобных схемах, обычно упираются в стоимость вычислений и в нестабильность сигнала на длинных траекториях. ProAS бьёт по обеим проблемам: критик не добавляется, а ускорение до 2,44 раза означает меньше GPU-часов на тот же результат. Подходит метод тем, кто строит агентов для навигации по средам, веб-сценариев и многошаговой автоматизации.

Код опубликован в репозитории LINs-lab/ProAS на GitHub, так что гипотезу можно проверить на собственных задачах. Оговорка одна: цифры получены на двух бенчмарках и на моделях до 7 млрд параметров. Как метод поведёт себя на более крупных моделях и в менее структурированных средах, покажут независимые воспроизведения. Но идея оценивать вклад каждого шага без критика выглядит рабочим способом сделать агентное RL дешевле и аккуратнее.