ProD учит малые ИИ-агенты не зацикливаться: тест на 8 моделях от 0,6B до 8B

Восемь малых языковых моделей размером от 0,6 до 8 млрд параметров стали полигоном для нового метода дистилляции агентов. Он называется Progress-Aware Distillation, или ProD. Авторы работы, опубликованной в Hugging Face Daily Papers, целятся в конкретную болезнь: дистиллированные агенты-ученики на длинных задачах застревают в петлях и повторяют стратегии, которые уже не сработали.

Почему маленькие агенты зацикливаются

Агентные системы на больших LLM решают сложные задачи, но платят за это токенами и задержкой. Каждый шаг рассуждения, каждый вызов инструмента и каждый ответ среды удлиняют контекст и увеличивают счёт. Для продакшена это серьёзное ограничение, поэтому индустрия переносит агентные навыки в малые модели. Стандартный путь — дистилляция через supervised fine-tuning: учитель решает задачи, ученик обучается на его траекториях.

Проблема в том, что чем длиннее траектория, тем хуже ученик держит курс. Цепочки «рассуждение — действие» растягиваются, обратной связи от среды становится много, и модель начинает ходить по кругу. Авторы называют это стагнацией прогресса: агент снова и снова применяет неработающие подходы и не продвигается к цели. По их систематическому анализу, эффект воспроизводится на разных малых моделях и в разных типах задач. То есть дело не в одной неудачной архитектуре.

Как работает ProD

Идея метода в том, чтобы сделать стагнацию измеримой и наказуемой прямо в обучении. ProD явно находит стагнацию в траекториях, которые генерирует сам ученик, и штрафует её. Разрыв между учеником и учителем по этому показателю кодируется в адаптивный margin. Чем сильнее ученик отстаёт от учителя по прогрессу, тем жёстче штраф. Когда разрыв сокращается, давление ослабевает.

Процедура применяется итеративно, и ученик шаг за шагом приближается к поведению учителя. В описании нет деталей реализации, но структура с margin и траекториями самого ученика напоминает методы обучения на предпочтениях. Это моё предположение по аннотации, а не утверждение авторов. Важнее другое: обучение идёт не только на «идеальных» демонстрациях учителя. Ученик видит и собственные провальные пути, а метод объясняет ему, что именно в них плохо.

Что показали эксперименты

По данным аннотации, тестирование было широким:

• 8 малых языковых моделей;
• диапазон размеров от 0,6B до 8B параметров;
• бенчмарки внутри домена обучения (in-domain) и вне его (out-of-domain);
• метрики: доля успешных задач и эффективность их выполнения.

Авторы заявляют, что ProD существенно снижает стагнацию и одновременно повышает и success rate, и эффективность выполнения задач. Конкретных процентов в аннотации нет, поэтому оценивать масштаб выигрыша рано. Нужно смотреть полный текст: названия бенчмарков, базовые методы для сравнения, разброс результатов между моделями. Отдельный вопрос — сколько стоит итеративный цикл с генерацией траекторий учеником и разметкой стагнации.

Что делать командам, которые строят агентов

Инженерам, которые собирают дешёвых агентов на моделях класса 1–8B, стоит проверить, где именно проседает качество. Если успех падает с длиной эпизода, а в логах видны повторяющиеся действия, это та самая стагнация. Простой диагностический шаг — считать долю траекторий с повторами одного и того же действия или с отсутствием продвижения за N шагов. Такой показатель полезен независимо от того, подойдёт ли вам ProD.

Если вы дистиллируете агентов сами, имеет смысл включить в обучающий цикл траектории ученика, а не только учителя. Для этого придётся оплатить дополнительные прогоны и разметку прогресса. Взамен вы получаете шанс сократить число токенов на задачу и не потерять в надёжности. Пока это результат одной статьи без независимой проверки. Но он указывает на реальное узкое место: дешёвый агент ломается не на первом шаге, а на двадцатом.