ProD предотвращает зацикливание ИИ-агентов: тест на 8 моделях (0,6B–8B)

Малые языковые модели-агенты застревают в циклах: повторяют неправильные стратегии, теряют прогресс на сложных задачах с длинными цепочками рассуждений. Это критично при дистилляции способностей крупных моделей в малые через supervised fine-tuning: студент обучается быстро, но не может выйти из локальных минимумов и зацикливается. Проблема одинаково актуальна для всех размеров моделей от 0,6B до 8B параметров.

Исследователи из Pennsylvania State University и Microsoft CoreAI в статье NeurIPS 2026 предложили Progress-Aware Distillation (ProD) — метод, который явно штрафует зацикливание в loss-функции студента. Идея опирается на простой принцип: разрыв в прогрессе между малой моделью и большой моделью — это сигнал о стагнации, и его можно использовать для адаптивного штрафования.

Механика ProD

На каждом шаге взаимодействия агента со средой алгоритм сравнивает прогресс студента с прогрессом учителя: • Если студент движется в ногу с учителем — штраф минимален • Если студент отстаёт, но ещё движется — штраф средний • Если студент полностью застрял (не движется, а учитель бы движился) — максимальный штраф

Этот разрыв кодируется в адаптивный margin, который меняется динамически. Затем идёт итеративная дистилляция: студент обучается с новым loss, становится немного лучше, и на следующей итерации стагнация пересчитывается с учётом его улучшений.

Эксперименты: 8 моделей, два типа бенчмарков

Тестирование охватило: • По размерам: 0,6B параметров, 1B–3B параметров, 3B–8B параметров • По доменам: in-domain (задачи из обучающего распределения) и out-of-domain (новые домены)

In-domain показывает, хорошо ли модель выучила метод. Out-of-domain проверяет, будет ли работать в боевых условиях на неизвестных задачах.

Результаты

ProD стабилизировал поведение агентов во всех восьми моделях:

1. Снижение зацикливания: значительно упал процент траекторий, где агент повторяет ошибки 2. Рост успешности: выросла доля корректно решённых задач (task success rate) 3. Эффективность: агентам нужно меньше шагов для решения (lower token consumption) 4. Обобщаемость: эффект сохранился на out-of-domain бенчмарках, что нетипично для дистиллированных моделей

Последний пункт особенно важен: обычно дистиллированные модели не обобщаются на новые домены. Здесь же качество сохранилось, что намекает на то, что ProD учит фундаментальный навык (не зацикливаться) вместо простого memorization.

Доступность и авторы

Статья опубликована полностью. Код открыт на GitHub: https://github.com/CaoYuanpu/ProD

Авторы: Yuanpu Cao, Saket Sathe, Hanyu Wang, Ziyi Yin, Fenglong Ma, Jinghui Chen (Pennsylvania State University и Microsoft CoreAI)

Авторский коллектив приглашает к обсуждению и готов отвечать на вопросы.