Метод FMR снижает ошибки выравнивания RL-агентов на 98% при обучении с имитацией

Исследователи опубликовали в июле 2026 года препринт arXiv с описанием Feedback Manipulation Regularization (FMR) — метода однопроходного офлайн-выравнивания агентов при обучении с имитацией, который снижает частоту нарушений ценностных ограничений на 98%.

Зачем нужен новый метод выравнивания

Современные подходы к выравниванию RL-агентов — то есть к обучению систем, которые действуют согласно человеческим ценностям, — в большинстве случаев строятся на многоступенчатых пайплайнах. Сначала агент учится на демонстрациях, потом получает оценочную обратную связь от людей, потом проходит отдельный этап тонкой настройки — как в RLHF.

Такие схемы изначально создавались для языковых моделей в формате «контекстного бандита»: вся последовательность действий сводится к генерации одного ответа. Для полностью последовательных сред — робототехники, игровых агентов, автономных систем — эта архитектура работает плохо. Агент принимает решения шаг за шагом, и даже небольшое отклонение от ценностных ограничений накапливается по всей цепочке действий.

Как работает FMR

FMR решает эту проблему, встраивая оценочную обратную связь непосредственно в процесс имитационного обучения в качестве регуляризатора — без отдельного этапа RLHF или многоступенчатого пайплайна.

Ключевые свойства метода:

• Алгоритмическая нейтральность: FMR работает поверх любого существующего алгоритма обучения с имитацией, не требуя изменения базовой архитектуры
• Однопроходное офлайн-обучение: весь процесс выравнивания — один этап, без переключения между пайплайнами
• Устойчивость к дефициту данных: метод сохраняет эффективность при скудных и зашумлённых обучающих демонстрациях
• Корректирующий сигнал, а не дополнительная награда: обратная связь смещает распределение обучения к выровненному поведению, а не добавляет ещё одну функцию вознаграждения

Что показали тесты в Safety Gymnasium

Для проверки метода авторы адаптировали платформу Safety Gymnasium — набор симулированных сред, разработанных специально для оценки безопасного поведения агентов. FMR тестировался поверх нескольких базовых алгоритмов имитационного обучения.

Результаты оказались заметными: на всём диапазоне протестированных алгоритмов метод снизил уровень несоответствия ценностным ограничениям до 98%. Это означает, что агент значительно реже нарушает заданные человеческие ограничения — и при этом не теряет в качестве имитации целевого поведения.

«FMR остаётся робастным в условиях ограниченных данных, даже при

обучении на скудных выровненных и информационно бедных зашумлённых демонстрациях», — сообщают авторы в препринте.

Важно, что улучшение проявилось одновременно в двух конкурирующих метриках: агент стал точнее копировать демонстрации и реже нарушал ценностные ограничения.

Что это значит

FMR — алгоритмически нейтральный и практически применимый способ улучшить выравнивание RL-агентов без полной перестройки системы обучения. Для разработчиков, работающих с реальными последовательными задачами — робототехника, автономные системы, симуляция — это потенциально готовый к использованию компонент, встраиваемый в существующий стек. Если результаты подтвердятся на более широких бенчмарках, FMR может войти в стандартный набор инструментов там, где ошибки выравнивания имеют реальные последствия.