OGPO учит VLA-модели возвращаться к цели после сбоя без онлайн-дообучения

Группа исследователей опубликовала на arXiv метод OGPO (Offline Goal-conditioned Policy Optimization) для постобучения vision-language-action моделей. Идея: перестать учить робота повторять каждое действие эксперта и вместо этого учить его достигать ключевых состояний задачи. Данные при этом остаются прежними, то есть офлайн-демонстрациями, а дополнительные запуски на роботе или в симуляторе не нужны. Метод проверили на двух стандартных наборах, LIBERO и MetaWorld, и на двух тестах устойчивости, включая новый бенчмарк LIBERO-ReAct. Конкретных числовых приростов в аннотации нет, поэтому масштаб улучшения пока оценить нельзя.

Где ломается обычное дообучение

Сейчас постобучение VLA в основном сводится к supervised fine-tuning на траекториях. Модель видит кадр с камеры, инструкцию и состояние робота, а затем предсказывает действие, которое в этой точке выполнил оператор. Для освоения допустимых движений этого достаточно. Но у подхода есть системный перекос: политика привязывается к конкретным путям из демонстраций.

Пока всё идёт по записанному сценарию, проблем нет. Стоит предмету сместиться, захвату соскользнуть или руке отклониться от привычной дуги, и модель оказывается в состоянии, которого в обучающих данных не было. Подсказки, как вернуться к прогрессу в задаче, у неё нет: ей показывали только, что делать на эталонном пути, а не как к нему вернуться.

Что меняет OGPO

Авторы пересматривают роль демонстраций. Каждую траекторию адаптивно размечают семантическими ключевыми состояниями, то есть промежуточными точками, которые отражают продвижение к цели: предмет схвачен, крышка снята, объект поднят. Затем строятся целеориентированные процессные награды, и политику оптимизируют так, чтобы она достигала именно этих состояний.

По сути, постобучение смещается от имитации действий к обучению достижимости ключевых состояний. Политика учится завершать задачу из допустимых состояний, лежащих вне демонстраций. Всё это происходит офлайн: ни реальный робот, ни симулятор в цикле обучения не участвуют. Для робототехники это существенно, потому что онлайн-обучение VLA дорого, медленно и на физическом железе небезопасно.

Как проверяли

Авторы сообщают о следующем:

• на LIBERO и MetaWorld OGPO последовательно улучшает качество политики по сравнению со стандартным supervised fine-tuning;
• на LIBERO-Plus метод показывает большую устойчивость к сдвигам распределения;
• на LIBERO-ReAct, новом бенчмарке с возмущениями посреди выполнения задачи, OGPO лучше возвращается к цели из состояний вне демонстраций;
• дополнительное онлайн-взаимодействие не требуется ни на одном этапе.

Отдельного внимания заслуживает LIBERO-ReAct. Большинство бенчмарков измеряют успех при чистом старте, а здесь сбой вносят в середине эпизода и смотрят, сумеет ли модель восстановиться. Это ближе к реальной эксплуатации, где идеальных условий нет.

Что проверить перед использованием

Пока это препринт, и версия v1 не прошла рецензирования. В аннотации нет абсолютных цифр, размеров моделей, затрат на разметку и сравнения с методами, использующими онлайн-RL, поэтому выводы о преимуществе стоит делать после чтения полной статьи и таблиц.

Команде, которая дообучает VLA на собственных демонстрациях, стоит посмотреть на три вещи. Во-первых, как именно выбираются ключевые состояния и насколько автоматически: от этого зависят затраты на подготовку данных. Во-вторых, переносится ли метод с симуляционных наборов LIBERO и MetaWorld на реальные манипуляторы с шумными сенсорами. В-третьих, имеет смысл добавить в собственную валидацию тесты с возмущением посреди эпизода, по образцу LIBERO-ReAct. Даже без OGPO это покажет, насколько ваша политика зависит от эталонной траектории.