SERA учит VLM-планировщик самоэволюции: робот набрал 51,38% на RoboMME

Команда исследователей представила SERA (Self-Evolving Robotic Agent) — систему, где высокоуровневая vision-language модель работает как полноценный робототехнический агент, а за низкоуровневое управление отвечает зафиксированный VLA-исполнитель. Ключевой элемент — редактируемая «обвязка» (harness), которая хранит контекст задачи и со временем переписывается на основе опыта. На бенчмарке RoboMME SERA с автономным выбором конфигурации достигает 51,38% общего успеха, а без самоэволюции результат составляет 44,38%. Разница — ровно 7 процентных пунктов, или около 16% относительного прироста.

Почему роботу мало одного взгляда на сцену

VLA-модели хорошо справляются с манипуляциями, потому что объединяют визуальное понимание, языковые инструкции и генерацию действий в одной политике. Проблемы начинаются на длинных горизонтах. Там решения часто зависят от истории: что уже сделано, какой шаг завершился неудачей, куда был положен предмет, который сейчас не виден камере. Это немарковские зависимости, и текущий кадр их не передаёт.

К этому добавляются частичная наблюдаемость и накапливающиеся ошибки исполнения. Небольшой сбой на третьем шаге к десятому превращается в провал всей задачи. Индустрия уже пробует два пути: добавлять память в политики на базе foundation-моделей и строить иерархии, где планирование отделено от исполнения. SERA соединяет оба подхода и делает следующий шаг.

Обвязка, которая переписывает сама себя

Авторы организуют высокоуровневую VLM как агента. Вокруг неё стоит редактируемая обвязка, которая поддерживает контекст задачи: прогресс, результаты прошлых взаимодействий, наблюдения. Обвязка обновляется по данным наблюдений и обратной связи от исполнения, и эти обновлённые данные направляют следующий этап планирования. VLA-исполнитель при этом не трогают, он остаётся фиксированным.

Самоэволюция строится на прогонах в среде. Система предлагает ревизии обвязки, оценивает их на роллаутах и выбирает лучшую конфигурацию. Выбранный вариант фиксируется до тестирования на отложенной выборке. Это важная деталь: так итоговая цифра не подгоняется под тестовые задачи, а выбор делается автономно, без ручной настройки под бенчмарк.

Главные параметры работы:

• Архитектура: высокоуровневая VLM-агент плюс неизменный низкоуровневый VLA-исполнитель.
• Редактируемая часть: harness с контекстом задачи, обновляемый по наблюдениям и обратной связи.
• Механизм улучшения: предложение и оценка ревизий на средовых роллаутах.
• Протокол: конфигурация выбирается и фиксируется до held-out тестирования.
• Бенчмарк: RoboMME, задачи с зависимостью от истории.
• Результат: 51,38% с автономным выбором против 44,38% без самоэволюции.

Где здесь практическая ценность

Главный вывод для команд, которые работают с роботами: часть прироста можно получить, не переобучая VLA. Если исполнитель заморожен, улучшения идут через слой планирования и памяти. Его проще версионировать, откатывать и проверять, чем веса большой политики. Для компаний с готовой VLA-моделью это более дешёвый путь, чем новый цикл сбора демонстраций и дообучения.

Схема также показывает, как переносятся идеи из мира кодинговых агентов. Там обвязка вокруг модели, то есть инструкции, память и инструменты, давно признана отдельным источником качества. SERA применяет тот же принцип к физическим задачам и добавляет автоматический поиск лучшей версии обвязки.

Ограничения тоже видны из самих цифр. 51,38% означает, что примерно половина эпизодов на RoboMME всё ещё заканчивается неудачей. Прирост в 7 пунктов подтверждает направление, но не закрывает проблему долгих задач. Авторы сами формулируют вывод осторожно: агентное планирование выглядит перспективным путём для манипуляций, зависящих от истории. Для практиков следующий вопрос в том, как этот подход поведёт себя на других исполнителях и в реальных, а не симулированных сценах, где ошибки исполнения дороже.