Keyframe Mnemonics учит роботов помнить главное: 100% успеха на длинных горизонтах

Исследователи представили Keyframe Mnemonics — самообучаемый метод, который выбирает из истории наблюдений небольшой набор ключевых кадров и отдаёт его политике behavior cloning как рабочую память. На синтетических задачах на память такие политики достигают 100% успеха и не деградируют на горизонтах, на порядки превышающих обучающие. На робототехническом бенчмарке с интенсивной памятью (23 задачи) средний абсолютный прирост success rate над сильнейшим бейзлайном составил 13,9 п.п. На реальном роботе метод сохранил 80% SR при горизонте в 20 раз длиннее обучающего. Препринт опубликован как arXiv:2610.10857, код и видео выложены авторами.

Где ломается память у политик

Behavior cloning в немарковских средах упирается в простую проблему: нужное для решения может случиться давно, а политика видит только недавнее. Пример: роботу нужно вспомнить, где лежал предмет, который он наблюдал сотни шагов назад. Существующие архитектуры решают это двумя способами, и у обоих есть слабые места, на которые указывают сами авторы.

Рекуррентные модели страдают от схлопывания скрытого состояния (hidden-state collapse) и нестабильности градиентов при обратном распространении во времени. Модели на внимании ограничены длиной контекста: окно конечно, а горизонт задачи может быть любым. Keyframe Mnemonics обходит обе ловушки. Он не пытается сжать всю историю в вектор и не тащит её целиком в окно.

Как устроены мнемоники

Метод работает в два этапа. Сначала система обнаруживает набор информационно критичных наблюдений, «мнемоников». Для этого она обучает целевую функцию на случайно выбранных прошлых наблюдениях и использует её как награду при отборе ключевых кадров. Разметка не нужна, отсюда self-supervised. Затем обучается обычная BC-политика, которая conditioned на найденные кадры и моделирует распределение действий.

Главное следствие: в рабочей памяти политики лежит небольшой набор решающих наблюдений, а не вся траектория. Авторы утверждают, что при определённых допущениях о структуре задачи формулировка даёт гарантии удержания контекста на бесконечном горизонте. Подробности целевой функции и условия гарантий в аннотации не раскрыты, их придётся смотреть в самой статье.

Цифры из аннотации

• Синтетические домены памяти: 100% success rate, обобщение на горизонты на порядки длиннее обучающих без потери качества.
• Бенчмарк манипуляции с интенсивной памятью: 23 задачи, +13,9% средний абсолютный SR к сильнейшему бейзлайну.
• Реальный робот: 80% SR при горизонте в 20 раз длиннее обучающего.
• Теория: гарантии удержания контекста на бесконечном горизонте при допущениях о структуре задачи.
• Размер памяти: малый набор ключевых кадров, а не вся история.

Что проверить перед внедрением

Стоит читать результаты с оговорками. 100% на синтетике показывает, что метод ловит структуру задач, где важные моменты можно выделить, но реальные сцены менее чистые. Гарантии действуют только при допущениях о структуре задачи: если в вашей среде критичная информация размыта по всей траектории, ключевые кадры могут не помочь. Реальный эксперимент с 80% SR на удлинённом горизонте убедителен, но в аннотации это одна установка, поэтому о переносимости на другие манипуляторы и сцены судить рано.

Для команд, которые делают роботов на имитационном обучении, практический вывод такой. Если ваша политика теряет качество на длинных эпизодах, расширять контекст или усложнять рекуррентную часть не обязательно. Можно отбирать ключевые наблюдения отдельным модулем и кормить политику ими. Раз память остаётся небольшой, разумно ожидать, что стоимость инференса не будет расти с длиной эпизода, но это нужно измерять на своих задачах. Начать проще всего с опубликованного кода и сравнения с вашим текущим бейзлайном на задачах, где ошибка возникает из-за забытого раннего события.