Robostral Navigate от Mistral: робот видит через одну камеру и путешествует сам

Mistral представила Robostral Navigate — 8-миллиардную модель для автономной навигации роботов. Модель берёт видео с обычной RGB-камеры и текстовую инструкцию: «Выйди из офиса, пройди коридор, войди в кладовую, остановись у второй полки» — и робот выполняет всё сам.

Что необычного

Обычные системы навигации требуют кучу оборудования: LiDAR, датчики глубины, несколько камер. Robostral работает только с одной обычной RGB-камерой и при этом показывает лучшие результаты.

• 76,6% успеха на невидимых тестовых сценариях (R2R-CE)
• На 9,7 пункта выше лучшего одна-камерного подхода
• На 4,5 пункта выше лучших систем с LiDAR и множественными камерами
• Работает на колёсных, шагающих роботах и дронах
• Масштабируется от маленьких устройств до больших платформ

Архитектура

Вместо точных координат смещения (вроде «сдвинься на 2 метра вперёд»), модель предсказывает направление через pointing: где именно в кадре камеры должен направиться робот. Это естественно устойчиво к изменениям камер и масштабов мира.

Mistral обучала модель в полностью синтетической среде: 400 тысяч траекторий через 6 тысяч сцен. Ключевой трюк — prefix-caching при тренировке, который сжимает весь эпизод в одну последовательность. Это сокращает количество тренировочных токенов в 22 раза, превращая многомесячные тренировки в многодневные.

После supervised-обучения команда применила онлайн reinforcement learning (CISPO), чтобы модель училась на ошибках и восстанавливалась от отказов.

Что это значит

Автономная навигация — одна из самых востребованных способностей в робототехнике. Robostral открывает дорогу практическим приложениям в логистике, доставке, производстве и гостеприимстве. Робот видит мир как человек: ориентируется по зрению, адаптируется к неожиданным препятствиям, работает в неизвестных местах.