Nvidia GR00T 2 учит роботов по видео людей: на 50 задачах успех вырос с 40 до 95%

Представьте, что вам нужно научить роборуку нарезать банан. Стандартный путь сегодня такой: оператор часами водит манипулятор вручную, а система записывает каждое движение. Это телеоперация. Она дорогая, медленная и привязана к конкретной модели робота: сменили железо, и данные собирай заново. В отчёте о GR00T 2 Nvidia пытается убрать из этой схемы человека-оператора или хотя бы сильно сократить его участие.

Модель, которая рисует собственное будущее

Предыдущая версия, GR00T 1, относилась к классу VLA (vision-language-action). На вход она получала картинку с камеры и текстовую команду, на выходе выдавала моторные сигналы. GR00T 2 устроена иначе. Nvidia называет её world-action model, или WAM. Она одновременно считает следующее движение и через диффузию генерирует короткое видео ближайшего будущего. Если рука берёт предмет, модель заранее «рисует», как изменится кадр.

Этот видеопрогноз работает как мост между человеком и роботом. Модель обучали на кластере из более чем тысячи чипов GB300, в том числе примерно на 400 000 часов видео, где люди выполняют разные дела с камерой на голове. Чтобы научить робота чему-то новому, человеку достаточно показать шаги в сенсорной перчатке, специальном ручном захвате или пальцевом экзоскелете. Эти записи при обучении смешивают с общими данными о движениях целевого робота. Дальше модель в своём видеопрогнозе рисует вместо человеческой руки роботизированную и выводит из этой картинки подходящие команды управления.

Проще говоря: посмотрела, как делает человек, мысленно встала на его место и посчитала, какие моторы крутить.

Что показали тесты

Робот с пятипалыми кистями зажёг спичку, нарезал банан и закинул посылки на конвейер. Телеоперации именно под эти задачи не было. Но успех при этом колебался от 10 до 80% в зависимости от задачи, и 10% — это пока демонстрация, а не продукт. Забивать гвозди система научилась по одному видео с рукой человека, причём через компьютерную симуляцию.

Самая сильная цифра касается дообучения. На 50 отобранных задачах, где модель уже после нескольких примеров справлялась неплохо, меньше трёх минут обычного обучения подняли успех с 40 до 95%. Оговорка важная: задачи выбирали из тех, что и так шли хорошо, так что на любую работу это число переносить нельзя.

Для длинных сборочных операций Nvidia ставит над GR00T 2 языковую модель, например GPT-6 Astra от OpenAI. GR00T отвечает за хват и движения. Языковая модель разбивает задачу на шаги, раскрашивает точки захвата на изображении и запускает вспомогательные процедуры, если деталь упала. Детали игрушечных моделей лежали на столе вперемешку, и связка собрала их минимум в 97% попыток. Без корректирующей языковой модели и дообучения сборка игрушечной машинки удавалась лишь 23 раза из 100.

Для двуногих роботов есть облегчённая версия GR00T 2 Turbo, которая обрабатывает меньше деталей изображения. Она работает прямо на бортовом компьютере Jetson Thor гуманоида. Такой робот черпал попкорн, убирал со столов и вытирал жидкость полотенцем под ногой. Последнее удалось чуть меньше чем в половине попыток.

Где всё ещё не работает

Авторы сами перечисляют барьеры на пути к надёжной работе в реальном мире. Модель пока не обрабатывает прямые данные тактильных датчиков и иногда пропускает тонкие ошибки вроде не до конца закрученного винта. Планировщик на языковой модели сильно замедляет систему. При сортировке мусора робот простаивал примерно треть времени: в среднем он ждал больше семи секунд очередного расчёта планировщика.

Что из этого следует практику

Главный сдвиг не в рекордах, а в экономике данных. Если видео с людьми и дешёвые перчатки заменяют часть телеоперации, главная статья расходов в робототехнике перестаёт быть привязанной к конкретному железу. Для основателей это повод считать стоимость сбора демонстраций по-новому. Для разработчиков — повод присмотреться к схеме «модель действий плюс отдельный LLM-планировщик» и сразу закладывать задержку планировщика в бюджет скорости. Продактам же стоит помнить: цифры 10–80% и 23% без планировщика — лабораторные. До надёжных сценариев в цеху или на складе здесь ещё далеко, особенно там, где нужно чувствовать силу и касание.