Гуманоиды блестят на демо, но проваливают тест на обобщение: выход в данных

Гуманоидные роботы в 2026 году по-прежнему выглядят на видео лучше, чем на реальном объекте. The Robot Report объясняет это провалом на тесте обобщения: машина, безупречно отработавшая в знакомой сцене, теряется, когда меняются объект, освещение или формулировка задачи. Решение издание видит в более качественных данных и человеческом суждении. Исходная публикация краткая и цифр не приводит, поэтому ниже разобрана механика проблемы на открытых данных индустрии.

Почему демо вводит в заблуждение

Демонстрация проходит в замкнутой среде. Свет выставлен, предметы известны, траектория многократно отрепетирована, а иногда за роботом стоит телеоператор. Показ Optimus на мероприятии Tesla в октябре 2024 года хорошо это иллюстрирует: по сообщениям СМИ, часть роботов управлялась дистанционно. Для сбора обучающих данных это нормальная практика. Но видео с телеуправлением нельзя считать доказательством автономности.

Политика управления, обученная на узком распределении ситуаций, статистически уверена только внутри него. Стоит выйти за границы, и уверенность не падает плавно, а обрывается. Робот хватает кружку, которую никогда не видел, и промахивается на два сантиметра. Этого достаточно, чтобы сценарий развалился.

Из чего состоит тест на обобщение

Обобщение проверяется по нескольким осям, и каждая ломает демо по-своему:

• новые объекты: другая форма, масса, материал, блики на поверхности;
• новая сцена: другая кухня, склад или стеллаж, иной свет и фон;
• новая формулировка: та же задача, поставленная другими словами;
• новое тело: перенос навыка между роботами с разной кинематикой и захватами;
• длинный горизонт: накопление ошибок на цепочке из десятков шагов.

Последний пункт легко посчитать. Если робот успешно делает один шаг в 95% случаев, то цепочка из десяти шагов завершится без сбоя примерно в 60% (0,95 в десятой степени). При двадцати шагах остаётся около 36%. Поэтому ролик из одного эпизода ничего не говорит о надёжности в смене.

Масштаб данных в робототехнике до сих пор несопоставим с языковыми моделями. Открытый набор Open X-Embodiment объединил данные 22 типов роботов от 21 института, больше миллиона траекторий. Для робототехники это рекорд, но интернет-корпусы LLM на порядки больше. И физические данные дороже: каждый эпизод требует реальной машины, оператора и времени.

Данные и человеческое суждение

Тезис The Robot Report сводится к тому, что простое наращивание объёма не решает проблему. Важно, какие данные собраны и кто решает, что считать удачей. На практике это складывается из нескольких задач.

Первая: отбор демонстраций. Оператор мог выполнить задачу неоптимально, с лишними движениями или случайной удачей. Такие эпизоды портят обучение, и фильтровать их должен человек, понимающий цель.

Вторая: разметка успеха и частичного успеха. Бинарное «получилось или нет» скрывает, что именно пошло не так. Человек различает уроненный предмет и неаккуратно поставленный, а для безопасности на производстве это разные классы ошибок.

Третья: коррекции в реальной работе. Когда робот буксует, оператор вмешивается, и эта правка становится самым ценным обучающим примером, потому что показывает исправление именно в той ситуации, где политика слаба.

Как читать следующее демо

Для инженера или инвестора из этого следует набор вопросов, которые стоит задавать любому показу гуманоида:

• Работает ли робот полностью автономно или есть телеуправление и скрипты?
• Сколько запусков показано подряд и сколько из них закончилось неудачей?
• Менялись ли объекты и обстановка по сравнению с обучением?
• Какова длина задачи в шагах и какой процент успеха на каждом?
• Кто размечает данные и как отбираются демонстрации?

Разумная метрика зрелости здесь не число впечатляющих роликов, а доля успешных запусков в новой среде без вмешательства человека. Пока компании не публикуют такие цифры, демо остаётся маркетингом, а не измерением.