WorldOracle проверяет мировые модели: робот промахнулся, а модель показала успех

Робот промахнулся мимо фрукта, но мировая модель, получив тот же стартовый кадр и ту же последовательность действий, сгенерировала успешный захват. Этот пример приводят авторы WorldOracle, оценочной работы, о которой 16 октября 2026 года сообщил Jiqizhixin. Над ней работают исследователи из Принстонского университета. Один вход, два исхода: в реальности манипулятор схватил пустоту, в видео фрукт уже поднят. Вопрос, который ставит команда, звучит прямо: модель предсказывает будущее или достраивает самый частый счастливый финал?

Почему красивая картинка ничего не гарантирует

Мировые модели в робототехнике нужны не ради видео. Их используют как симулятор, в котором можно прогнать политику управления, сравнить стратегии и отсеять плохие варианты без дорогих запусков на железе. Всё это работает, только если сгенерированный исход совпадает с тем, что случилось бы на самом деле.

Стандартные метрики качества видео, вроде FVD, PSNR и SSIM, измеряют визуальную похожесть и связность кадров. Исход манипуляции они проверяют плохо. Ролик с чётким яблоком, аккуратной рукой и плавным движением получит высокую оценку, даже если в реальности захват сорвался. Для генерации это допустимо. Для симулятора, по которому выбирают политику робота, нет.

Что проверяет WorldOracle

Схема, судя по описанию, простая и жёсткая. Модели дают реальный начальный кадр и записанную последовательность действий. Затем сгенерированный результат сравнивают с тем, что произошло при настоящем исполнении. Важно, что в эталон входят и неудачи: промахи, срывы, пустые захваты. Именно на них видно, следует ли модель физике и командам или подставляет типичный успех.

Причина такого перекоса понятна. Обучающие данные по манипуляции в основном состоят из удачных демонстраций. Модель, которая видела тысячи роликов вида «рука тянется, предмет оказывается в руке», легко выучивает закономерность «задача заканчивается хорошо». Для неё это статистически выгодная ставка. Тогда действия на входе превращаются в декорацию, а результат определяется распределением данных.

Что известно на данный момент

• Авторы: команда с участием исследователей Принстонского университета.
• Вход модели: реальный стартовый кадр и последовательность действий робота.
• Эталон: фактический результат физического исполнения, включая неудачные попытки.
• Ключевой пример: пустой захват в реальности и успешный подъём фрукта в сгенерированном видео.
• Центральный вопрос: предсказание исхода или «додумывание» наиболее вероятного успеха.
• В доступном фрагменте не раскрыты: размер набора, список проверенных моделей, итоговые метрики и рейтинг.

Без этих цифр судить о том, насколько плохи или хороши конкретные системы, рано. Сам формат проверки при этом показателен: оценку переносят с «похоже на правду» на «совпало с реальностью».

Как этим пользоваться

Команде, которая строит или покупает мировую модель для робототехники, из этой истории следуют три практических вывода.

Первый: тестовый набор должен включать неудачные эпизоды, причём в заметной доле. Если проверять только на успешных запусках, оптимистичная модель получит отличную оценку.

Второй: смотреть нужно на согласие исходов, то есть на долю случаев, где модель верно определила, удалась ли операция. Качество кадра и плавность движения здесь вторичны.

Третий: прежде чем использовать модель для ранжирования политик, стоит проверить, коррелирует ли её оценка успешности с реальной на небольшой выборке запусков на железе. Если корреляции нет, симулятор экономит не деньги, а иллюзии.

Для зрителя демонстраций правило проще. Когда на презентации мировая модель показывает безупречную манипуляцию, полезно спросить, как она поведёт себя на заведомо провальном действии. Ответ на этот вопрос скажет о модели больше, чем любой отобранный ролик.