Odyssey-3: как видео-модель учит роботов физике за десятки часов

Что такое мировая модель

Мировая модель предсказывает следующее состояние физического мира: получает видеокадр и действие (команду, удар, толчок), выдаёт, как это выглядит дальше. Odyssey-3 — попытка сделать такую модель универсальной и достаточно эффективной для управления реальными системами.

Компания Odyssey основана в 2023 году Оливером Кэмероном и Джеффом Хуком, проработавшими десять лет над беспилотными автомобилями. Их логика прямая: машине нужно предсказывать окружение. Они видели, что робототехника движется через узкие системы — каждая под одну задачу, каждая требует огромного объёма специфичных данных. Человек же может в 18 лет сесть за опасный станок и научиться, потому что всю жизнь наблюдал, как движутся предметы, реагируют на силу, опасны столкновения. Odyssey ставит на то же: один универсальный фундамент из видеонаблюдений, потом несколько десятков часов специфичных данных для конкретной машины.

Как устроена модель

Архитектура — авторегрессионный диффузионный трансформер. Обучение идёт на трёх типах данных:

• Интернет-видео с разметкой событий по времени и проверкой по схеме — даёт ширину понимания • Записи игрового процесса с синхронизированными нажатиями клавиш и движениями мыши — даёт связь между действием и следствием • Симуляции взаимодействия твёрдых тел с подписями и метаданными — даёт точную физику, где известен точный результат

При обучении модель становится авторегрессионной через teacher forcing: ей показывают настоящие предыдущие кадры и запрещают подглядывать в будущее. Затем применяют дистилляцию (distribution-matching и adversarial distillation) — превращают медленный диффузионный процесс в быстрый, работающий за несколько шагов. Это облегчённая версия, которая работает в браузере.

Моделей две: Odyssey-3 с разрешением 832×480 и Odyssey-3 Pro с 1280×720. Вы ходите по сгенерированному миру от первого или третьего лица, двигаете камеру отдельно и во время генерации вбрасываете события, смотря, как мир реагирует.

Результаты: рекорды с оговорками

На бенчмарке Physics-IQ Verified (Anates Labs и DeepMind) Odyssey-3 Pro набрала 66.1% в режиме видео-в-видео, но это режим best-of-8 — выбирается лучший результат из восьми попыток. Обычные значения скромнее: 63.4% с улучшенными промптами, 52.8–54.7% в режиме картинка-в-видео.

На WorldMark (измеряет следование управлению, качество сцен, память о мире) Odyssey заняла первое место в категориях от третьего лица (79.0 и 76.3%), но в реальных мирах от первого лица только третья (80.6 против лидера Lyra 2.0 с 84.4). Разница иногда 0.2 балла. Важно: оценки WorldMark провела сама компания, не независимая проверка.

От видео к железу

Для применения к конкретному роботу основа остаётся замороженной, добавляется небольшой обучаемый модуль, переводящий представления в команды. Вот что показано:

• Манипуляторы: с десятками часов демонстраций выполняют «налей хлопья в миску», «закрой коробку с винтами», демонстрируют восстановление без явного обучения (переориентируют захват после промаха). Партнёрство с Poke & Wiggle • Гуманоиды (Flexion): политики обобщаются лучше при смене освещения и окружения, чем VLA-модели • Автомобили: за 20 часов симулированного вождения ездят по реальным улицам Индии, предсказывая точки маршрута. Политики в полной симуляции проезжают 77% расстояния от политик на реальных данных • Дроны: навигация на десятках часов симуляции, стабильный облёт препятствий (в симулированном помещении) • Игры: политики играют в GTA V, переносятся на верховой езде в Red Dead Redemption 2 и мотоциклы в Sleeping Dogs без доообучения • Многокамерные данные: после 100 шагов обучения выдаёт видео с трёх фронтальных камер автомобиля

Мировая модель работает и как тренажёр для других агентов. Проект PROWL: агенты находят слабые места модели, это улучшает модель, надёжные миры обучают агентов. Рядом Agora-2 (несколько агентов в одном мире) и Starchild-1 (выход за пределы визуального обучения).

Что насторожить

Рекордные 66.1 в best-of-8, а оценки WorldMark проводила сама компания. Cherry-picking: видны удачные ролики, неудачных нет. Physics-IQ проверяет продолжение эксперимента, не качество управления роботом. Многие демонстрации в симуляторе, а «десятки часов данных» остаются немалым объёмом. Публичных цен, лицензии и API документации не раскрыто; доступ для разработчиков по запросу.

В защиту авторов: они честно пишут, что мировые модели отстают от LLM примерно на два порядка, и признают, что устойчивость на разных роботах остаётся открытым вопросом.

Odyssey-3 — попытка сделать для физического мира то, что LLM сделали для текста: один предобученный фундамент, потом несколько часов специфичных данных, готова задача. Пока это смесь реальных достижений и проверяемых обещаний. Preview можно потрогать в браузере.