World models учат роботов и беспилотники в симуляциях, а данные для них собирают люди

Если вы обучали модель на данных, которых не хватало в редких случаях, вы знаете проблему: реальный мир слишком дорог для экспериментов. Робота нельзя уронить миллион раз, а беспилотник нельзя специально отправить в гололёд. Именно эту дыру закрывают world models, и в 2027 году они, по прогнозам, заметно приблизятся к обычной жизни.

Чем это отличается от LLM

Оливер Камерон, CEO лаборатории Odyssey, объясняет разницу просто. Языковая модель получает предложение и предсказывает следующее слово. World model получает визуальное состояние мира, например изображение, и предсказывает следующее состояние. Чтобы это работало, модель должна понимать физику, причинно-следственные связи и то, как люди и объекты реагируют на наши действия. Так формулирует задачу Джейми Шоттон, главный учёный Wayve.

На практике получается генерируемая 3D-среда, которая выглядит и ведёт себя как настоящая. Это тренировочный полигон, где ошибки ничего не стоят.

Как это выглядит на примере

Брайан Макклендон, CTO Niantic Spatial, описывает сценарий для домашнего робота. Вы фотографируете помещение, где он будет работать, по снимкам строится 3D-модель, а дальше софт прогоняет миллионы симуляций, чтобы робот выучил параметры пространства: где стол, где порог, что можно сдвинуть.

Niantic тут в выигрышном положении. Игроки Pokémon Go годами сканировали улицы, и теперь компания, продавшая игру в прошлом году, делает ставку на реконструкцию реального мира. Wayve идёт другим путём: её генеративная модель частично опирается на записи с видеорегистраторов и воссоздаёт опасные дороги и условия, которые невозможно безопасно проверить вживую.

Третья область — игры. Физика и 3D-рендеринг там базовые вещи, поэтому Tencent вкладывается в собственные world models.

Деньги и скрытая цена

Интерес инвесторов видно по сделкам. Ян Лекун, бывший главный учёный по ИИ в Meta, привлёк более миллиарда долларов в свой стартап Advanced Machines Intelligence. World Labs Фей-Фей Ли, основанную в 2024 году, в этом году купила AMD больше чем за $8 млрд. Google продолжает регулярно хвастаться улучшениями в этой области.

Есть и менее заметная сторона. Чтобы симулировать физический мир, лабораториям нужны записи этого мира, а делают их живые люди. Автор материала в Wired привязал iPhone ко лбу и несколько часов снимал, как складывает бельё, моет посуду и наливает колу, а потом продал видео через приложение за скромную сумму. Если компании продолжат гнаться за качеством, подобная гигантская подработка по сбору данных будет только расти.

Ограничения и что делать

Статья в основном обзорная: конкретных метрик качества симуляций, сравнения с реальными испытаниями и сроков массового появления домашних роботов в ней нет. Прогноз про 2027 год остаётся прогнозом.

Для практиков вывод такой. Если вы делаете робототехнику, автономный транспорт или игры, стоит присмотреться к симуляции на world models как к дешёвому способу покрывать редкие и опасные случаи. Если вы продакт или основатель, обратите внимание на дефицит данных: тот, у кого есть уникальные записи физического мира, будет в выигрыше. А тем, кто собирает такие данные, стоит заранее продумать согласие, приватность и честную оплату, потому что это место, где регуляторы и пользователи, скорее всего, начнут задавать вопросы.