Project Genie от Google: теперь каждый может собрать свой Mario 64 (но очень плохо)

Google DeepMind на этой неделе дала избранным тестерам доступ к Project Genie — экспериментальному инструменту, который превращает текстовое описание в подобие интерактивного 3D-мира. Один из тестеров, автор материала на The Verge, использовал доступ, чтобы сгенерировать собственные версии миров по мотивам Super Mario 64, Metroid Prime и The Legend of Zelda: Breath of the Wild — с парапланом и, ненадолго, двумя персонажами Линк на экране одновременно.

Что такое Project Genie

Genie — экспериментальный прототип от Google DeepMind, который отличается от обычных генераторов видео. Обычный генератор видео просто предсказывает следующий кадр; Genie пытается симулировать управление и реакцию мира на действия пользователя — то есть это не просто видеопоток, а управляемая интерактивная сцена. Модель обучалась на большом количестве записей игрового процесса и «подсматривала», как устроены правила виртуальных миров, вместо того чтобы напрямую программироваться по законам физики: если персонаж нажимает кнопку прыжка, нейросеть «знает», что камера должна подняться, а земля — уйти вниз, просто потому что «так обычно бывает» в увиденных записях.

Как выглядят сгенерированные миры

Когда Genie просят создать нечто похожее на Super Mario 64 или Metroid Prime, она рисует трёхмерные ландшафты, которые разваливаются на части при первой же попытке взаимодействия. В одном из примеров на экране одновременно бегали два персонажа Линк, а физика прыжков напоминала инди-хорроры. Изображение покрыто артефактами, объекты возникают из ниоткуда, а управление ощущается вязким, «как в киселе».

Что это может означать для геймдева

Обычные игры строятся на ручном труде: за каждым объектом виртуального мира стоит работа моделлера, а за физикой прыжка — тысячи строк кода физического движка. Project Genie идёт другим путём — обучением на примерах вместо жёсткого программирования. Если темпы развития такого рода моделей повторят путь генераторов изображений (от узнаваемых искажений до фотореалистичных картинок Midjourney), через некоторое время подобный инструмент сможет выдавать не только кривые наброски, а вполне играбельные уровни. Это ставит вопрос об авторских правах на визуальный стиль, если нейросеть генерирует «не-Марио» по одному текстовому описанию в реальном времени, а также о роли традиционных движков вроде Unreal или Unity: вместо ручной настройки освещения и коллизий модель могла бы генерировать вариации уровней на лету, вплоть до контента, подстраивающегося под конкретного игрока.

Что такое Project Genie?

Project Genie — экспериментальный инструмент Google DeepMind, который превращает текстовое описание в подобие интерактивного 3D-мира; на этой неделе к нему получили доступ избранные тестеры.

Что именно сгенерировал тестер с помощью Genie?

Собственные версии миров по мотивам Super Mario 64, Metroid Prime и The Legend of Zelda: Breath of the Wild — включая параплан и, ненадолго, двух персонажей Линк на экране одновременно.

Чем Genie отличается от обычных генераторов видео?

Обычный генератор видео предсказывает следующий кадр, а Genie пытается симулировать управление и реакцию мира на действия пользователя, обучаясь на записях игрового процесса, а не на запрограммированных законах физики.