Google DeepMind показала Genie 4: мир с нативным звуком и живыми диалогами

Google DeepMind анонсировала Genie 4, новое поколение своей модели мира. Главное новшество: система в реальном времени строит интерактивный мир сразу со звуком, а персонажи в нём разговаривают и реагируют на действия пользователя. Авторы анонса: Raia Hadsell, Diego Rivas и Hang Qi. Пока Genie 4 доступна как research preview узкому кругу доверенных тестировщиков, но дорожная карта уже понятна: сначала подписчики Google AI Ultra в Project Genie и ранние партнёры Gemini API и Google AI Studio, затем более широкий выпуск.

Gemini внутри симулятора

Genie 4 нативно мультимодальна. Музыка, фоновые шумы и интерактивные диалоги генерируются вместе с миром, а не накладываются поверх готового видео. По словам DeepMind, все звуки в демонстрационных роликах произведены самой моделью.

Архитектурно Genie 4 берёт возможности семейства Gemini. Gemini Omni привязывает симуляцию к реальному облику и поведению объектов. Остальные модели Gemini отвечают за сложные рассуждения, которые удерживают связность и непрерывность мира. Для мира, который строится на лету, это самое слабое место: стоит модели потерять нить, и платформа меняет форму, а герой превращается в другого человека. Gemini здесь играет роль режиссёра: между вводами пользователя он следит за сценой и подталкивает её развитие, чтобы мир не застывал.

Управление остаётся простым. Навигация и камера работают с обычной клавиатуры, а сцену можно менять текстом: сменить погоду, сдвинуть камеру, добавить человека или предмет. Gemini адаптирует такую команду к контексту, чтобы новый элемент не выглядел вставкой из другого ролика.

Физика, люди и звук

DeepMind называет самым заметным скачком симуляцию людей: персонажи двигаются естественно, органично реагируют на окружение, и ими можно управлять в реальном времени. Отдельно заявлена физика реального мира: аэродинамика, столкновения и другие сценарии.

Демонстрации подобраны так, чтобы проверять разные стороны модели:

• саксофонист в мешковатом коричневом костюме на парящей бетонной платформе посреди озера, в стилистике документальной 16-мм плёнки, с реалистичным звуком инструмента и шумом ветра;
• бесконечная лента розового атласа, извивающаяся S-образными изгибами по холмистому лугу с полевыми цветами;
• вид от первого лица из плетёной корзины воздушного шара над ледниками Антарктиды, где на горизонте дрейфуют другие шары;
• арбуз на каменном постаменте во дворе: ролик в замедленной съёмке с брызгами, подсвеченными контровым светом;
• макросъёмка падающего с дерева кленового семени;
• переполненная сельская японская станция 1980-х с длинным тёмно-красным поездом на ближайшем пути и инспектором в тёмно-синей форме;
• полностью трёхмерный мир из витражного стекла, где даже вода, небо и трава остаются стеклом и кристаллом.

Отдельно показан ролик сравнения Genie 3 и Genie 4, где разница в фотореализме, плавности движений и звуке видна напрямую. Промпты в демо устроены в два слоя: описание окружения и описание персонажа. Часть из них очень подробна и задаёт и композицию, и свет, и запреты вроде «никакого HDR» или «никаких пустых платформ».

Зачем это DeepMind

Компания формулирует цель так: понимание и симуляция мира — ключевая часть пути к AGI. Практическая сторона тоже названа прямо. Безопасные, бесконечно вариативные симуляции нужны как тренировочные среды для роботов и агентов, а ещё они открывают дорогу новым интерактивным форматам.

Для робототехники ценность очевидна. Реальные полигоны дороги и ограничены, а модель мира с правдоподобной физикой и поведением людей может выдавать нужные сцены по текстовому описанию. Диалоговый слой даёт агентам среду, где с ними разговаривают и на них реагируют.

Для игровой индустрии и создателей контента Genie 4 пока остаётся витриной. Доступа нет, цен и лимитов нет, а ролики записаны в контролируемых условиях. Если вы работаете с агентами или симуляциями, стоит встать в очередь на Project Genie и посмотреть, насколько мир держит связность на длинной дистанции. Разработчикам имеет смысл присмотреться к Gemini API и Google AI Studio: именно там появятся ранние партнёрские доступы. Главный вопрос на ближайшие месяцы: можно ли обучать агентов в таких мирах так, чтобы навыки переносились в реальность.