Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуTG: @data_secrets (Data Secrets)→ оригинал

Google выпустила Genie 4: нейросеть строит мир со звуком и репликами в реальном времени

Google выпустила Genie 4 — нейросеть, которая в реальном времени создаёт интерактивный мир, где можно действовать, как в игре. Вместе с кадром генерируются музыка, шум окружения и реплики героев, подстраивающиеся под действия игрока. Сцену можно менять промптами на лету: например, включить дождь или добавить персонажей. Для разработчиков роботов и агентов это виртуальный полигон, где проверки не нужно собирать вручную.

AI-обработка оригинала TG: @data_secrets (Data Secrets); редакция Hamidun News
Google выпустила Genie 4: нейросеть строит мир со звуком и репликами в реальном времени
Источник: TG: @data_secrets (Data Secrets). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @data_secrets (Data Secrets) ↗
Главный редактор
Ключевой факт #1Gemini Omni отвечает за реалистичный вид и поведение мира
Gemini 3.8 Flash работает агентомпланирует шаги и перестраивает план
Ключевой факт #3В демо гуманоид Apollo от Apptronik играет в шашки внутри мира

Google выпустила Genie 4 — новое поколение своей «модели мира». Так называют нейросеть, которая в реальном времени создаёт интерактивную среду: в ней можно двигаться, что-то менять и получать реакцию, как в игре. В Genie 4 мир сразу приходит со звуком: музыка, шум окружения и даже реплики персонажей генерируются вместе с картинкой, а реплики подстраиваются под действия пользователя. Предыдущая версия вышла больше года назад, в августе 2025 года, а в новой Google сделала упор на реализм, мультимодальность, улучшенную физику и интерактивность.

Зачем это практику? Представьте, что нужно проверить, как робот или ИИ-агент поведёт себя в сотне ситуаций: на улице в дождь, в комнате с незнакомыми людьми, в помещении, где внезапно появился новый предмет. Собирать такие сцены вручную долго и дорого. Genie 4 предлагает другой путь: описать ситуацию словами и получить среду, в которой система должна действовать.

Мир со звуком и живыми репликами

Первое, что бросается в глаза, — звук. Прежние генераторы миров в основном выдавали картинку, а озвучку приходилось добавлять отдельно. Здесь музыка, шум окружения и диалоги создаются одновременно с видео. Реплики не записаны заранее: если вы подошли к герою или что-то сделали в сцене, ответ учтёт это.

Второе — режиссура на лету. Сцену можно менять промптами прямо во время работы: поменять погоду, добавить персонажей или объекты. По ощущению это игровой движок, в котором вместо редактора уровней вы пишете, что хотите увидеть.

Как устроено внутри

Под капотом работает связка из нескольких моделей Gemini, и у каждой своя роль:

  • Gemini Omni отвечает за реалистичный внешний вид и поведение мира;
  • другие модели следят за связностью симуляции, чтобы мир не разваливался по ходу действия;
  • Gemini 3.8 Flash работает агентом в цикле — своего рода мозгом системы.

Роль последнего проще понять на примере. Допустим, вы задали цель «устроить вечеринку во дворе». Агент разбивает её на шаги, проверяет, выполнены ли они, и перестраивает план, если посреди сцены вы решили, что вечер должен быть дождливым, а гостей стало больше. Получается, что мир ведётся по плану, который можно менять в любой момент, а кадры при этом остаются согласованными друг с другом.

Что это даёт разработчикам и продактам

По замыслу Google, в таких средах можно тестировать роботов и агентов. Для демонстрации компания показала гуманоида Apollo от Apptronik, который играет в шашки внутри сгенерированного мира. Вместо дорогого физического полигона или ручной настройки симулятора сценарий задаётся текстом.

Что из этого можно вынести:

  • Тестирование агентов постепенно смещается в генеративные среды: сценарии создаются и меняются текстом, без отдельной разработки симулятора.
  • Звук и диалоги внутри самой симуляции открывают путь к проверке голосовых и мультимодальных ассистентов в более живых условиях.
  • Схема «модель-художник, модели-контролёры и агент-планировщик» — хороший ориентир для собственных систем: разделение ролей помогает удерживать целостность долгой сессии.

Что остаётся проверить

Пока это анонс и демонстрация. Шашки — показательный, но простой сценарий с понятными правилами. Для серьёзного тестирования роботов важно, насколько физика сгенерированного мира совпадает с реальной, как долго мир сохраняет связность, с какой задержкой он реагирует на действия и можно ли повторить один и тот же сценарий, чтобы сравнивать версии агента между собой. От ответов на эти вопросы зависит, станет ли Genie 4 рабочим инструментом проверки или останется эффектной витриной.

Направление при этом ясное: Google делает ставку на симуляцию как на площадку, где обучаются и проверяются будущие агенты и роботы. Тем, кто строит такие системы, стоит следить за доступностью Genie 4 и сравнивать её с привычными симуляторами. Подробности опубликованы в блоге Google DeepMind.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: мир со звуком и живыми репликами?

Первое, что бросается в глаза, — звук. Прежние генераторы миров в основном выдавали картинку, а озвучку приходилось добавлять отдельно. Здесь музыка, шум окружения и диалоги создаются одновременно с видео. Реплики не записаны заранее: если вы подошли к герою или что-то сделали в сцене, ответ учтёт это. Второе — режиссура на лету. Сцену можно менять промптами прямо во время работы: поменять погоду, добавить персонажей или объекты.

Что известно по теме: как устроено внутри?

Под капотом работает связка из нескольких моделей Gemini, и у каждой своя роль: Gemini Omni отвечает за реалистичный внешний вид и поведение мира; другие модели следят за связностью симуляции, чтобы мир не разваливался по ходу действия; Gemini 3.8 Flash работает агентом в цикле — своего рода мозгом системы. Роль последнего проще понять на примере. Допустим, вы задали цель «устроить вечеринку во дворе».

Что известно по теме: что это даёт разработчикам и продактам?

По замыслу Google, в таких средах можно тестировать роботов и агентов. Для демонстрации компания показала гуманоида Apollo от Apptronik, который играет в шашки внутри сгенерированного мира. Вместо дорогого физического полигона или ручной настройки симулятора сценарий задаётся текстом. Что из этого можно вынести: Тестирование агентов постепенно смещается в генеративные среды: сценарии создаются и меняются текстом, без отдельной разработки симулятора.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…