Project Genie от DeepMind научился симулировать реальные места Google Street View

DeepMind расширила доступ к Project Genie для всех подписчиков Google AI Ultra по всему миру и представила новую возможность интеграции с Google Street View, которая позволяет симулировать интерактивные видео реальных географических мест.

Что такое

Project Genie Project Genie — это передовая модель генеративного видео от Google DeepMind, которая создает интерактивные видеосцены на основе текстовых описаний или изображений. В отличие от обычных видеогенераторов, которые просто воспроизводят заранее записанное содержимое, Genie строит динамичный виртуальный мир, который реагирует на действия агента в режиме реального времени. Модель может показать человека (или робота) в сцене, выполняющего различные действия: ходьба в разных направлениях, манипуляция объектами, взаимодействие с окружением. При каждом действии видео обновляется, отражая физические законы и причинно-следственные связи между событиями. Это делает опыт похожим на управление игровым персонажем в видеоигре, но основано на прогнозах нейросети, а не на предварительно записанном материале.

Новая интеграция со

Street View Новая функция объединяет возможности Project Genie с Google Street View — огромным архивом панорамных фотографий миллионов мест на земном шаре. Теперь вместо воображаемых или синтетических сцен агент может взаимодействовать с реальными локациями: историческими центрами городов, парками, общественными пространствами, достопримечательностями. Это превращает Street View из статичной фотогалереи в интерактивный виртуальный мир. Пользователь может не просто смотреть панорамное фото площади Святого Петра, но и буквально 'прогуляться' по ней, исследуя архитектурные детали, заглядывая в витрины магазинов, взаимодействуя с объектами, видя как меняется картинка в соответствии с его действиями.

Где это может быть полезно

Интерактивная видеосимуляция реальных мест открывает многочисленные практические применения: Планирование путешествий и туризм — туристы смогут виртуально осмотреть достопримечательность перед визитом Реабилитация и доступность — люди с ограничениями мобильности смогут удаленно исследовать публичные пространства Архитектура и городское планирование — проектировщики смогут симулировать как новые здания интегрируются в существующие пространства Робототехника — нейросети для автономных роботов смогут тренироваться на реальных городских сценариях * Образование и культура — виртуальные экскурсии по историческим местам станут полностью интерактивными Каждое из этих применений требует от Genie высокого уровня реалистичности в прогнозировании физических процессов и поведения людей.

Технические вызовы

Генерирование реальных интерактивных видео требует огромных вычислительных ресурсов. Модель должна не только прогнозировать следующие кадры видео с высокой точностью, но и делать это с минимальной задержкой, чтобы взаимодействие казалось плавным и реальным. Небольшие ошибки в прогнозировании физики или движений людей могут быстро накапливаться, разрушая иллюзию реальности.

Расширение доступа До этого Project Genie был доступен только ограниченному числу пользователей.

Теперь Google расширяет доступ для всех подписчиков Google AI Ultra по всему миру. Это позволит большему числу разработчиков, исследователей и энтузиастов экспериментировать с интерактивным видеогенерированием реальных мест. Расширение доступа к столь продвинутой технологии сигнализирует о том, что модель достигла определенного уровня стабильности и готовности к использованию в реальных приложениях.

Что это значит

Граница между статичной информацией (фото, видео, карты) и интерактивными ИИ-симуляциями постепенно размывается. Project Genie в сочетании с Street View — это значительный шаг к созданию 'альтернативной интерактивной реальности' на основе реальных географических данных. В будущем люди смогут не просто смотреть на места, но и активно исследовать их, взаимодействовать с объектами и окружением, тренировать ИИ-системы на основе симуляций. Это фундаментально меняет как мы потребляем информацию о мире и взаимодействуем с географическим пространством.