L3G-World генерирует 3D-миры в реальном времени со скоростью 9,02 кадра/с на H100

Интерактивные модели мира генерируют видео в ответ на действия пользователя, но с длинными прогулками по сцене у них проблемы: стоит вернуться в уже виденное место, и оно выглядит иначе. Авторы L3G-World предлагают хранить сцену не в истории кадров, а в компактной памяти из трёхмерных гауссиан, к каждой из которых привязан латентный признак VAE. По их данным, система строит пространственно согласованный мир по одному изображению и траектории камеры и работает со скоростью 9,02 кадра/с на одной H100.

Почему обе привычные памяти плохо масштабируются

Первый подход использует временной контекст: модель при генерации очередного фрагмента обращается к прошлым кадрам или к KV-кэшу слоёв самовнимания. Стоимость такой памяти растёт вместе с длиной потока и разрешением, и на длинной дистанции дело заканчивается нехваткой видеопамяти. В таблице сравнения авторы приводят случаи OOM для таких методов при генерации 400 кадров на H100.

Второй подход хранит сцену явно, в виде облака точек или гауссиан. Такая память привязана к пространству, поэтому лучше держит согласованность при возвращении в прежние места и даёт точный контроль камеры. Но у неё свои компромиссы. Feed-forward-методы предсказывают примитивы для каждого пикселя и быстро восстанавливают сцену, однако примитивы многократно копятся в одних и тех же областях. Память раздувается, рендеринг замедляется, а неточные участки геометрии никто не исправляет. Методы с оптимизацией по сцене компактнее, но итеративная подгонка слишком медленная для реального времени.

Есть и вторая проблема. Явные 3D-памяти обычно подают в генератор RGB-рендер, который нужно заново прогонять через VAE-энкодер. Этот шаг сам по себе не даёт работать в реальном времени.

Как L3G-Mem решает, где добавлять гауссианы

Система состоит из двух модулей, которые чередуются авторегрессивно. L3G-Mem обновляет память, L3G-Gen генерирует следующий фрагмент видео. Память растёт в основном с охватом сцены, а не с числом сгенерированных кадров.

Обновление идёт окнами. Сначала текущие гауссианы рендерятся с новых камер, и пиксели с низкой непрозрачностью или большой RGB-ошибкой попадают в маску порождения. Для этих областей берутся признаки геометрической foundation-модели и кластеризуются K-means (по схеме ZipSplat) в небольшой набор запросов. Так бюджет новых гауссиан тратится только на то, чего в памяти ещё нет.

Видимые гауссианы тем временем уточняются. Их токены памяти извлекаются как токены уточнения. Единый трансформер обрабатывает оба потока, а в каждом блоке они сначала обращаются к геометрическим признакам, затем проходят самовнимание внутри потока и общее глобальное самовнимание. Новые гауссианы добавляются в память, а старые обновляются остаточными поправками. Поэтому память не превращается в буфер: геометрические ошибки прошлых шагов постепенно исправляются.

Отдельная ветка поднимает в 3D латентные признаки VAE. Благодаря им память рендерится прямо в латентное пространство генератора, и повторное кодирование не требуется. Обучение идёт по последовательности окон с остановкой градиента через предыдущую память. Лосс включает RGB, LPIPS, глубину, MSE по VAE-латентам и штраф видимости.

Генератор L3G-Gen и что осталось неясным

L3G-Gen — видео-DiT с авторегрессивной генерацией. Отрендеренные из памяти латенты и маска непрозрачности конкатенируются с зашумлёнными латентами по каналам, то есть без дополнительных токенов. Ранее сгенерированные опорные латенты подаются отдельно и остаются неизменными. В самовнимание добавлено RayRoPE, остаточное позиционное кодирование по лучам камеры, а опорным латентам задан сдвинутый временной RoPE. Учитель обучается на rectified flow, а для скорости его дистиллируют в генератор с малым числом шагов.

Авторы заявляют лучшие результаты по качеству генерации и самосогласованности на длинной дистанции. Они также говорят о меньшем числе 3D-примитивов, более быстрой реконструкции памяти и более быстром рендеринге VAE-признаков по сравнению с самым эффективным прежним базовым методом по каждой метрике. Точные кратности в доступном тексте обрезаны, поэтому сверять их нужно по оригинальной статье. Сравнения сделаны самими авторами, независимых проверок пока нет.

Практический вывод для тех, кто следит за world models, такой: 9,02 кадра/с на H100 пока не 24–30 FPS, и это скорость на топовом ускорителе. Зато архитектура показывает, как сделать память сцены, стоимость которой не растёт с длиной сессии. Это нужно для игровых симуляторов, обучения агентов в синтетических средах и интерактивной генерации.