L3G-World genera mundos 3D en tiempo real a 9,02 fotogramas/s en una H100

Los modelos de mundo interactivos generan vídeo en respuesta a las acciones del usuario, pero tienen problemas con los recorridos largos por una escena: si vuelves a un lugar que ya has visto, este aparece distinto. Los autores de L3G-World proponen guardar la escena no en un historial de fotogramas, sino en una memoria compacta de gaussianas tridimensionales, cada una con un rasgo latente de VAE asociado. Según sus datos, el sistema construye un mundo espacialmente coherente a partir de una sola imagen y una trayectoria de cámara, y funciona a 9,02 fotogramas/s en una sola H100.

Por qué las dos memorias habituales escalan mal

El primer enfoque usa contexto temporal: al generar cada nuevo fragmento, el modelo consulta fotogramas pasados o la KV-cache de las capas de autoatención. El coste de esta memoria crece con la longitud del flujo y con la resolución, y a larga distancia acaba agotándose la memoria de vídeo. En su tabla comparativa, los autores incluyen casos de OOM de estos métodos al generar 400 fotogramas en una H100.

El segundo enfoque almacena la escena de forma explícita, como nube de puntos o de gaussianas. Esta memoria está anclada al espacio, así que mantiene mejor la coherencia al regresar a sitios anteriores y permite un control preciso de la cámara. Pero tiene sus propias contrapartidas. Los métodos feed-forward predicen primitivas para cada píxel y reconstruyen la escena con rapidez, aunque las primitivas se acumulan repetidamente en las mismas zonas. La memoria se hincha, el renderizado se ralentiza y nadie corrige los tramos imprecisos de la geometría. Los métodos con optimización por escena son más compactos, pero el ajuste iterativo es demasiado lento para el tiempo real.

Hay además un segundo problema. Las memorias 3D explícitas suelen entregar al generador un render RGB que hay que volver a pasar por el codificador VAE. Ese paso, por sí solo, impide trabajar en tiempo real.

Cómo decide L3G-Mem dónde añadir gaussianas

El sistema consta de dos módulos que se alternan de forma autorregresiva. L3G-Mem actualiza la memoria y L3G-Gen genera el siguiente fragmento de vídeo. La memoria crece sobre todo con la cobertura de la escena, no con el número de fotogramas generados.

La actualización se hace por ventanas. Primero se renderizan las gaussianas actuales desde las nuevas cámaras, y los píxeles con baja opacidad o con un error RGB elevado pasan a una máscara de generación. Para esas zonas se toman rasgos de un modelo foundation geométrico y se agrupan con K-means (según el esquema de ZipSplat) en un pequeño conjunto de consultas. Así, el presupuesto de nuevas gaussianas se gasta solo en lo que todavía no está en la memoria.

Mientras tanto, las gaussianas visibles se refinan. Sus tokens de memoria se extraen como tokens de refinamiento. Un único transformer procesa ambos flujos y, en cada bloque, estos primero consultan los rasgos geométricos, luego pasan por autoatención dentro de cada flujo y por una autoatención global conjunta. Las nuevas gaussianas se añaden a la memoria y las antiguas se actualizan con correcciones residuales. Por eso la memoria no se convierte en un simple búfer: los errores geométricos de pasos anteriores se corrigen poco a poco.

Una rama aparte eleva a 3D los rasgos latentes del VAE. Gracias a ello, la memoria se renderiza directamente en el espacio latente del generador y no hace falta recodificar. El entrenamiento recorre una secuencia de ventanas con detención del gradiente a través de la memoria anterior. La función de pérdida incluye RGB, LPIPS, profundidad, MSE sobre los latentes VAE y una penalización de visibilidad.

El generador L3G-Gen y lo que sigue sin estar claro

L3G-Gen es un DiT de vídeo con generación autorregresiva. Los latentes renderizados desde la memoria y la máscara de opacidad se concatenan por canales con los latentes ruidosos, es decir, sin tokens adicionales. Los latentes de referencia generados previamente se introducen por separado y permanecen sin cambios. A la autoatención se le añade RayRoPE, una codificación posicional residual basada en los rayos de la cámara, y a los latentes de referencia se les asigna un RoPE temporal desplazado. El modelo maestro se entrena con rectified flow y, para ganar velocidad, se destila en un generador con pocos pasos.

Los autores afirman haber logrado los mejores resultados en calidad de generación y en autoconsistencia a larga distancia. También hablan de un menor número de primitivas 3D, una reconstrucción de la memoria más rápida y un renderizado de rasgos VAE más veloz que el baseline previo más eficiente en cada métrica. Los factores exactos aparecen truncados en el texto disponible, así que conviene contrastarlos con el artículo original. Las comparaciones las han hecho los propios autores y, por ahora, no hay verificaciones independientes.

La conclusión práctica para quienes siguen los world models es esta: 9,02 fotogramas/s en una H100 todavía no equivalen a 24–30 FPS, y además es la velocidad en un acelerador de gama alta. Sin embargo, la arquitectura muestra cómo construir una memoria de escena cuyo coste no crece con la duración de la sesión. Eso es necesario para simuladores de juegos, entrenamiento de agentes en entornos sintéticos y generación interactiva.