RLSplat enseña a 3D Gaussian Splatting a ahorrar: hasta 4,1× más rápido y con 9,6× menos memoria

El 3D Gaussian Splatting feed-forward (FF3DGS) reconstruye una escena tridimensional a partir de un conjunto de fotografías en una sola pasada de la red neuronal, sin la larga optimización individual para cada escena. RLSplat aporta algo que sus predecesores no tenían: la latencia, la memoria pico y el tamaño de la representación bajan de forma lineal junto con el presupuesto de gaussianas establecido. En las pruebas zero-shot supera a los anteriores enfoques con control de presupuesto con cualquier presupuesto y adelanta al baseline más fuerte incluso con cuatro veces menos gaussianas. Con presupuestos pequeños funciona hasta 4,1 veces más rápido y usa 9,6 veces menos memoria pico.

Una poda que se come todo el ahorro

La idea del control de presupuesto en FF3DGS es sencilla: la escena resultante debe ajustarse a un límite de almacenamiento o de tiempo de renderizado. Un teléfono o un headset necesitan una escena ligera; un servidor con recursos de sobra puede permitirse una densa. Los métodos existentes ofrecen esa regulación, pero con trampa. Para obtener, por ejemplo, 50 mil gaussianas, primero predicen un conjunto denso y después seleccionan o descartan lo sobrante.

El resultado: el archivo final es realmente pequeño, pero el camino hasta él cuesta lo mismo. La latencia de inferencia y la memoria pico se mantienen casi constantes, sea cual sea el presupuesto. Para un dispositivo cuyo problema es precisamente la memoria durante la inferencia, ese «presupuesto» no resuelve nada: los recursos para la fase densa siguen haciendo falta.

Cómo reparte RLSplat las gaussianas

Los autores eliminan la propia etapa de «primero muchas, luego menos». En lugar de pruning o selección, RLSplat entrena una política de asignación. Esta distribuye el presupuesto dado entre las áreas locales de la escena y, como resultado, se crea exactamente el número de gaussianas solicitado. Las zonas complejas reciben más y las simples, menos.

La segunda parte de la solución afecta al refinamiento de los parámetros. Las gaussianas pasan por un resource-linear Gaussian decoding: cada una aplica atención solo a sus vecinas más cercanas, que localiza una búsqueda jerárquica eficiente. La atención completa entre todas las gaussianas crecería más rápido que el número de elementos. La atención local hace que el coste de la decodificación sea lineal, de modo que al reducir el presupuesto bajan tanto el tiempo como la memoria.

Características clave del trabajo:

• Presupuesto: el número de gaussianas se fija en la inferencia y se entrega con exactitud, sin selección posterior.
• Escalado: el tamaño de la representación, la latencia y la memoria pico disminuyen de forma lineal con el presupuesto.
• Velocidad: hasta 4,1× más rápido que los métodos anteriores con presupuestos pequeños.
• Memoria: hasta 9,6× menos memoria pico con presupuestos pequeños.
• Calidad: mejor que los métodos anteriores con control de presupuesto con cada presupuesto en la evaluación zero-shot.
• Eficiencia: supera al baseline más fuerte usando 4 veces menos gaussianas.

Dónde puede aplicarse

El resultado es más relevante en escenarios con un techo de recursos estricto: AR y VR en visores autónomos, aplicaciones móviles para escanear estancias con rapidez, robótica, donde el mapa debe actualizarse a bordo, y servicios en la nube que procesan miles de escenas en paralelo. En este último caso, un ahorro de nueve veces en memoria pico supone poder alojar más tareas en un mismo acelerador.

Para los ingenieros, la conclusión es práctica. Si se elige un pipeline de reconstrucción para un dispositivo con memoria limitada, no basta con fijarse en el tamaño de la escena final: hay que ver también cómo cambian la latencia y el pico de consumo al reducir el presupuesto. En esa prueba, el enfoque de selección a partir de un conjunto denso sale peor parado. El enfoque de asignación directa al presupuesto objetivo, como el de RLSplat, permite ajustar la calidad al hardware de forma gradual: se reduce el presupuesto y se obtiene un resultado proporcionalmente más rápido y ligero.

Que la ventaja se haya logrado en modo zero-shot, es decir, sin reentrenamiento con datos nuevos, convierte al método en candidato para integrarse en productos donde las escenas no se conocen de antemano. Queda por comprobar cómo se comporta la política de asignación en escenas muy grandes o atípicas, pero el principio ya está claro: el coste de la inferencia debe escalar junto con el resultado solicitado.