RLSplat ensina o 3D Gaussian Splatting a economizar: até 4,1× mais rápido e com 9,6× menos memória

O 3D Gaussian Splatting feed-forward (FF3DGS) monta uma cena tridimensional a partir de um conjunto de fotografias em uma única passagem da rede neural, sem a longa otimização individual de cada cena. O RLSplat acrescenta algo que seus antecessores não tinham: latência, memória de pico e tamanho da representação diminuem linearmente conforme o orçamento de gaussianas definido. Nos testes zero-shot, ele supera os métodos anteriores de orçamento controlável em qualquer orçamento e ultrapassa o melhor baseline, mesmo com quatro vezes menos gaussianas. Em orçamentos pequenos, trabalha até 4,1 vezes mais rápido e usa 9,6 vezes menos memória de pico.

Uma poda que consome toda a economia

A ideia de controlar o orçamento no FF3DGS é simples: a cena final precisa caber em um limite de armazenamento ou de tempo de renderização. Um celular ou um headset precisa de uma cena leve, enquanto um servidor com recursos de sobra aguenta uma cena densa. Os métodos existentes oferecem esse ajuste, mas com uma pegadinha. Para chegar, por exemplo, a 50 mil gaussianas, eles primeiro preveem um conjunto denso e só depois selecionam ou descartam o excedente.

O resultado é que o arquivo final fica realmente pequeno, mas o caminho até ele custa sempre o mesmo. A latência de inferência e a memória de pico permanecem quase constantes, independentemente do orçamento. Para um dispositivo cujo problema é justamente a memória durante a inferência, esse tipo de «orçamento» não resolve nada: os recursos para a etapa densa continuam sendo necessários.

Como o RLSplat distribui as gaussianas

Os autores eliminam a própria etapa de «primeiro muitas, depois menos». Em vez de poda (pruning) ou seleção, o RLSplat treina uma política de alocação. Ela distribui o orçamento dado entre as regiões locais da cena, e o resultado é a criação de exatamente o número de gaussianas solicitado. Áreas complexas recebem mais, áreas simples recebem menos.

A segunda parte da solução trata do refinamento dos parâmetros. As gaussianas passam por um resource-linear Gaussian decoding: cada uma aplica atenção apenas às vizinhas mais próximas, que são encontradas por uma busca hierárquica eficiente. A atenção completa entre todas as gaussianas cresceria mais rápido do que o número de elementos. A atenção local torna o custo da decodificação linear, e por isso tanto o tempo quanto a memória caem quando o orçamento é reduzido.

Principais características do trabalho:

• Orçamento: o número de gaussianas é definido na inferência e entregue com exatidão, sem seleção posterior.
• Escalabilidade: o tamanho da representação, a latência e a memória de pico diminuem linearmente com o orçamento.
• Velocidade: até 4,1× mais rápido que os métodos anteriores em orçamentos pequenos.
• Memória: até 9,6× menos memória de pico em orçamentos pequenos.
• Qualidade: melhor que os métodos anteriores de orçamento controlável em todos os orçamentos, na avaliação zero-shot.
• Eficiência: supera o melhor baseline usando 4 vezes menos gaussianas.

Onde isso pode ser aplicado

O resultado é mais relevante para cenários com limite rígido de recursos: AR e VR em headsets autônomos, aplicativos móveis de escaneamento rápido de ambientes, robótica, em que o mapa precisa ser atualizado a bordo, e serviços em nuvem que processam milhares de cenas em paralelo. Nesse último caso, a economia de memória de pico em nove vezes significa poder alocar mais tarefas em um único acelerador.

Para os engenheiros, a conclusão é prática. Se você está escolhendo um pipeline de reconstrução para um dispositivo com memória limitada, não basta olhar para o tamanho da cena final: é preciso observar também como a latência e o pico de consumo mudam quando o orçamento diminui. Nesse tipo de teste, a abordagem de seleção a partir de um conjunto denso se sai pior. Já a abordagem de alocar diretamente para o orçamento-alvo, como no RLSplat, permite ajustar a qualidade ao hardware de forma gradual: reduziu o orçamento, obteve um resultado proporcionalmente mais rápido e mais leve.

O fato de o ganho ter sido obtido em modo zero-shot, ou seja, sem retreinamento para novos dados, faz do método um candidato a ser incorporado em produtos em que as cenas não são conhecidas de antemão. Falta verificar como a política de alocação se comporta em cenas muito grandes ou atípicas, mas o princípio já está claro: o custo da inferência deve escalar junto com o resultado solicitado.