CompactSplat distribui gaussianas 3D pelo conteúdo do quadro, e não por pixel

Um grupo de pesquisadores publicou o CompactSplat, um framework feedforward para reconstrução de cenas 3D a partir de poucos ângulos de câmera. O método não exige otimização para cada cena e muda a própria lógica de posicionamento das gaussianas 3D. Em vez do esquema de "uma ou várias gaussianas por pixel", ele distribui os primitivos de acordo com o conteúdo da imagem. O método foi avaliado em três benchmarks: RealEstate10K, DL3DV e ScanNet. Segundo os autores, ele supera as abordagens anteriores tanto nas métricas padrão quanto na consistência da renderização em alta resolução, e precisa de bem menos primitivos.

Por que uma gaussiana por pixel é desperdício

O 3D Gaussian Splatting generalizável, na versão feedforward, funciona assim: a rede analisa os quadros de entrada e, em uma única passada, gera um conjunto de gaussianas a partir do qual a cena é renderizada. Não há um longo ajuste para uma sala específica, nem minutos ou horas de otimização. Muitos métodos recentes seguem esse esquema, incluindo pixelSplat e MVSplat: cada pixel da imagem de entrada recebe seu próprio primitivo, às vezes mais de um.

Essa simplicidade tem um custo. Uma parede branca, um céu limpo ou um piso liso ocupam uma área enorme do quadro, mas carregam quase nenhuma informação. Uma dezena de gaussianas grandes seria suficiente para cobri-los, e a rede gasta milhares. O resultado é uma representação inchada, que consome memória e deixa a renderização mais lenta. Há ainda um segundo problema, o da geometria. Planos aparecem o tempo todo em cenas reais, mas a distribuição uniforme de primitivos não aproveita esse conhecimento. A estrutura acaba modelada pior do que poderia.

A textura indica onde colocar os primitivos

O CompactSplat resolve os dois problemas com um único mecanismo. Primeiro, a imagem é dividida em regiões levando em conta a textura. Depois, uma amostragem hierárquica define quantas gaussianas cada região precisa. Zonas complexas, com detalhes finos, recebem uma distribuição densa de primitivos. Áreas planas são cobertas por uma espécie de "ladrilho" de gaussianas ampliadas, cuja escala se ajusta ao tamanho da região.

Dessa forma, o método usa diretamente o prior geométrico das superfícies planas, em vez de torcer para que a rede o aprenda sozinha. A distribuição se torna adaptativa: o orçamento de primitivos vai para onde ele afeta a qualidade da imagem.

Um controle deslizante entre qualidade e memória

Outro detalhe prático é o controle dinâmico da esparsidade na etapa de inferência. A densidade das gaussianas pode ser alterada sem retreinar a rede. O mesmo modelo pode rodar em modo "pesado", para obter a qualidade máxima, ou em modo leve, quando o uso de memória é a prioridade. Normalmente, esse tipo de compromisso exige modelos diferentes ou fine-tuning.

O que se sabe sobre o método:

• tarefa: reconstrução de cena 3D a partir de ângulos esparsos, sem otimização por cena;
• representação: 3D Gaussian Splatting, geração feedforward;
• componentes principais: divisão espacial guiada pela textura, amostragem hierárquica, primitivos com escala modulada para regiões planas;
• controle: ajuste da esparsidade na inferência, sem novo treinamento;
• benchmarks: RealEstate10K, DL3DV, ScanNet;
• resultado: métricas melhores e renderização estável em alta resolução, com menos primitivos.

Onde a economia de gaussianas compensa primeiro

A compactação importa onde a cena precisa ser construída rapidamente e exibida em hardware limitado. É o caso de AR e VR em dispositivos móveis, de prévias de imóveis (em que o RealEstate10K já se tornou teste padrão) e da navegação de robôs, que precisam de um mapa do ambiente sem processamento demorado. Nesses cenários, menos primitivos significam menos tráfego, menos memória de vídeo e taxa de quadros maior.

A possibilidade de mudar a densidade em tempo de execução é especialmente útil para produtos que atendem classes diferentes de dispositivos. Um único modelo treinado pode ser implantado no servidor e no celular, alterando apenas o parâmetro de esparsidade. Para as equipes que hoje mantêm várias versões de uma rede de reconstrução, isso reduz o trabalho de manutenção.

Há também questões em aberto que vale verificar na adoção. Elas envolvem o comportamento em cenas com muitas estruturas finas, em superfícies reflexivas e transparentes e em vídeos de rua, onde a textura varia de forma mais brusca do que em ambientes internos. Ainda assim, a direção está clara: o próximo passo na reconstrução feedforward está em posicionar as gaussianas de forma mais inteligente, e não em acrescentar mais delas.