OOOSplat transforma vídeos de celular em cenas 3D localmente, com um clique

Gaussian Splatting já deixou de ser apenas uma demonstração de pesquisa: as cenas têm aparência fotorrealista e podem ser exploradas no navegador em tempo real. Mas o caminho entre um vídeo de celular e um splat pronto ainda parece uma corrida de obstáculos. É preciso extrair os quadros com FFmpeg, calcular as posições das câmeras no COLMAP, executar o treinamento e depois encontrar uma ferramenta para visualizar e recortar o resultado. A equipe da OOOLab reuniu toda essa sequência em um único aplicativo e o disponibilizou como projeto de código aberto com o nome OOOSplat.

O que vem incluído

O OOOSplat é um aplicativo de desktop multiplataforma para Windows, macOS com Apple Silicon e Linux. Foi desenvolvido com Rust e Tauri, com interface em React. A ideia central é a autonomia: o pacote já inclui binários pré-configurados de FFmpeg, FFprobe, COLMAP e do motor de treinamento Brush. Não é preciso instalar nada separadamente, e nenhum dado é enviado a servidores de terceiros.

O processamento começa com um único botão. O aplicativo recebe um vídeo (MP4, MOV), extrai os quadros-chave, calcula as posições das câmeras com o COLMAP e otimiza as gaussianas no Brush. O resultado é um arquivo final.ply. Se a máquina tiver uma placa de vídeo NVIDIA, o COLMAP a utiliza automaticamente; caso contrário, roda na CPU, apenas mais devagar.

Como funciona na prática

Imagine que você esteja desenvolvendo um serviço para uma imobiliária ou um catálogo de produtos com prévias em 3D. Antes, um funcionário filmava um cômodo com o celular e, dali em diante, tudo dependia de um engenheiro que soubesse operar o COLMAP. Agora, basta carregar a gravação no aplicativo para obter uma cena sem usar a linha de comando.

Após o treinamento, o resultado abre em um visualizador 3D integrado que usa WebGPU e WebGL. Nele, é possível mover e girar a cena, além de usar uma caixa delimitadora para recortar os artefatos flutuantes nas bordas, um problema comum dos splats. A exportação oferece os formatos PLY, SOG, SPZ e SPLAT, além de uma página HTML autônoma com um player web leve. É um caso de uso bastante direto: publicar um único arquivo em um serviço de hospedagem e enviar o link ao cliente.

Há também alguns recursos úteis. O aplicativo aceita panorâmicas de 360×180 no formato ERP. Os dados de GPS do EXIF são usados para calibrar a escala métrica, dando dimensões reais à cena. Há suporte a máscaras alfa transparentes, e o modo re-shoot permite acrescentar novos quadros e atualizar a cena sem refazer o treinamento do zero.

Limitações e como lidar com elas

Algumas ressalvas de início. Este é um projeto de código aberto recente, e ainda há poucos relatos sobre sua estabilidade e a qualidade dos resultados em cenas complexas. A qualidade do próprio splat depende da captura: quadros nítidos, boa sobreposição e ausência de objetos em movimento. Nenhuma interface elimina essas exigências. A alternativa de execução na CPU é mais adequada para testar uma ideia do que para uso frequente, e vale medir a velocidade de treinamento em Apple Silicon e Linux com seus próprios dados. Também convém verificar previamente as licenças dos componentes incluídos caso você pretenda integrar o resultado a um produto comercial.

As implicações práticas variam conforme o perfil. Para desenvolvedores, o repositório serve de referência para reunir COLMAP, Brush e FFmpeg em um único pacote Tauri, além de oferecer uma base pronta para um fork adaptado às suas necessidades. Para profissionais de produto, testar hipóteses com conteúdo 3D ficou mais barato: um piloto não exige orçamento de nuvem nem um especialista dedicado em fotogrametria. Para fundadores que trabalham com gravações privadas de imóveis, instalações de produção ou interiores, o processamento local tem valor por si só: os dados não saem da máquina.

Meu conselho é simples: pegue dois ou três vídeos reais da sua área, processe-os no OOOSplat e examine o resultado no player do navegador. Se a qualidade atender às suas necessidades, você terá um protótipo funcional de um recurso 3D em uma noite. Caso contrário, descobrirá rapidamente onde o processo esbarra: na captura, no hardware ou na própria abordagem. O repositório está no GitHub, na organização ooolabdev.