LEGO-SCD aprende a detectar mudanças em cenas 3D a 17,2 FPS sem anotação manual

A equipe formada por Changrui Zhu e Simon Julier lançou o LEGO-SCD, um método de detecção online de mudanças em cenas. Ele treina sem anotação manual das mudanças, usando edições automáticas de um modelo de referência em 3D Gaussian Splatting. No benchmark PASLCD, o método alcança 67,64% de mIoU; no CCS3D, 75,82%. O pipeline completo processa as sequências de consulta no PASLCD a 17,2 quadros por segundo, velocidade superior à de todos os métodos online com os quais os autores o compararam.

O desafio: entender o que mudou enquanto novos quadros chegam

A detecção online de mudanças funciona assim: o sistema tem uma cena 3D de referência, como uma sala, um depósito ou uma fábrica. A câmera se move e envia novas imagens. É preciso determinar em tempo real quais regiões diferem da referência: se apareceu uma caixa, se uma cadeira foi retirada, se um equipamento foi deslocado.

Um único quadro não basta para isso. Iluminação, ângulo de visão e artefatos de renderização geram divergências falsas, então a confiança de que algo mudou precisa ser acumulada conforme as observações chegam. Os autores fazem isso por meio de uma fusão bayesiana generalizada de evidências. Isso traz dois problemas. Nem a probabilidade a priori de mudança nem os modelos de evidência são conhecidos de antemão. Além disso, a inferência bayesiana numérica é cara, o que é crítico no cenário online.

Como treinar o detector sem nenhuma edição anotada

Os autores encontraram uma brecha na própria cena 3DGS. O modelo de referência é editado automaticamente, e cada edição gera vistas de treinamento com rótulos conhecidos. O modelo sabe onde e o que alterou, então não são necessários anotadores. A essas vistas somam-se observações não alteradas da referência. Juntas, elas fornecem um sinal supervisionado para três elementos:

• modelos de evidência específicos de cada cena;
• um prior de mudança eficiente em nível de pixel;
• estatísticas de resposta, ou seja, como o sinal se comporta em regiões alteradas e não alteradas.

Na etapa online, o sistema combina a evidência atual com o histórico acumulado. A inferência numérica cara é substituída por fatores de Bayes locais em forma fechada, cujos parâmetros vêm das estatísticas de resposta aprendidas. O resultado atualiza o campo gaussiano 3D de mudanças acumulado. Na última etapa, um refinamento orientado a objetos transforma esse campo nas máscaras finais de mudança.

Números e conteúdo do lançamento

• Método: LEGO-SCD, detecção online de mudanças baseada em 3D Gaussian Splatting.
• Autores: Changrui Zhu e Simon Julier, preprint arXiv 2610.28490.
• PASLCD: 67,64% de mIoU, o melhor resultado segundo os autores.
• CCS3D: 75,82% de mIoU, também o melhor resultado.
• Velocidade: 17,2 FPS no PASLCD para o pipeline completo em sequências de consulta inteiras, o resultado mais rápido entre os métodos online testados.
• Anotação: não são usadas anotações manuais de mudanças.
• Disponibilidade: código no GitHub, página do projeto e parâmetros de cena aprendidos no Hugging Face, no repositório Teleeeeeeeeeee/LEGO-SCD.

Um detalhe importante: os 17,2 FPS foram medidos no pipeline completo, incluindo o refinamento das máscaras, e não apenas no núcleo da fusão bayesiana. A velocidade foi calculada em sequências de consulta inteiras, e não em quadros isolados favoráveis.

Onde isso pode ser útil e o que verificar

Os cenários mais óbvios envolvem robôs e inspeção. Para um robô móvel, é útil saber que algo mudou em um ambiente conhecido. Monitoramento de objetos, depósitos e canteiros de obras exigem o mesmo. As reconstruções 3DGS estão cada vez mais comuns, e um detector de mudanças construído sobre elas se encaixa naturalmente nos pipelines existentes.

A abordagem também tem uma limitação, embutida no termo "modelos específicos de cena". As estatísticas precisam ser aprendidas para cada cena, o que significa que é necessária uma etapa offline na reconstrução de referência antes da execução. Para ambientes estáticos inspecionados com regularidade, esse custo é aceitável. Para espaços em constante mudança, ele é maior.

Na prática, uma equipe que queira testar o LEGO-SCD deve fazer três coisas. Primeiro, pegar os parâmetros de cena publicados e rodar o código no PASLCD ou no CCS3D, para reproduzir os 17,2 FPS no próprio hardware. Segundo, verificar quanto as edições sintéticas da referência se parecem com as mudanças reais nos seus dados, pois disso depende a transferência da qualidade. Terceiro, avaliar o custo do treinamento offline para cada nova cena em relação ao benefício de dispensar a anotação.