LEGO-SCD aprende a detectar cambios en escenas 3D a 17,2 FPS sin etiquetado manual

El equipo formado por Changrui Zhu y Simon Julier ha publicado LEGO-SCD, un método de detección de cambios en escenas en línea. Se entrena sin etiquetado manual de los cambios, a partir de ediciones automáticas de un modelo de referencia de 3D Gaussian Splatting. En el benchmark PASLCD el método obtiene un 67,64% de mIoU y en CCS3D, un 75,82%. El pipeline completo procesa en PASLCD las secuencias de consulta a 17,2 fotogramas por segundo, más rápido que todos los métodos en línea con los que lo compararon los autores.

El problema: entender qué ha cambiado mientras llegan nuevos fotogramas

La detección de cambios en línea funciona así. El sistema dispone de una escena 3D de referencia, por ejemplo una habitación, un almacén o un taller. Una cámara se mueve y envía imágenes nuevas. Hay que determinar al vuelo qué zonas difieren de la referencia: si ha aparecido una caja, si han retirado una silla, si han movido un equipo.

Un solo fotograma no basta. La iluminación, el ángulo de visión y los artefactos de renderizado generan discrepancias falsas, así que la confianza en un cambio hay que acumularla a medida que llegan observaciones. Los autores lo hacen mediante una fusión bayesiana generalizada de evidencias. Aquí surgen dos problemas. No se conocen de antemano ni la probabilidad a priori del cambio ni los modelos de evidencia. Y la inferencia bayesiana numérica es costosa, algo crítico en línea.

Cómo entrenar el detector sin una sola edición etiquetada

Los autores encontraron la solución en la propia escena 3DGS. El modelo de referencia se edita de forma automática y cada edición genera vistas de entrenamiento con etiquetas conocidas. El modelo sabe dónde y qué ha cambiado, por lo que no hacen falta anotadores. A estas vistas se suman observaciones no modificadas de la referencia. Juntas proporcionan una señal supervisada para tres elementos:

• modelos de evidencia específicos de cada escena;
• un prior de cambio por píxel eficaz;
• estadísticas de respuesta, es decir, cómo se comporta la señal en las zonas modificadas y en las no modificadas.

En línea, el sistema combina la evidencia actual con el historial acumulado. La costosa inferencia numérica se sustituye por factores de Bayes locales en forma cerrada. Sus parámetros salen de las estadísticas de respuesta aprendidas. El resultado actualiza el campo gaussiano 3D de cambios acumulado. En el último paso, un refinamiento orientado a objetos convierte ese campo en las máscaras finales de cambios.

Cifras y contenido de la publicación

• Método: LEGO-SCD, detección de cambios en línea basada en 3D Gaussian Splatting.
• Autores: Changrui Zhu y Simon Julier, preprint de arXiv 2610.28490.
• PASLCD: 67,64% de mIoU, el mejor resultado según los autores.
• CCS3D: 75,82% de mIoU, también el mejor resultado.
• Velocidad: 17,2 FPS en PASLCD para el pipeline completo sobre secuencias de consulta enteras, el resultado más rápido entre los métodos en línea evaluados.
• Etiquetado: no se usan anotaciones manuales de los cambios.
• Disponibilidad: código en GitHub, página del proyecto y parámetros de escena aprendidos en Hugging Face, en el repositorio Teleeeeeeeeeee/LEGO-SCD.

Un detalle importante: los 17,2 FPS se midieron sobre el pipeline completo, incluido el refinamiento de las máscaras, y no solo sobre el núcleo de la fusión bayesiana. La velocidad se calculó sobre secuencias de consulta enteras, no sobre fotogramas sueltos favorables.

Dónde puede resultar útil y qué conviene comprobar

Los escenarios más evidentes están en la robótica y la inspección. A un robot móvil le interesa saber que algo ha cambiado en un espacio conocido. La monitorización de objetos, los almacenes y las obras requieren lo mismo. Las reconstrucciones 3DGS son cada vez más habituales, y un detector de cambios que se construye sobre ellas encaja de forma natural en los flujos de trabajo ya existentes.

El enfoque tiene también una limitación, implícita en el término «específicos de cada escena». Las estadísticas hay que aprenderlas para cada escena, lo que exige una fase offline sobre la reconstrucción de referencia antes de la puesta en marcha. Para objetos estáticos que se inspeccionan con regularidad, es un coste aceptable. Para espacios que cambian constantemente, es mayor.

En la práctica, un equipo que quiera probar LEGO-SCD debería hacer tres cosas. Primero, tomar los parámetros de escena publicados y ejecutar el código en PASLCD o CCS3D para reproducir los 17,2 FPS en su propio hardware. Segundo, comprobar en qué medida las ediciones sintéticas de la referencia se parecen a los cambios reales en sus datos, porque de eso depende que la calidad se mantenga al trasladarlo. Tercero, evaluar el coste del entrenamiento offline para cada escena nueva frente al beneficio de prescindir del etiquetado.