LEGO-SCD учится находить изменения в 3D-сценах на 17,2 FPS без ручной разметки

Команда из Changrui Zhu и Simon Julier выпустила LEGO-SCD, метод онлайн-обнаружения изменений в сцене. Он обучается без ручной разметки изменений, на автоматических правках эталонной 3D Gaussian Splatting-модели. На бенчмарке PASLCD метод показывает 67,64% mIoU, на CCS3D — 75,82%. Полный пайплайн на PASLCD обрабатывает запросные последовательности со скоростью 17,2 кадра в секунду, что быстрее всех онлайн-методов, с которыми его сравнивали авторы.

Задача: понять, что изменилось, пока приходят новые кадры

Онлайн-обнаружение изменений устроено так. У системы есть эталонная 3D-сцена, например комната, склад или цех. Камера движется и присылает новые изображения. Нужно на лету определить, какие области отличаются от эталона: появился ли ящик, убрали ли стул, сдвинули ли оборудование.

Одного кадра для этого мало. Освещение, ракурс и артефакты рендеринга создают ложные расхождения, поэтому уверенность в изменении приходится накапливать по мере прихода наблюдений. Авторы делают это через обобщённое байесовское слияние свидетельств. Здесь возникают две проблемы. Заранее неизвестны ни априорная вероятность изменения, ни модели свидетельств. А численный байесовский вывод обходится дорого, и в онлайне это критично.

Как научить детектор без единой размеченной правки

Лазейку авторы нашли в самой 3DGS-сцене. Эталонную модель автоматически редактируют, и каждая правка даёт обучающие виды с известной разметкой. Модель знает, где и что она изменила, поэтому аннотаторы не нужны. К этим видам добавляют неизменённые наблюдения эталона. Вместе они дают контролируемый сигнал для трёх вещей:

• сценоспецифичных моделей свидетельств;
• эффективного пиксельного приора изменения;
• статистики откликов, то есть того, как ведёт себя сигнал на изменённых и неизменённых участках.

В онлайне система объединяет текущее свидетельство с накопленной историей. Дорогой численный вывод заменён локальными байесовскими факторами в замкнутой форме. Их параметры берутся из выученной статистики откликов. Результат обновляет накопленное 3D-гауссово поле изменений. На последнем шаге объектно-ориентированное уточнение превращает это поле в итоговые маски изменений.

Цифры и состав релиза

• Метод: LEGO-SCD, онлайн-обнаружение изменений на базе 3D Gaussian Splatting.
• Авторы: Changrui Zhu и Simon Julier, препринт arXiv 2610.28490.
• PASLCD: 67,64% mIoU, по заявлению авторов, лучший результат.
• CCS3D: 75,82% mIoU, также лучший результат.
• Скорость: 17,2 FPS на PASLCD для полного пайплайна на целых запросных последовательностях, самый быстрый результат среди проверенных онлайн-методов.
• Разметка: ручные аннотации изменений не используются.
• Доступность: код на GitHub, страница проекта, выученные параметры сцен на Hugging Face в репозитории Teleeeeeeeeeee/LEGO-SCD.

Важная деталь в том, что 17,2 FPS замерены на полном пайплайне, включая уточнение масок, а не только на ядре байесовского слияния. Скорость считали на целых последовательностях запросов, а не на отдельных удачных кадрах.

Где это пригодится и что проверять

Наиболее очевидные сценарии связаны с роботами и инспекцией. Мобильному роботу полезно знать, что в знакомом помещении что-то поменялось. Мониторинг объектов, склады и строительные площадки требуют того же. 3DGS-реконструкции становятся всё привычнее, и детектор изменений, который достраивается поверх них, ложится в готовые конвейеры естественно.

У подхода есть и ограничение, заложенное в названии «сценоспецифичные модели». Статистику нужно выучить для каждой сцены, а значит, перед запуском нужен офлайн-этап на эталонной реконструкции. Для статичных объектов, которые обследуют регулярно, это приемлемая цена. Для постоянно меняющихся пространств она выше.

Практически команде, которая хочет попробовать LEGO-SCD, стоит сделать три вещи. Во-первых, взять опубликованные параметры сцен и запустить код на PASLCD или CCS3D, чтобы воспроизвести 17,2 FPS на своём железе. Во-вторых, проверить, насколько синтетические правки эталона похожи на реальные изменения в её данных. От этого зависит перенос качества. В-третьих, оценить стоимость офлайн-обучения для каждой новой сцены относительно выгоды от отказа от разметки.