PCAsplat чистит гауссовы сплаты от «плавунов» через локальный PCA на трёх бенчмарках

Gaussian Splatting давно вышел за рамки красивого рендеринга, но геометрия у него остаётся слабым местом. Команда авторов PCAsplat предлагает регуляризатор на основе дифференцируемого локального метода главных компонент (PCA), который напрямую двигает центры гауссиан к реальной поверхности сцены. Проверка прошла на трёх наборах данных: DTU, Tanks and Temples и NeRF Synthetic. По заявлению авторов, сплаты точнее приближают эталонную поверхность, а число плавающих артефактов существенно падает. Код обещают выложить.

Почему гауссианы уплывают

Стандартное обучение 3D Gaussian Splatting опирается на потери растеризации. Градиент приходит только к тем гауссианам, которые попали в лучи выбранных камер и внесли вклад в пиксель. Если сплат закрыт другим объектом или почти не виден из текущего ракурса, сигнал о его положении слабый или нулевой. Такой сплат остаётся там, куда его занесло на ранних итерациях, и в итоге повисает в воздухе рядом с поверхностью. Это и есть floaters, плавающие артефакты, которые портят облако точек, сетку и любые последующие операции над геометрией.

Проблема системная: фотометрическая ошибка не знает, где проходит поверхность. Она проверяет только то, похож ли итоговый кадр на фотографию.

Как работает PCAsplat

Авторы добавляют потери, которые не зависят от камеры. Для каждой гауссианы берётся окрестность ближайших центров и считается локальный PCA. Операция дифференцируема, поэтому градиент течёт обратно в положения центров, в том числе у сплатов, не участвующих в текущем виде.

У регуляризатора две части:

• Регуляризация собственных значений. Она подталкивает гауссианы к поверхности и добивается изотропного покрытия касательной плоскости: по смыслу, малое собственное значение вдоль нормали и сопоставимые два других.
• Выравнивание нормалей. Нормаль каждой гауссианы согласуется с нормалью, оценённой PCA по соседству, что даёт единообразную ориентацию.

Метод не заменяет растеризационные потери, а работает рядом с ними как дополнительное ограничение.

Что показали эксперименты

В аннотации нет числовых таблиц, поэтому судить о величине выигрыша пока нельзя. Качественно заявлено следующее:

• Бенчмарки: DTU, Tanks and Temples, NeRF Synthetic.
• Сплаты лучше аппроксимируют выборку точек с эталонной поверхности.
• Плавающих артефактов существенно меньше.
• Синтез новых ракурсов и извлечение сетки остаются на конкурентном уровне, то есть заметного рывка по классическим метрикам рендеринга авторы не обещают.
• Поверхностно выровненные сплаты пригодны для сегментации облака точек и прямой реконструкции Пуассона, без промежуточных обходных шагов.

Последний пункт самый практичный. Реконструкция Пуассона требует чистых точек с согласованными нормалями, и именно их регуляризатор пытается обеспечить на выходе обучения.

Кому это пригодится

Если вы строите конвейер сканирования, фотограмметрии или цифровых двойников на гауссовых сплатах, главная ценность метода в том, что облако центров можно использовать как геометрию, а не только как набор для рендера. Для робототехники и AR это означает меньше ручной чистки перед построением сетки и столкновений.

Перед внедрением стоит дождаться кода и проверить три вещи. Первая: сколько времени добавляет поиск соседей и PCA на каждой итерации при сценах с миллионами гауссиан. Вторая: как метод ведёт себя на сценах с тонкими структурами и бликами, где предположение о локальной плоскости ломается. Третья: насколько выигрыш в геометрии держится на ваших данных, а не только на трёх академических наборах. Пока это аккуратная и логичная идея для тех, кому геометрия важна не меньше картинки.