SAM 2.1 дообучили на фасадах и интерьерах: mIoU вырос с 49,9% до 69,6%

Универсальные модели сегментации плохо знают строительную специфику. Исследователи взяли SAM 2.1, дообучили его на датасете HBD (2679 размеченных изображений 42 зданий) и подняли средний mIoU по 11 классам строительных элементов с 49,9% до 69,6%. Прирост составил 19,7 процентного пункта, или около 40% относительно исходного результата. Улучшенные маски затем встроили в пайплайн GARField, который собирает 2D-сегментацию в трёхмерную сцену.

Почему базовый SAM не справляется со зданиями

Реконструкция по фотографиям начинается с понимания, что именно на кадре. Чтобы получить из набора снимков модель здания с раздельными стенами, окнами, колоннами и балками, каждый объект нужно сначала выделить в 2D. GARField решает следующую задачу: он берёт маски от Segment Anything Model и согласует их между ракурсами в нейронном поле излучения (NeRF). Так пользователь получает 3D-группировку, причём на выбранном им масштабе: можно выделить целую стену, а можно отдельную панель.

Слабое место здесь в качестве входных масок. SAM обучен на широком наборе изображений и не различает инженерные категории. Он может разрезать стену на куски или склеить балку с потолком. Для задач, где результат идёт в BIM-модель или обмерные чертежи, такая путаница заметна. Поэтому авторы дообучили модель на предметной выборке с 11 классами: Wall, Window, Ceiling, Door, Column, Beam, Floor, Opening, Curtain Wall, Roof и Lift.

Что показали замеры

Качество оценивали по IoU и Dice для каждого класса, а также по общему mIoU. Затем SAM 2.1 сравнили с SegFormer, который служил базовой моделью и генерировал маски по классам. Наконец, предобученную и дообученную версии SAM 2.1 проверили уже внутри GARField, на заново отрендеренных изображениях.

• Датасет: HBD, 2679 аннотированных изображений, 42 здания.
• Классы: 11, от стен и окон до подъёмников и навесных фасадов.
• Метрики: IoU и Dice по классам, mIoU в целом.
• Результат: mIoU вырос с 49,9% до 69,6%.
• Против SegFormer: SAM 2.1 после дообучения выигрывает в части классов, в основном с большой площадью поверхности.
• В 3D: дообученная версия лучше группирует элементы здания на масштабе, который выбирает пользователь.

Осторожность тут уместна. В аннотации нет разбивки по классам, а значит, неизвестно, какие категории подтянулись сильнее всего. Формулировка про SegFormer тоже говорит о выигрыше лишь в некоторых классах с большой площадью. Мелкие и тонкие элементы вроде балок или проёмов, вероятно, остаются трудными, но это уже вывод из контекста, а не из цифр. Неясно и то, делили ли выборку по зданиям: если снимки одного здания попали и в обучение, и в тест, mIoU завышен. Для 42 зданий этот вопрос принципиален.

Где это пригодится

Главная польза работы в том, что она показывает рабочий путь для узкой отрасли. Не нужно обучать сегментатор с нуля: достаточно нескольких тысяч размеченных снимков, чтобы foundation-модель стала заметно полезнее в строительной задаче. Для компаний, которые занимаются сканированием объектов, контролем хода работ или оцифровкой существующих зданий, это снижает порог входа. Один набор разметки может дать улучшение сразу по всей цепочке от 2D-масок до 3D-группировки.

Практический порядок действий выглядит так. Сначала собрать собственную выборку под нужные классы, затем дообучить SAM 2.1 и сравнить с лёгкой моделью вроде SegFormer: для крупных поверхностей она может оказаться достаточной и дешевле в инференсе. После этого проверить результат не по 2D-метрикам, а по качеству 3D-группировки в GARField. Именно там видно, стали ли элементы здания цельными объектами.

До автоматической реконструкции, пригодной для проектной документации, ещё далеко. Но 69,6% mIoU против 49,9% — измеримый шаг, и он получен на реальных зданиях, а не на синтетике.