SAM 2.1 recebe fine-tuning com fachadas e interiores: mIoU sobe de 49,9% para 69,6%

Modelos de segmentação de uso geral conhecem pouco as particularidades da construção civil. Os pesquisadores pegaram o SAM 2.1, fizeram o fine-tuning no dataset HBD (2679 imagens anotadas de 42 edifícios) e elevaram o mIoU médio em 11 classes de elementos construtivos de 49,9% para 69,6%. O ganho foi de 19,7 pontos percentuais, cerca de 40% em relação ao resultado inicial. As máscaras melhoradas foram então integradas ao pipeline GARField, que transforma a segmentação 2D em uma cena tridimensional.

Por que o SAM base não dá conta de edifícios

A reconstrução a partir de fotografias começa pela compreensão do que aparece em cada quadro. Para obter, de um conjunto de imagens, um modelo do edifício com paredes, janelas, colunas e vigas separadas, é preciso primeiro isolar cada objeto em 2D. O GARField resolve a etapa seguinte: ele pega as máscaras do Segment Anything Model e as reconcilia entre os diferentes ângulos de câmera em um campo de radiância neural (NeRF). Com isso, o usuário obtém um agrupamento 3D na escala que escolher: é possível selecionar uma parede inteira ou apenas um painel.

O ponto fraco está na qualidade das máscaras de entrada. O SAM foi treinado em um conjunto amplo de imagens e não distingue categorias de engenharia. Ele pode cortar uma parede em pedaços ou fundir uma viga com o teto. Em tarefas cujo resultado alimenta um modelo BIM ou desenhos de levantamento, essa confusão chama atenção. Por isso, os autores fizeram o fine-tuning do modelo em uma amostra específica do domínio, com 11 classes: Wall, Window, Ceiling, Door, Column, Beam, Floor, Opening, Curtain Wall, Roof e Lift.

O que as medições mostraram

A qualidade foi avaliada por IoU e Dice em cada classe, além do mIoU geral. Em seguida, o SAM 2.1 foi comparado ao SegFormer, que serviu de modelo de referência e gerou máscaras por classe. Por fim, as versões pré-treinada e ajustada do SAM 2.1 foram testadas dentro do GARField, em imagens renderizadas novamente.

• Dataset: HBD, 2679 imagens anotadas, 42 edifícios.
• Classes: 11, de paredes e janelas a elevadores e fachadas cortina.
• Métricas: IoU e Dice por classe, mIoU no geral.
• Resultado: o mIoU subiu de 49,9% para 69,6%.
• Contra o SegFormer: após o fine-tuning, o SAM 2.1 leva vantagem em parte das classes, principalmente as de grande área de superfície.
• Em 3D: a versão ajustada agrupa melhor os elementos do edifício na escala escolhida pelo usuário.

É prudente ter cautela aqui. O resumo do estudo não traz o detalhamento por classe, então não se sabe quais categorias melhoraram mais. A menção ao SegFormer também indica vantagem apenas em algumas classes de grande área. Elementos pequenos e finos, como vigas ou aberturas, provavelmente continuam difíceis, mas isso é uma inferência do contexto, não dos números. Também não está claro se a amostra foi dividida por edifício: se imagens do mesmo edifício caíram tanto no treino quanto no teste, o mIoU está inflado. Num conjunto de 42 edifícios, essa questão é fundamental.

Onde isso pode ser útil

O principal valor do trabalho é mostrar um caminho viável para um setor de nicho. Não é preciso treinar um segmentador do zero: poucos milhares de imagens anotadas bastam para que um modelo foundation fique bem mais útil em uma tarefa de construção. Para empresas que fazem escaneamento de obras, acompanhamento do andamento de projetos ou digitalização de edifícios existentes, isso reduz a barreira de entrada. Um único conjunto de anotações pode melhorar toda a cadeia, das máscaras 2D ao agrupamento 3D.

Na prática, o roteiro é este. Primeiro, montar uma amostra própria para as classes necessárias, depois fazer o fine-tuning do SAM 2.1 e comparar com um modelo leve como o SegFormer: para superfícies grandes, ele pode ser suficiente e mais barato na inferência. Depois, verificar o resultado não pelas métricas 2D, mas pela qualidade do agrupamento 3D no GARField. É ali que se vê se os elementos do edifício se tornaram objetos íntegros.

Ainda falta muito para uma reconstrução automática adequada à documentação de projeto. Mas 69,6% de mIoU contra 49,9% é um avanço mensurável, obtido em edifícios reais, e não em dados sintéticos.