SAM 2.1, ajustado con fachadas e interiores: el mIoU sube del 49,9% al 69,6%

Los modelos de segmentación de propósito general conocen mal el terreno de la construcción. Los investigadores tomaron SAM 2.1, lo ajustaron con el dataset HBD (2679 imágenes anotadas de 42 edificios) y elevaron el mIoU medio en 11 clases de elementos constructivos del 49,9% al 69,6%. La mejora fue de 19,7 puntos porcentuales, alrededor de un 40% respecto al resultado inicial. Después integraron las máscaras mejoradas en el pipeline GARField, que convierte la segmentación 2D en una escena tridimensional.

Por qué el SAM básico falla con los edificios

La reconstrucción a partir de fotografías empieza por entender qué hay exactamente en cada imagen. Para obtener, a partir de un conjunto de fotos, un modelo del edificio con muros, ventanas, columnas y vigas por separado, primero hay que delimitar cada objeto en 2D. GARField resuelve el paso siguiente: toma las máscaras de Segment Anything Model y las hace coherentes entre distintos ángulos de cámara en un campo de radiancia neuronal (NeRF). Así el usuario obtiene una agrupación 3D a la escala que elija: puede seleccionar un muro entero o un solo panel.

El punto débil está en la calidad de las máscaras de entrada. SAM se entrenó con un conjunto amplio de imágenes y no distingue categorías de ingeniería. Puede cortar un muro en fragmentos o fusionar una viga con el techo. Cuando el resultado va a un modelo BIM o a planos de medición, esa confusión se nota. Por eso los autores ajustaron el modelo con una muestra del dominio con 11 clases: Wall, Window, Ceiling, Door, Column, Beam, Floor, Opening, Curtain Wall, Roof y Lift.

Qué mostraron las mediciones

La calidad se evaluó con IoU y Dice por clase, además del mIoU global. Después se comparó SAM 2.1 con SegFormer, que sirvió como modelo de referencia y generaba máscaras por clase. Por último, se probaron las versiones preentrenada y ajustada de SAM 2.1 dentro de GARField, sobre imágenes renderizadas de nuevo.

• Dataset: HBD, 2679 imágenes anotadas, 42 edificios.
• Clases: 11, desde muros y ventanas hasta ascensores y muros cortina.
• Métricas: IoU y Dice por clase, mIoU global.
• Resultado: el mIoU subió del 49,9% al 69,6%.
• Frente a SegFormer: SAM 2.1 ajustado gana en parte de las clases, sobre todo en las de mayor superficie.
• En 3D: la versión ajustada agrupa mejor los elementos del edificio a la escala que elige el usuario.

Conviene ser cautos. El resumen del trabajo no incluye el desglose por clases, así que no se sabe qué categorías mejoraron más. La formulación sobre SegFormer también habla de una ventaja solo en algunas clases de gran superficie. Los elementos pequeños y delgados, como vigas o aberturas, probablemente siguen siendo difíciles, pero esto es una deducción del contexto, no de las cifras. Tampoco está claro si la muestra se dividió por edificios: si imágenes de un mismo edificio acabaron tanto en entrenamiento como en test, el mIoU está inflado. Con 42 edificios, esta cuestión es fundamental.

Dónde puede resultar útil

La principal aportación del trabajo es que muestra un camino viable para un sector especializado. No hace falta entrenar un segmentador desde cero: bastan unos pocos miles de imágenes anotadas para que un modelo fundacional sea claramente más útil en una tarea de construcción. Para las empresas que escanean obras, supervisan el avance de los trabajos o digitalizan edificios existentes, esto reduce la barrera de entrada. Un único conjunto de anotaciones puede mejorar toda la cadena, de las máscaras 2D a la agrupación 3D.

El orden práctico de trabajo sería este. Primero, reunir una muestra propia con las clases necesarias; después, ajustar SAM 2.1 y compararlo con un modelo ligero como SegFormer, que para superficies grandes puede bastar y resultar más barato en inferencia. A continuación, validar el resultado no con métricas 2D, sino por la calidad de la agrupación 3D en GARField. Ahí se ve si los elementos del edificio se han convertido en objetos íntegros.

Aún queda mucho para una reconstrucción automática apta para documentación de proyecto. Pero un 69,6% de mIoU frente al 49,9% es un avance medible, y se obtuvo con edificios reales, no con datos sintéticos.