ضبط SAM 2.1 على الواجهات والتصميمات الداخلية: ارتفاع mIoU من 49,9% إلى 69,6%

نماذج التجزئة العامة لا تعرف الخصوصيات الإنشائية جيدًا. أخذ باحثون نموذج SAM 2.1 وضبطوه على مجموعة بيانات HBD (2679 صورة مُعنونة لـ42 مبنى)، فارتفع متوسط mIoU عبر 11 فئة من العناصر الإنشائية من 49,9% إلى 69,6%. بلغت الزيادة 19,7 نقطة مئوية، أي نحو 40% قياسًا بالنتيجة الأصلية. ثم دُمجت الأقنعة المحسّنة في مسار GARField الذي يحوّل التجزئة ثنائية الأبعاد إلى مشهد ثلاثي الأبعاد.

لماذا يعجز SAM الأساسي أمام المباني

تبدأ إعادة البناء من الصور بفهم ما يظهر في اللقطة بالضبط. ولكي نحصل من مجموعة صور على نموذج لمبنى بجدران ونوافذ وأعمدة وعوارض منفصلة، يجب أولًا عزل كل عنصر في الصورة ثنائية الأبعاد. ويعالج GARField المهمة التالية: يأخذ الأقنعة الصادرة عن Segment Anything Model ويوفّق بينها عبر زوايا التصوير المختلفة داخل حقل الإشعاع العصبي (NeRF). وبذلك يحصل المستخدم على تجميع ثلاثي الأبعاد بالمقياس الذي يختاره: يمكنه تحديد جدار كامل، ويمكنه تحديد لوح واحد.

يكمن الضعف هنا في جودة الأقنعة المُدخلة. فقد دُرّب SAM على مجموعة واسعة من الصور، ولا يميّز الفئات الهندسية. وقد يقطّع الجدار إلى أجزاء، أو يدمج العارضة بالسقف. وتبدو هذه الفوضى جليّة في المهام التي تنتهي نتائجها في نموذج BIM أو المخططات القياسية. لذلك ضبط المؤلفون النموذج على عيّنة متخصصة من 11 فئة: Wall وWindow وCeiling وDoor وColumn وBeam وFloor وOpening وCurtain Wall وRoof وLift.

ماذا أظهرت القياسات

قُيّمت الجودة بمقياسي IoU وDice لكل فئة، وكذلك بمتوسط mIoU الإجمالي. ثم قورن SAM 2.1 بنموذج SegFormer، الذي كان نموذجًا مرجعيًا يولّد الأقنعة حسب الفئات. وأخيرًا، اختُبرت النسختان المدرَّبة مسبقًا والمضبوطة من SAM 2.1 داخل GARField، على صور أُعيد توليدها.

• مجموعة البيانات: HBD، 2679 صورة مُعنونة، 42 مبنى.
• الفئات: 11، من الجدران والنوافذ إلى المصاعد والواجهات الستارية.
• المقاييس: IoU وDice لكل فئة، وmIoU إجمالًا.
• النتيجة: ارتفع mIoU من 49,9% إلى 69,6%.
• مقابل SegFormer: يتفوق SAM 2.1 بعد الضبط في جزء من الفئات، وغالبًا تلك ذات المساحة السطحية الكبيرة.
• في الأبعاد الثلاثة: تجمّع النسخة المضبوطة عناصر المبنى بصورة أفضل على المقياس الذي يختاره المستخدم.

الحذر هنا في محله. فالملخص لا يتضمن تفصيلًا حسب الفئات، ما يعني أننا لا نعرف أي الفئات تحسّنت أكثر من غيرها. كما أن الصياغة المتعلقة بـSegFormer تشير إلى تفوق في بعض الفئات ذات المساحة الكبيرة فقط. وربما لا تزال العناصر الصغيرة والرفيعة، مثل العوارض أو الفتحات، صعبة، لكن هذا استنتاج من السياق لا من الأرقام. ولا يتضح أيضًا هل قُسّمت العيّنة حسب المباني: فإذا وقعت صور المبنى الواحد في التدريب والاختبار معًا، فإن mIoU مبالغ فيه. وهذا السؤال جوهري عند الحديث عن 42 مبنى.

أين يفيد هذا

تكمن الفائدة الرئيسية للعمل في أنه يُظهر مسارًا عمليًا لقطاع متخصص. فلا حاجة إلى تدريب نموذج تجزئة من الصفر: يكفي بضعة آلاف من الصور المُعنونة لتصبح foundation-model أكثر فائدة بوضوح في مهمة إنشائية. وبالنسبة إلى الشركات التي تعمل في مسح المواقع أو مراقبة سير الأعمال أو رقمنة المباني القائمة، يخفّض هذا عتبة الدخول. ويمكن لمجموعة واحدة من التعنونات أن تحسّن السلسلة كلها، من الأقنعة ثنائية الأبعاد إلى التجميع ثلاثي الأبعاد.

والترتيب العملي للخطوات يبدو كالتالي. أولًا، جمع عيّنة خاصة بالفئات المطلوبة، ثم ضبط SAM 2.1 ومقارنته بنموذج خفيف مثل SegFormer: فقد يكون كافيًا للأسطح الكبيرة وأرخص في الاستدلال (inference). بعد ذلك، التحقق من النتيجة لا بمقاييس الأبعاد الثنائية، بل بجودة التجميع ثلاثي الأبعاد في GARField. هناك تحديدًا يتبين هل صارت عناصر المبنى كائنات متكاملة.

لا تزال المسافة طويلة نحو إعادة بناء تلقائية تصلح للوثائق التصميمية. لكن 69,6% من mIoU مقابل 49,9% خطوة قابلة للقياس، وقد تحققت على مبانٍ حقيقية لا على بيانات اصطناعية.