LEGO-SCD يتعلم اكتشاف التغيرات في المشاهد ثلاثية الأبعاد بسرعة 17.2 FPS دون وسم يدوي

أصدر فريق مكوّن من Changrui Zhu وSimon Julier طريقة LEGO-SCD لاكتشاف التغيرات في المشهد أثناء التشغيل (أونلاين). تتعلم الطريقة دون وسم يدوي للتغيرات، وذلك من تعديلات تلقائية تُجرى على نموذج مرجعي بتقنية 3D Gaussian Splatting. وعلى معيار PASLCD تحقق الطريقة 67.64% mIoU، وعلى CCS3D تحقق 75.82%. ويعالج خط المعالجة الكامل على PASLCD تسلسلات الاستعلام بسرعة 17.2 إطار في الثانية، وهي أسرع من جميع الطرق الأونلاين التي قارنها بها المؤلفون.

المهمة: فهم ما تغيّر أثناء وصول إطارات جديدة

يعمل اكتشاف التغيرات أونلاين على النحو التالي. لدى النظام مشهد ثلاثي الأبعاد مرجعي، مثل غرفة أو مستودع أو ورشة. تتحرك الكاميرا وترسل صورًا جديدة. والمطلوب أن يحدد النظام فورًا المناطق التي تختلف عن المرجع: هل ظهر صندوق، أو أُزيل كرسي، أو نُقلت معدات.

لا يكفي إطار واحد لذلك. فالإضاءة وزاوية الرؤية وعيوب العرض (الرندرة) تخلق اختلافات زائفة، ولذلك يجب تراكم الثقة بوجود تغيّر مع توالي الملاحظات. ويفعل المؤلفون ذلك عبر دمج بايزي معمَّم للأدلة. وتبرز هنا مشكلتان. الأولى أن الاحتمال المسبق للتغيّر ونماذج الأدلة كليهما غير معروف مسبقًا. والثانية أن الاستدلال البايزي العددي مكلف، وهذا عامل حاسم في العمل أونلاين.

كيف يُدرَّب الكاشف دون أي تعديل موسوم يدويًا

وجد المؤلفون المخرج في مشهد 3DGS نفسه. يُعدَّل النموذج المرجعي تلقائيًا، وكل تعديل ينتج مشاهد تدريبية بوسم معروف. فالنموذج يعرف أين غيّر وماذا غيّر، ولذلك لا حاجة إلى مُعلِّمين بشريين. وتُضاف إلى هذه المشاهد ملاحظات غير معدَّلة من المرجع. وتعطي هذه المكونات معًا إشارة إشراف لثلاثة أمور:

• نماذج أدلة خاصة بكل مشهد؛
• احتمال مسبق فعّال للتغيّر على مستوى البكسل؛
• إحصاءات الاستجابة، أي كيف تتصرف الإشارة في المناطق المتغيرة وغير المتغيرة.

أثناء التشغيل أونلاين يدمج النظام الدليل الحالي مع السجل المتراكم. وقد استُبدل الاستدلال العددي المكلف بعوامل بايز محلية بصيغة مغلقة، وتؤخذ معاملاتها من إحصاءات الاستجابة المتعلَّمة. ثم تحدّث النتيجة حقل التغيرات الغاوسي ثلاثي الأبعاد المتراكم. وفي الخطوة الأخيرة يحوّل التحسين الموجَّه بالكائنات هذا الحقل إلى أقنعة التغيرات النهائية.

الأرقام ومحتوى الإصدار

• الطريقة: LEGO-SCD، اكتشاف التغيرات أونلاين المبني على 3D Gaussian Splatting.
• المؤلفان: Changrui Zhu وSimon Julier، ورقة بحثية أولية على arXiv برقم 2610.28490.
• PASLCD: 67.64% mIoU، وهي أفضل نتيجة بحسب المؤلفين.
• CCS3D: 75.82% mIoU، وهي أيضًا أفضل نتيجة.
• السرعة: 17.2 FPS على PASLCD لخط المعالجة الكامل على تسلسلات استعلام كاملة، وهي أسرع نتيجة بين الطرق الأونلاين التي جرى اختبارها.
• الوسم: لا تُستخدم تعليقات يدوية على التغيرات.
• التوافر: الكود على GitHub، وصفحة المشروع، ومعاملات المشاهد المتعلَّمة على Hugging Face في المستودع Teleeeeeeeeeee/LEGO-SCD.

من التفاصيل المهمة أن سرعة 17.2 FPS قيست على خط المعالجة الكامل، بما في ذلك تحسين الأقنعة، وليس على نواة الدمج البايزي وحدها. كما احتُسبت السرعة على تسلسلات استعلام كاملة، لا على إطارات منفردة مختارة لنجاحها.

أين يفيد هذا وما الذي ينبغي التحقق منه

أوضح السيناريوهات مرتبطة بالروبوتات والفحص. فمن المفيد للروبوت المتنقل أن يعرف أن شيئًا ما تغيّر في مكان مألوف. وتحتاج مراقبة الأجسام والمستودعات ومواقع البناء إلى الشيء نفسه. وتزداد ألفة إعادة البناء بتقنية 3DGS، ويندمج كاشف التغيرات المبني فوقها بسلاسة في خطوط المعالجة الجاهزة.

للنهج أيضًا قيد يظهر في عبارة «نماذج خاصة بكل مشهد». فلا بد من تعلّم الإحصاءات لكل مشهد على حدة، ما يعني الحاجة إلى مرحلة أوفلاين على إعادة البناء المرجعية قبل التشغيل. وهذا ثمن مقبول للأجسام الثابتة التي تُفحص بانتظام، لكنه أعلى في الفضاءات المتغيرة باستمرار.

عمليًا، ينبغي للفريق الذي يريد تجربة LEGO-SCD أن يفعل ثلاثة أمور. أولًا، أن يأخذ معاملات المشاهد المنشورة ويشغّل الكود على PASLCD أو CCS3D لإعادة إنتاج 17.2 FPS على عتاده الخاص. ثانيًا، أن يتحقق من مدى تشابه التعديلات الاصطناعية على المرجع مع التغيرات الحقيقية في بياناته، فعلى ذلك يتوقف انتقال الجودة. ثالثًا، أن يقدّر تكلفة التدريب أوفلاين لكل مشهد جديد قياسًا إلى فائدة الاستغناء عن الوسم.