HOLI-World تعلّم نموذجًا بحجم 4B فهم العالم من تسجيلات المنظور الأول

اقترح فريق HOLI-World طريقة لتحويل تدفق التسجيلات من منظور الشخص الأول إلى مادة تدريب لنماذج يُفترض أن تفهم بنية المشهد وتغيّراته عبر الزمن. يقوم العمل كله على مجموعة صغيرة بمقاييس الصناعة: نحو 100 مشهد صوّره المؤلفون بأنفسهم، وقرابة 80 ألف زوج من «السؤال — الجواب». وعلى هذه البيانات دُرّب نموذج بصري-لغوي مدمج هو HOLIWORLD-VL-4B. الرهان الرئيسي للعمل أن الترميز اليدوي المكلف يمكن الاستعاضة عنه بخط إنتاج آلي، شرط الربط الصحيح بين البنية الساكنة للمشهد وديناميكية الأجسام فيه.

مم تتكوّن المنظومة

يصف المؤلفون HOLI-World بأنها سلسلة من خمس حلقات: التقاط التجربة، وتمثيل العالم، والبناء الآلي للبيانات، وتدريب النموذج، والتقييم المستقل. المكوّن المحوري هو HOLIWORLD-Foundry، وهو يجمع نوعين من الإدراك. يتولى الإدراك الساكن الهندسة الثابتة للمشهد ودلالاته، بينما يتتبّع الإدراك الديناميكي تغيّر حالات الأجسام. والناتج «سجلات العالم» (world records)، وفيها يرتبط المشهد والأجسام وتاريخ التفاعلات بعضها ببعض، وبالملاحظات الداعمة المستخلصة من الفيديو.

هذا الربط مهم لبيانات egocentric. فالكاميرا المثبّتة على رأس الإنسان تغيّر زاوية الرؤية باستمرار، وتختفي الأجسام من الإطار ثم تعود، وقد يُنقل كوب من مكانه بينما لا ينظر إليه أحد. أما النموذج الذي لا يرى سوى إطارات منفصلة فيفقد هذه الروابط.

البيانات والنموذج والمعيار

من هذه السجلات بُنيت HOLIWORLD-Data، ثم دُرّب عليها HOLIWORLD-VL-4B. وأنشأ المؤلفون كذلك HOLIWORLD-Bench بشكل منفصل: وسمه أشخاص مستقلون على تسجيلات محجوزة لم تشارك في التدريب. ويختبر هذا المعيار جودة الوسم الآلي، ومدى استيعاب النموذج للعلاقات المكانية والزمنية.

أبرز المعطيات من وصف العمل:

• نحو 100 مشهد صوّرها المؤلفون بأنفسهم؛
• نحو 80 ألف زوج QA للتدريب؛
• نموذج HOLIWORLD-VL-4B (فئة 4B)؛
• التقييم على ScanNet وScanNet++ وAria Digital Twin وHOLIWORLD-Bench وEgoDynamic4D؛
• يُستخدم الوسم البشري للتقييم، لا للتدريب.

ماذا أظهرت التجارب

حسب ما يذكره المؤلفون، يتعامل Foundry بثقة مع الإدراك الساكن والتتبّع الديناميكي على ScanNet وScanNet++ وAria Digital Twin. كما يذكرون أن التدريب على HOLIWORLD-Data يحسّن الاستدلال المكاني والزمني للنموذج تحسنًا كبيرًا على HOLIWORLD-Bench وEgoDynamic4D. لا ترد أرقام محددة في الوصف المتاح، لذا يلزم الرجوع إلى الورقة نفسها لمعرفة حجم المكسب والمقارنة مع نماذج VLM الأكبر. ويجري جزء من التقييمات على معيار المؤلفين الخاص، وينبغي أخذ ذلك في الحسبان عند قراءة النتائج.

أين قد تفيد هذه المنظومة

بالنسبة لمطوّري الروبوتات وأنظمة الواقع المعزز (AR)، تكمن الأهمية في المخطط نفسه: مجموعة صغيرة من المشاهد المصوّرة، مضافًا إليها بناء آلي لسجلات منظّمة، تعطي إشارة تدريب دون جيش من الموسِّمين. ويمكن فعليًا تشغيل نموذج بحجم 4B على عتاد متواضع، ما يعني إمكانية اختبار الاستدلال المكاني خارج العناقيد الكبيرة. وينبغي للفرق التي تجمع بيانات egocentric خاصة بها أن تتأمل صيغة world records، وممارسة اعتماد معيار منفصل بوسم مستقل. ويبقى أن نتحقق من كيفية انتقال خط الإنتاج إلى مشاهد خارج المشاهد الأصلية البالغ عددها ~100، ومن مدى صموده أمام التسجيلات المشوّشة من الحياة الواقعية.