ACT3D تعلّم نماذج VLM استكشاف المشاهد ثلاثية الأبعاد وتتفوق على Gemini 3.6 Flash: 53.2% على ستة معايير

اقترح فريق مؤلفي ورقة بحثية منشورة على Hugging Face Daily Papers نموذج ACT3D، وهو نموذج رؤية ولغة (vision-language) يجيب عن أسئلة حول مشهد ثلاثي الأبعاد عبر التنقل داخله بنفسه. بلغ متوسط الدقة على ستة معايير ثلاثية الأبعاد 53.2%. هذا يزيد بنسبة 22.0% على نموذج Qwen الأساسي، ويتفوق على نموذج Gemini 3.6 Flash المغلق المصدر. وفي الوقت نفسه يستهلك ACT3D إطارات مُدخلة أقل بنسبة 50–70% من الأساليب المفتوحة الحالية ثلاثية الأبعاد.

إطار واحد بدلًا من سحابة النقاط

عادةً ما يُبنى الفهم ثلاثي الأبعاد في نماذج VLM بأسلوب مباشر: تُغذّى النماذج بمجموعة من زوايا الرؤية أو بفيديو أو بتمثيل ثلاثي الأبعاد خاص. سلك المؤلفون طريقًا مختلفًا، فأبقوا على المُدخل البصري الأصلي لنماذج VLM: صورة واحدة في كل مرة، كما يرى الإنسان. يتحول المشهد ثلاثي الأبعاد نفسه إلى بيئة يتفاعل معها النموذج عبر إجراءات مثل «التحرك إلى اليسار»، ويتلقى في المقابل صورًا مُصيَّرة (rendered).

تبدأ كل حلقة (episode) بمنظور من الشخص الأول وسؤال بصري. بعد ذلك يستدل النموذج، ويتنقل، ويغيّر اتجاه نظره، ثم يثبّت إجابته فقط في النهاية. التدريب على مرحلتين: ضبط دقيق إشرافي (supervised fine-tuning) على مسارات جاهزة، ثم تعلّم معزز (reinforcement learning). وترتبط المكافأة في الأساس بصحة الإجابة النهائية.

والتفصيل الجوهري هنا أن RL لا يخبر النموذج بنقاط المشاهدة التي ينبغي زيارتها ولا بالإجراءات التي عليه اختيارها. فعلى النموذج أن يستنتج سياسة الاستكشاف بنفسه من إشارة واحدة: هل ساعده التفاعل مع الفضاء على الإجابة بشكل أفضل أم لا.

ماذا تقول الأرقام

• متوسط الدقة على ستة معايير ثلاثية الأبعاد: 53.2%.
• التحسن مقارنةً بنموذج Qwen الأساسي: 22.0% (لا يوضح الملخص ما إذا كانت النسبة بالنقاط المئوية أم نسبية).
• النتيجة أعلى من نتيجة Gemini 3.6 Flash المغلق المصدر.
• توفير الإطارات المُدخلة مقارنةً بالأساليب المفتوحة ثلاثية الأبعاد: 50–70%.
• في المجالات غير المعروفة: +5.9% في المتوسط مقارنةً بالتهيئة الإشرافية (supervised).
• الفارق عن النموذج الأساسي في الأسئلة التي تُحل من الإطار الأول: 0.6%، وفي الأسئلة التي تتطلب استكشافًا طويلًا: 16.3%.

ولعل آخر رقمين هما الأكثر دلالة. فإذا كانت الإجابة ظاهرة من النظرة الأولى، فإن ACT3D لا يضيف تقريبًا شيئًا إلى النموذج الأساسي. أما إذا تطلب الأمر بحثًا، فيصبح الفارق ملموسًا. وهذا يعني أن النموذج لا يحرّك الكاميرا في المشهد بلا داعٍ، بل يكيّف الاستكشاف مع السؤال.

يصف المؤلفون ثلاثة أنماط سلوكية. يبحث ACT3D عن الأجسام التي تحجبها أجسام أخرى. ويتجنب التنقلات الزائدة حين تكون المعلومات كافية. ويجمع زوايا رؤية يكمّل بعضها بعضًا في المقارنات المكانية، كما في حالة مقارنة جسمين لا يتسع لهما إطار واحد.

أين قد يكون ذلك مفيدًا

الفكرة أوسع من المعايير المحددة. فالنموذج يتعلم لا الاستدلال على البيانات البصرية فحسب، بل أيضًا تقرير متى وكيف يحصل عليها. وبالنسبة إلى الروبوتات والوكلاء المجسّدين (embodied agents) فهذه صياغة طبيعية للمشكلة: فالروبوت أيضًا لا تتوفر له سحابة نقاط مجمّعة مسبقًا، بل كاميرا ومجموعة من الحركات. كما أن نهج المكافأة على النتيجة فقط يغني عن الوسم المكلف لمسارات «صحيحة».

أما المهندسون الذين يبنون خطوط معالجة (pipelines) على نماذج VLM، فالخلاصة العملية لهم واضحة. فتوفير 50–70% من الإطارات يعني عبئًا أقل على السياق والحوسبة أثناء الاستدلال (inference)، ويمكن رفع مستوى نموذج مفتوح أساسي إلى مستوى نموذج رائد مغلق دون تغيير البنية. والمخطط القائم على SFT على المسارات ثم RL بحسب نتيجة المهمة قابل للتكرار إلى حد بعيد، ومن المنطقي توقع نقله إلى بيئات تفاعلية أخرى.

وثمة قيود أيضًا. فالملخص يتحدث عن بيئات ثلاثية الأبعاد محاكاة ومُصيَّرة، لا عن كاميرات حقيقية ولا مستشعرات مشوَّشة ولا مشاهد ديناميكية. أما الانتقال إلى العالم الفعلي فيظل سؤالًا مفتوحًا، وستجيب عنه الأعمال اللاحقة.