SpatialBrain يعلّم نموذج VLM المجمّد تراكم الخبرة: تفوق في 4 من 5 اختبارات معيارية

يقترح فريق مؤلفي SpatialBrain طريقة لتحسين الاستدلال المكاني لنموذج الرؤية واللغة (vision-language) دون إعادة تدريب: تبقى أوزان نموذج VLM الأساسي مجمّدة، وتُبنى حوله طبقة من الذاكرة والمهارات والخبرة المتراكمة. وفي خمسة اختبارات معيارية للاستدلال المكاني، يتفوق النظام على الإجابات المباشرة للنموذج نفسه في أربعة منها، ويتعادل معها في الخامس.

متى تكفي النظرة ومتى نحتاج إلى القياس

فكرة العمل الأساسية بسيطة. فتزويد النموذج بأدوات هندسية لا يكفي، لأن سؤال الاختيار يبقى قائمًا. أحيانًا تكون الإجابة ظاهرة في الصورة. وأحيانًا يجب إعادة بناء المشهد، أو قياس مسافة، أو إعادة حساب مواضع الأجسام في إطار مرجعي آخر. والوكيل الذي يستدعي إعادة البناء مع كل سؤال يهدر الموارد. أما الوكيل الذي يجيب دائمًا «بالنظر المجرد» فيخطئ حيث تلزم الدقة.

يفرّق المؤلفون بين نوعين من المعرفة. الأول: شواهد عن مشهد بعينه، مثل مكان الطاولة وبعد الباب. والثاني: خبرة في كيفية الاستدلال بهذه الشواهد، أي في أي الشروط تكفي الملاحظة المباشرة، وفي أيها يلزم القياس. الأول مرتبط بمشهد واحد ولا فائدة منه في مشهد آخر. أما الثاني فينتقل بين المهام، وهو ما يحاول SpatialBrain تراكمه.

ثلاث طبقات حول نموذج مجمّد

تتألف البنية من ثلاثة مكونات تعمل فوق نموذج VLM لا يتغير:

• 3DFusionMemory تجمع ملاحظات المشهد الحالي في علاقات مكانية يمكن الرجوع إليها عبر الاستعلامات.
• Spatial Skill Library تحفظ إجراءات قابلة لإعادة الاستخدام في التعامل مع الأدوات: كيف تُعاد البنية، وكيف يُجرى القياس، وكيف يُغيَّر الإطار المرجعي.
• Spatial Cognition تربط شروط المهمة بالخبرة: متى تُفعَّل الذاكرة، وأي مهارة تُستدعى، وكيف.

توفّر الطبقتان الأوليان الموارد، وتعلّم الثالثة كيفية التصرف بها. وهي في جوهرها محاولة لنقل ما يختبئ عادةً في الـ prompts وقواعد الاستدلال التجريبية (heuristics) داخل شيفرة الوكلاء إلى وحدة مستقلة خارج النموذج.

خبرة دون تسريب للإجابات

آلية التراكم مصمَّمة بعناية. فالمسارات المكتملة لا تُحفظ كما هي، بل تُجرَّد إلى سجلات عن العملية: أي القرارات اتُّخذت وإلى ماذا أدت. وبين كتل المهام تُدمج هذه السجلات، فتستند القرارات اللاحقة إلى التشغيلات السابقة.

والقيد الأساسي هنا: لا تُنقل إلى المهام التالية إحداثيات المشاهد ولا الإجابات المرجعية. وهذا مهم عند التقييم. فلا يمكن عزو تحسّن الجودة إلى حفظ أمثلة بعينها، لأن ما يُنقل هو المعرفة بإجراء الاستدلال فقط.

والصورة النهائية في الاختبارات الخمسة غير متجانسة. أربعة تحسينات وتعادل واحد يعنيان أنه لا يوجد تفوق شامل: فإذا كان المشهد والسؤال بحيث تكفي الإجابة المباشرة، فإن هذه الطبقة الإضافية لا تضيف شيئًا. لكنها في المقابل لا تضر، وهذه نتيجة جيدة لطبقة وكلاء.

ويورد المؤلفون إضافةً إلى ذلك مقارنات بين المكونات، ومنحنيات تغطية الخبرة، ومسارات القرارات المتعلقة بالموارد. وتُظهر هذه المواد كيف يراكم النظام الخبرة، وفي أي المواقف يلجأ إلى الذاكرة والمهارات. وتبدو منحنيات التغطية مفيدة بوجه خاص: فهي تبيّن مقدار الخبرة التي يلزم جمعها قبل أن تبدأ بالتأثير في الجودة.

ما الذي يمكن أخذه إلى خطوط الوكلاء

لمن يبنون وكلاء على نماذج VLM مغلقة أو مكلفة إعادة التدريب، يقدّم SpatialBrain نموذجًا عمليًا. فلا حاجة إلى المساس بالنموذج، ويمكن التحسين حوله: ذاكرة منفصلة للمشهد، وفهرس للإجراءات، وسجل قرارات يبقى بعد انتهاء المهام الفردية. ومبدأ الفصل بين «شواهد المشهد» و«خبرة الاستدلال» يصلح خارج المهام المكانية أيضًا، مثل الروبوتات والملاحة، حيث يختار النموذج بين الإدراك السريع والقياس المكلف.

والخلاصة العملية: ينبغي احتساب ميزانية استدعاءات الأدوات جزءًا من الجودة. فإذا دلّت الخبرة على أن النظرة تكفي لهذا النوع من الأسئلة، تُؤجَّل إعادة البناء. ويجب اختبار هذه الأنظمة على عدة اختبارات معيارية في آن واحد، فالتعادل في الاختبار الخامس يدل على أن المكسب يتوقف على نوع المهمة.