جامعة بيتسبرغ تبحث عن خريطة ثلاثية الأبعاد داخل VLM: كيف يرى النموذج الغرفة

يطرح باحثان من جامعة بيتسبرغ، هما Haoming Wang وWei Gao من قسم الهندسة الكهربائية وهندسة الحاسوب، على النماذج البصرية اللغوية سؤالًا يبقى عادةً خارج الصورة. ماذا يجري داخل VLM حين تشاهد فيديو لغرفة؟ من الخارج يبدو كل شيء سلسًا: يسمّي النموذج الطاولة والكرسي والخزانة. لكن هل يخزّن هذه الأشياء كمجموعة متناثرة من السمات المجمّعة حسب اللون والشكل، أم يبني خريطة مكانية يهمّ فيها ما يقع بجانب ماذا؟

يتوقف المقتطف المتاح من مادة Jiqizhixin عند عرض المسألة. فهو لا يتضمن أرقامًا ولا أسماء نماذج ولا مقاييس، ولن نختلق أيًّا منها. فيما يلي ما هو معروف على وجه اليقين، والسياق الذي يمكن أن تُقرأ فيه الدراسة.

ما السؤال المطروح

تجيد نماذج VLM التعرّف على الأشياء منذ وقت طويل. أما الاستدلال المكاني فمسألة مختلفة. فللإجابة عن سؤال مثل ما الذي يقع على يسار الأريكة، أو هل الباب بعيد عن النافذة، يحتاج النموذج إلى دمج لقطات الفيديو في مشهد واحد والحفاظ على الهندسة بينها. وهناك طريقان للوصول إلى إجابة صحيحة: الاعتماد على مؤشرات سطحية، كالتوليفات الشائعة بين الأشياء، أو الاستناد إلى بنية داخلية تعكس فعلًا مواضع الأشياء.

يهتم المؤلفان بالاحتمال الثاني. فهما يفحصان ما إذا كانت التمثيلات الخفية للنموذج تضم بنية بعلاقات تجاور، أي شيئًا يشبه رسمًا بيانيًا أو خريطة للمكان. ويبدو من صياغة العمل أن الباحثين ينقلون النظر من سلوك النموذج (إجاباته) إلى تمثيلاته الداخلية. هذه خطوة معتادة في بحوث قابلية التفسير، لكنها أقل استكشافًا في الفيديو والمشاهد ثلاثية الأبعاد منها في النصوص.

السياق: المكان في النماذج اللغوية

لم تظهر الفكرة من فراغ. ففي عام 2023 أظهر Wes Gurnee وMax Tegmark أن نماذج LLM النصية تشفّر خطيًا إحداثيات المدن والمحاور الزمنية. وقدّم ذلك حجة لصالح أن النماذج تبني ما يشبه «نموذجًا للعالم»، لا مجرد إحصاءات للكلمات. أما المعيار VSI-Bench من دراسة Thinking in Space فكشف الوجه الآخر: النماذج متعددة الوسائط ضعيفة في تقدير المسافات والاتجاهات، في حين كان بناء خريطة معرفية صريحة داخل الموجّه يحسّن الإجابات عن أسئلة المسافات النسبية.

يقع عمل بيتسبرغ بين هذين القطبين. فإن وُجدت خريطة داخل VLM، أمكن البحث عنها واستخدامها. وإن لم توجد سوى سمات الأشياء، فنجاحات النموذج المكانية تُفسَّر بطريقة أخرى.

ما هو معروف حتى الآن

• المؤلفان: Haoming Wang وWei Gao، قسم الهندسة الكهربائية وهندسة الحاسوب، جامعة بيتسبرغ.
• موضوع الدراسة: النماذج البصرية اللغوية التي تتلقى فيديو لغرفة كمدخل.
• السؤال المحوري: هل تُنظَّم الأشياء داخل النموذج حسب اللون والشكل أم حسب التجاور المكاني.
• المنهج: تحليل التمثيلات الداخلية بدلًا من الاكتفاء بتقييم الإجابات.
• غير المعلن في المقتطف المتاح: قائمة النماذج، وطريقة التحليل، والمقاييس، وحجم البيانات، والتقييم النهائي.

نظرة عملية

بالنسبة إلى من يبنون الوكلاء والروبوتات ومساعدات الواقع المعزز، فالسؤال عملي تمامًا. فإذا كان VLM يحتفظ فعلًا بخريطة في «ذهنه»، أمكن استخراجها بمجسّات خفيفة، وتصحيح الأخطاء طبقةً بعد طبقة، وربما إدخالها في التخطيط. أما إذا لم تكن هناك خريطة، فمن الأوثق ربط ذاكرة صريحة للمشهد: SLAM أو رسم بياني للأشياء أو وحدة هندسية خارجية، بدلًا من الاتكال على فهم مكاني ناشئ تلقائيًا.

عند قراءة الدراسة الكاملة، يستحسن التحقق من أربعة أمور. أولها: أي النماذج والطبقات جرى فحصها. ثانيها: كيف فصل المؤلفون أثر «الخريطة» عن الارتباط البديهي بين اللون والشكل. ثالثها: هل اختُبرت البنية على غرف لم تكن ضمن عينة التدريب. ورابعها: هل أثبتوا علاقة سببية، مثل التدخل في التمثيلات، لا مجرد ارتباط. وبدون ذلك تبقى «الخريطة ثلاثية الأبعاد» الجميلة فرضية، لا حقيقة هندسية.