GeoSpatialBench يختبر نماذج MLLM على 28 نوعًا من العلاقات المكانية في ست مدن

GeoSpatialBench معيار اختبار مفتوح جديد للنماذج اللغوية متعددة الوسائط (MLLM). يختبر 28 نوعًا من العلاقات المكانية: الطوبولوجية والاتجاهية والمترية والترتيبية. ويقوم الاختبار على بيانات حضرية حقيقية من ست مدن متباينة جغرافيًا. ويتمثل الاستنتاج الرئيسي للمؤلفين في أن النماذج تقرأ GeoJSON المنظَّم بصورة أفضل بكثير من الخرائط المصوَّرة. وعندما يُطلب منها تغيير مواضع الكائنات مع مراعاة قيود هندسية بدلًا من الإجابة عن سؤال، فإن معظم التعديلات الفاشلة تخرق شرطًا واحدًا على الأقل.

بمَ يختلف هذا المعيار عن الاختبارات المعتادة

معظم التقييمات الحالية للتفكير المكاني لدى نماذج MLLM بسيطة التصميم: أسئلة وأجوبة ثابتة على مشاهد صغيرة أو اصطناعية. ينظر النموذج إلى صورة ويحدد أي الأجسام أقرب إلى اليسار وأيها أقرب. ولا تتيح هذه الاختبارات تقريبًا معرفة ما إذا كان النموذج قادرًا على تغيير التكوين دون الإخلال بالشروط الهندسية المحددة.

يُبنى GeoSpatialBench كسلّم من ثلاث درجات: فهم العلاقات المكانية، والاستدلال الهندسي، والتحرير المكاني المقيَّد. وتتوافر كل حالة بتمثيلين: GeoJSON منظَّم وصورة خريطة. وقد جرى التحقق من الإجابات المرجعية ومن القيود نفسها عبر عمليات GIS. أي أن الحكم على الصحة يعود إلى محرك هندسي، لا إلى نموذج لغوي آخر يؤدي دور المحكِّم.

التحرير هنا أهم مما يبدو. فالوكيل الذي يُطلب منه، مثلًا، تحريك كائن بحيث يبقى داخل قطعة الأرض ولا يقطع الطريق، عليه أن يحافظ على عدة شروط في آن واحد. وبالنسبة إلى النماذج المجسَّدة في العالم المادي وإلى الروبوتات، هذه عملية أساسية وليست حالة نادرة.

ماذا أظهرت النتائج

اختبر المؤلفون نماذج MLLM المتقدمة. وتورد الخلاصة (abstract) استنتاجات نوعية، لا جداول بأرقام لكل نموذج:

• يتفوق GeoJSON باستمرار على الخرائط المصوَّرة.
• لا يمنح الجمع بين الوسائط (JSON مع صورة) مكسبًا موثوقًا مقارنةً بـ GeoJSON وحده.
• تتعامل النماذج بصورة جيدة مع العلاقات الطوبولوجية والترتيبية النوعية.
• تتراجع الدقة في العلاقات المترية الكمية، التي تتطلب مسافات وأحجامًا.
• في مهام العلاقات الترتيبية، يكون أداء التحرير أسوأ من أداء الإجابة عن الأسئلة.
• معظم التعديلات الفاشلة تخرق قيدًا مكانيًا واحدًا على الأقل من القيود المحددة.

ويلفت النظر بوجه خاص ما يتعلق بتعدد الوسائط. فالصورة لا تفيد حتى حين تتوافر إلى جانبها هندسة دقيقة. ولا تفسّر الخلاصة الأسباب، لكن الفرضية العملية واضحة: القناة البصرية تُدخل أخطاء في تقدير المسافات والمواضع، بينما لا تحتوي الإحداثيات النصية على هذه الأخطاء. ويعدّ المؤلفون الفجوة بين «التعرّف على العلاقة» و«بناء تكوين يحققها» الحصيلة الرئيسية للدراسة.

الخلاصة العملية للمطورين

إذا كنت تبني مساعدًا جغرافيًا أو وكيلًا لنظم المعلومات الجغرافية أو نظام تخطيط لروبوت، فإن هذه الدراسة تقدّم ثلاث قواعد عملية. الأولى: من الأفضل تمرير الهندسة إلى النموذج في صورة منظَّمة، لا في لقطة شاشة للخريطة. الثانية: ينبغي إسناد أي حسابات مترية (المسافات والمساحات والمناطق العازلة) إلى أدوات خارجية مثل PostGIS أو Shapely، لا الاعتماد فيها على التقدير «بالعين». الثالثة: يجب تمرير نتيجة التعديل عبر فحص القيود وإعادتها إلى النموذج للتحسين إلى أن تتحقق الشروط. فمرور واحد دون تحقق كثيرًا ما ينتج عنه قيد مخروق، بحسب الاختبار.

أما للباحثين، فالمعيار مفيد كمنصة تشخيصية: فهو مفتوح ويتيح قياس الفهم والحسابات والتحرير كلًّا على حدة. وثمة تحفظ واحد: لا تورد الخلاصة أرقامًا لنماذج بعينها، ولذلك فإن اختيار نموذج لمهمة معينة يتطلب قراءة النص الكامل للورقة والاطلاع على جداول النتائج.