GlobeBench: أفضل نموذج LLM يتوقع استجابة البيئة في 49,57% فقط من المهام

قدّم باحثون GlobeBench، وهو اختبار معياري يحاول للمرة الأولى جمع النماذج النصية للعالم في جدول مقارنة واحد. وهذه النماذج أنظمة تتنبأ بكيفية تغيّر حالة البيئة بعد فعل الوكيل. تضم المجموعة 1632 مهمة وخمسة مجالات وتسع عشرة مهارة محاكاة. وقد شُغّل عليها 20 نموذجًا، من نماذج LLM عامة الغرض إلى محاكيات نصية متخصصة. حقق المتصدر، GPT-6 Astra، نسبة 49,57% من المهام الناجحة، أي أنه لم يبلغ حتى نصف المهام. وتواجه النماذج أكبر صعوبة مع التأثيرات المتسلسلة: فإذا كان فعل الوكيل يجب أن يمسّ كائنات مرتبطة به، يبلغ متوسط النجاح عبر النماذج العشرين كلها 5,1%.

ما الذي يُختبر وكيف

فكرة النماذج النصية للعالم بسيطة: بدلًا من بيئة حقيقية مكلفة وهشّة للتعلّم المعزَّز، يولّد النموذج اللغوي نفسه ما سيحدث بعد كل خطوة يتخذها الوكيل. وهذا يخفض كلفة توسيع نطاق البيئات، لكن لم تكن هناك حتى الآن طريقة موحّدة للمقارنة بين هذه الأنظمة. ويسدّ GlobeBench هذه الفجوة.

تعطي كل مهمة النموذجَ المسار الكامل للوكيل وفعلًا محددًا، وعليه أن يتنبأ باستجابة البيئة. ولهذا عليه أن يتذكّر تغيّرات الحالة السابقة، وأن يلتزم بقواعد البيئة، وأن يفهم كيف يؤثر الفعل في الكائنات المرتبطة وغير المرتبطة على حد سواء. وهذه النقطة الأخيرة مهمة: فالنموذج الذي «يضيف» تغييرات زائدة يخطئ بقدر ما يخطئ النموذج الذي يُغفل التغييرات المطلوبة.

يُقارَن التنبؤ بمرجع مستمد من تنفيذ فعلي. والتقييم هجين: «بوابات» حتمية تستبعد الإجابات الخاطئة شكليًا، ثم حَكَم دلالي يقيّم ما تبقى.

أين تتعثر النماذج

يتعلق الاكتشاف الرئيسي بنطاق العواقب. فالدقة تنخفض كلما طال الفعل جزءًا أكبر من البيئة. فمن السهل نسبيًا التنبؤ بأن كائنًا غيّر حالته، لكن تتبّع كيفية وصول هذا التغيير إلى كل العناصر المعتمدة عليه أمر آخر. وهنا تتعثر النماذج تقريبًا بلا استثناء.

• عدد المهام: 1632، والمجالات: 5، ومهارات المحاكاة: 19.
• عدد النماذج في المقارنة: 20، بين نماذج LLM عامة الغرض ونماذج نصية متخصصة للعالم.
• أفضل نتيجة: GPT-6 Astra بنسبة 49,57% من المهام الناجحة.
• المهام التي تتطلب انتشار التغييرات إلى الكائنات المرتبطة: 5,1% نجاح في المتوسط.
• المهام التي لم يحلّها أحد: 631، أي نحو 38,7% من المجموعة.

الرقم الأخير يقول الكثير. فنقاط قوة النماذج تختلف من مهمة إلى أخرى، ما يعني أن الجمع بينها (ensemble) أو التوجيه بينها (routing) سيحقق بعض الفائدة: فقد حلّ نموذج واحد على الأقل 1001 مهمة. لكن قرابة 40% من المجموعة تبقى خارج قدرات جميع المشاركين. وهذا سقف لهذه الفئة من الأنظمة، لا قصور في نموذج بعينه.

ماذا تفعل الفرق التي تبني المحاكيات

إذا كنتم تدرّبون وكلاء على بيئات اصطناعية يولّد فيها LLM انتقالات الحالة، فقد أصبحت المعايير الآن محددة. ففي التغييرات البسيطة ذات الخطوة الواحدة يمكن توقّع جودة مقبولة، أما سلاسل الاعتماد فلا يمكن الاعتماد عليها: فمع نسبة نجاح 5,1% ستغذّي هذه المحاكاة الوكيلَ بعواقب خاطئة لأفعاله. وسيتعلّم الوكيل أخطاء المحاكي، لا البيئة نفسها.

وعمليًا يعني ذلك ثلاثة أمور. أولًا، تحققوا من الانتقالات الحرجة بمنطق قابل للتنفيذ حيثما أمكن، واحتفظوا بالنموذج للأجزاء التي يصعب إضفاء الطابع الصوري عليها. ثانيًا، اختبروا محاكيكم الخاص على المهام التي تتطلب انتشار التغييرات بشكل منفصل، وليس على متوسط الدقة العام وحده، فهو يخفي الإخفاق. ثالثًا، انظروا إلى التباين بين النماذج. وما دامت نقاط قوتها مختلفة، فمن المنطقي مقارنة المرشحين على مجالكم الخاص بدلًا من الاختيار وفق لوحة ترتيب واحدة.

أما للباحثين، فيوفّر GlobeBench نقطة مرجعية مشتركة ومجموعة من 631 مهمة غير محلولة، يسهل عليها قياس التقدم الحقيقي. وحتى الآن يبقى النموذج العالمي القائم على LLM أداةً مفيدة لكنها غير موثوقة، خصوصًا في البيئات المعقدة المترابطة.