Opper تطلق Jevman: نماذج لغوية تلعب Pac-Man بواقع 100 جولة

أتاحت شركة Opper الناشئة معيار Jevman للعموم، وفيه تلعب ست نماذج منخفضة زمن الاستجابة لعبة Pac-Man ضد أشباح آلية. خاض كل نموذج 100 جولة، وجُمعت النتائج في لوحة صدارة عامة، بينما يتيح مستودع GitHub إضافة نموذج خاص إلى الترتيب. تبلغ تكلفة الجولة الواحدة للاعب بشري نحو 2 سنت. ظهر المشروع على Hacker News في قسم Show HN، وحصد وقت النشر 52 نقطة و10 تعليقات.

ماذا اختبروا وكيف

يرى المؤلفون أن دافع التجربة هو إطلاقان حديثان: أطلقت OpenAI نقطة decisions endpoint، وأصدرت Cloudflare نموذج clef قبل ذلك بأسبوع. وتضم السوق إلى جانبهما بدائل أخرى كثيرة لاتخاذ القرارات السريعة، وأراد الفريق مقارنتها في مهمة واحدة. وجاءت Pac-Man معياراً بسيطاً وسريعاً لاتخاذ القرار: يجب اختيار الحركة فوراً، ولا تتوقف اللعبة لإتاحة وقت للتفكير.

دخل الترتيب النماذج التالية:

• jev 1.13
• kev
• clef
• clef flash
• GPT-6 Luna
• Laya

معايير التشغيل وفق وصف المشروع:

• 100 جولة لكل نموذج
• الخصوم: أشباح آلية
• الوضع: الزمن الحقيقي، وهو ممكن بفضل انخفاض زمن استجابة النماذج
• النتائج: لوحة صدارة عامة
• الكود: مستودع مفتوح opper-ai/jevman-benchmark
• تكلفة الجولة للاعب بشري: نحو 2 سنت

لا يتضمن المنشور نفسه أي نتائج رقمية: المراتب ومتوسط النقاط منشورة في لوحة الصدارة فقط. ويكتفي المؤلفون بالإشارة إلى أن تحطيم رقم jev القياسي صعب على نحو مفاجئ.

لماذا لعبة وليس اختباراً آخر

تقيس المعايير الثابتة جودة الإجابة. أما هنا فالأهم أمر آخر: يتلقى النموذج حالة الرقعة، ويختار إجراءً بسرعة، ثم يرى عواقبه فوراً. الخطأ يكلّف حياة، والرد البطيء يعني أن Pac-Man لم يعد في المكان الذي ينبغي أن يكون فيه. وبالنسبة إلى النماذج التي تُسوَّق بوصفها صانعة قرارات سريعة في الزمن الحقيقي، فإن هذا الفحص أقرب إلى الاستخدام العملي من اختبارات الاستدلال الطويلة. وهذا تفسيرنا نحن، أما المؤلفون فصياغتهم أكثر تواضعاً: اللعبة ببساطة اختبار بسيط وجيد.

لهذا النهج قيود واضحة. فالخصوم روبوتات مبرمجة بسيناريوهات، لا نماذج أخرى، ويتوقف الترتيب النهائي على سلوكها. وتوفر 100 جولة لكل نموذج عينة مقبولة، لكن الفارق بين المشاركين المتقاربين، مثل clef وclef flash، قد يقع ضمن هامش الخطأ الإحصائي. ينبغي قراءة المنهجية في المستودع، لا الاكتفاء بلوحة الصدارة.

ومن الضروري كذلك تذكّر مصلحة المؤلف. فجميع النماذج تعمل عبر Opper، وهي الشركة الناشئة التي يملكها كاتب المنشور. إنها منصة تجميع وفي الوقت نفسه الجهة المنظمة للمقارنة. ويعالج الكود المفتوح هذه المسألة جزئياً، إذ يمكن إعادة التحقق من النتائج.

كيف تجرّب بنفسك

للمشروع مدخلان. الأول للمطورين: في ملف CONTRIBUTING قسم «Benchmark your own model» يشرح كيفية تشغيل نموذجك والوصول إلى لوحة الصدارة. والثاني لبقية المستخدمين: يمكنك أن تلعب Pac-Man بنفسك وتجعل النماذج تتولى دور الأشباح. ويمكن المزج بينها أو إسناد الدور بالكامل إلى عائلة نماذج واحدة، سواء jev أو kev أو clef. وقد أُضيف رصيد مجاني للمستخدمين الجدد.

الخلاصة العملية لمن يختار نموذجاً للوكلاء أو لسيناريوهات الألعاب: شغّل النموذج المرشح أولاً في هذا المعيار وقارنه بالترتيب. ثم قِس زمن الاستجابة الفعلي وتكلفة الطلب على حمل العمل لديك. وتتيح جولة بتكلفة 2 سنت إجراء ذلك بما يقارب المجان. وإن لم يكن نموذجك في القائمة، فأضفه إلى المستودع وتحقق مما إذا كان يواكب jev، الذي يقول المؤلفون إن تحطيم رقمه القياسي ليس بالأمر السهل.