GPT-6 Astra يتفوق على Claude Opus 5.5 في «مافيا»: تصنيف 1859 مقابل 1549

تختبر معظم المعايير قدرة النموذج على حل مسألة، لكن نادرًا ما تختبر قدرته على عدم تصديق محاوره لمجرد أنه قال شيئًا. وبالنسبة إلى الوكلاء الذين يتفاوضون، أو يقرؤون تقارير الآخرين، أو يتواصلون مع وكلاء آخرين، فهذه مهارة أكثر أهمية من الناحية العملية. قرر مقدّم البودكاست دواركيش باتيل قياسها مباشرة: أنفق 20 000 دولار على واجهات API، ونظّم بطولة بين 11 نموذجًا في لعبة Blood on the Clocktower.

كيف تعمل اللعبة

Blood on the Clocktower لعبة شبيهة بـ«مافيا»، لكنها أكثر تعقيدًا. يديرها راوٍ يوزّع الأدوار السرية ولا ينحاز إلى أي فريق. يشكّل فريق الشر الأقلية: شيطان ومساعدان. ويعرف أفراده منذ البداية هوية بعضهم بعضًا. أما أفراد فريق الخير فهم الأكثر عددًا، لكنهم لا يعرفون شيئًا، حتى هويات زملائهم في الفريق.

يمتلك أفراد فريق الخير قدرات تمنحهم سرًّا قرائن صحيحة خلال الليل. على سبيل المثال، يكتشف أحد اللاعبين دور لاعب آخر، بينما يعرف آخر عدد أفراد فريق الشر الجالسين بجواره. وخلال النهار، يتحاور الجميع، وعلى فريق الخير تجميع القرائن لتكوين صورة متكاملة وكشف هوية الشيطان. وفي الوقت نفسه، يقدّم أفراد فريق الشر قرائن مختلقة على أنها حقيقية. وفي نهاية اليوم، يُحسم بالتصويت إعدام أحد المشتبه بهم أو عدم إعدام أي أحد. يفوز فريق الخير إذا أُعدم الشيطان، ويفوز فريق الشر إذا لم يبقَ على قيد الحياة سوى لاعبين اثنين.

لضبط التجربة، تولّى نموذج واحد أدوار فريق الخير كاملًا، وتولّى آخر أدوار فريق الشر كاملًا، ثم تبادلا الأدوار. وأتاح ذلك قياس مهارتين بصورة منفصلة: كشف الكذب وممارسة الخداع.

ماذا أظهرت البطولة

بعد 386 جولة، احتل GPT-6 Astra المركز الأول بتصنيف 1859، فيما سجّل Claude Opus 5.5 تصنيفًا قدره 1549. وظهر الفارق في كلتا المهارتين: بلغ التصنيف في كشف الكذب 1940 و1500 على الترتيب، وفي ممارسة الخداع 1806 و1585.

بدت بعض المباريات أقرب إلى السلوك البشري. فعندما لعب Astra ضمن فريق الشر، ضحّى بأحد حلفائه ببرود ودفع به إلى الإعدام لكسب ثقة الآخرين وقيادة فريقه إلى الفوز. أما Opus 5.5، حين لعب ضمن فريق الخير، فصدّق خصمه دون تحقق، في موقف اشتبه فيه GPT بوجود خدعة، فأعاد فحص القرائن وكشف المخادع.

وعند النظر إلى النماذج التي صدرت هذا العام، تتضح الصورة التالية: تتقدم OpenAI بوتيرة أسرع في التعرف على المعلومات المضللة، بينما تبدو مكاسب Anthropic في هذا المجال أكثر تواضعًا. أما في مهارة الخداع، فتتقدم الشركتان بوتيرة متقاربة.

القيود وما ينبغي فعله

هناك تحفظات ينبغي توضيحها منذ البداية. هذه لعبة واحدة، أعدّ تجربتها شخص واحد، وفق مجموعة واحدة من القواعد. ولا يعادل التصنيف في Clocktower «الموثوقية» العامة للنموذج، كما أن فارقًا بمئات النقاط لا يضمن فارقًا مماثلًا في منتجك. كذلك، تولّى كل نموذج أدوار فريق كامل، وهو أمر نادر الحدوث في الواقع.

الدرس العملي لمطوّري الوكلاء: إذا كان وكيلك يتلقى معلومات من وكلاء آخرين أو مستخدمين أو مصادر خارجية، فاختبر مدى سهولة خداعه. فقد كلّف سلوك «التصديق دون تحقق» نموذج Opus 5.5 مباريات في هذه اللعبة، وسيتحول في بيئة الإنتاج إلى إجراءات خاطئة. وينبغي قياس قدرة النموذج على إعادة التحقق من الحقائق بصورة مستقلة، بدل الاكتفاء بجودة إجاباته عن أسئلة ثابتة.

يتعلق الدرس الثاني بالأمان. فالنماذج التي تجيد الكذب موجودة بالفعل، وتتطور هذه القدرة لدى الشركتين بوتيرة متقاربة. وهذا يعني أن الأنظمة متعددة الوكلاء تحتاج إلى عمليات تحقق مستقلة، بدل الثقة في كلام الوكيل الآخر.

أما النقطة الإيجابية الثالثة فهي أن المشروع مفتوح. الشيفرة متاحة على GitHub، وهناك موقع للاختبار المعياري ونسخة عبر الإنترنت تتيح لك اللعب ضد الذكاء الاصطناعي بنفسك. وبالنسبة إلى الفرق التي تختار نموذجًا لاستخدامه في سيناريوهات الوكلاء، فهذه وسيلة منخفضة التكلفة لإضافة اختبار للتلاعب ومقاومة الخداع إلى مجموعة اختباراتها.