CodeActionBench: GPT-6 Astra عبر Codex CLI يحقق نسبة نجاح 73.3% في مهام الذراعين

يطرح معيار CodeActionBench، الذي أوردته مجلة Jiqizhixin، سؤالًا بسيطًا: إذا كان الوكيل قادرًا على النظر إلى صورة وكتابة شيفرة، فهل يستطيع التحكم في روبوت؟ في المحاكاة ثنائية الذراعين، تعود أفضل النتائج المعلنة إلى GPT-6 Astra الذي جرى تشغيله عبر Codex CLI، إذ بلغت نسبة نجاح المحاولة 73.3%. واختُبر Claude Opus 5 ضمن Reference harness، لكن نتيجته تنقطع في الجزء المتاح من المنشور، ولذلك لا يمكن مقارنة النماذج رقميًا حتى الآن.

ما الذي يقيسه المعيار بالضبط

تفحص معظم اختبارات الروبوتات حلقة واحدة من السلسلة: التعرف على المشهد، أو التخطيط، أو التحكم منخفض المستوى. أما CodeActionBench فيجمع السلسلة كلها في تشغيل واحد. يتلقى الوكيل ملاحظة بصرية، ثم يصوغ سياسة الأفعال (عبر الشيفرة في هذه الحالة)، وينفّذها في بيئة فيزيائية، ثم يقرر بنفسه ما إذا كانت المهمة قد أُنجزت.

الخطوة الأخيرة أهم مما تبدو. فالوكيل الذي يعلن النجاح بثقة وهو قد أخفق أشد خطرًا على خط إنتاج حقيقي من وكيل يبلّغ بصدق عن الإخفاق. وبإدخال تقييم الاكتمال في الدورة، يختبر المؤلفون قدرة الوكيل على مراقبة نفسه، لا مهارته الحركية وحدها.

الميزة الثانية هي توحيد الشروط. فالوكلاء العامّون مثل Codex CLI يأتون بغلافهم البرمجي (harness) الخاص: مجموعة أدوات، وصيغة للمطالبات، وقواعد للتعامل مع الملفات. وإذا لم تُوحَّد هذه المعايير، فلن تُقارَن النماذج نفسها، بل الغلاف المحيط بها. ويشير ذكر Reference harness في المصدر إلى أن لدى المؤلفين غلافًا مرجعيًا لهذا التوحيد.

ما المعروف من البيانات المنشورة

• المعيار: CodeActionBench، لتقييم الوكلاء العامّين متعددي الوسائط في التلاعب الروبوتي.
• الدورة: الملاحظة، وتوليد السياسة، والتنفيذ الفيزيائي، والحكم على الاكتمال.
• البيئة: محاكاة ثنائية الذراعين (bimanual).
• أفضل نتيجة معلنة: GPT-6 Astra في Codex CLI، بنسبة نجاح محاولة 73.3%.
• المشارك الثاني: Claude Opus 5 في Reference harness، ولا توجد أرقام في النص المتاح.
• لم يُكشف عنه: عدد المهام، وعدد المحاولات لكل مهمة، والقائمة الكاملة للنماذج، وتباين النتائج.

كيف نقرأ رقم 73.3%

يُسمّى المقياس نجاح المحاولة، وهو لا يساوي نسبة المهام المحلولة. فإذا سُمح للوكيل بعدة محاولات، تكون نسبة المهام المحلولة النهائية عادةً أعلى من نجاح المحاولة الواحدة. وعندما ينشر المؤلفون الجدول الكامل، ينبغي النظر في القيمتين معًا، وفي كيفية استفادة الوكيل من التغذية الراجعة بين المحاولات.

توفّر المحاكاة قابلية التكرار وتشغيلًا منخفض التكلفة، لكنها لا تزيل الفجوة مع العالم الحقيقي. فالاحتكاك والخلوص الميكانيكي وضجيج الحساسات وعدم إحكام الإمساك في الأذرع الحقيقية كثيرًا ما تُفشل سياسات تعمل بسلاسة في البيئة الافتراضية. لذلك يعكس رقم 73.3% سقف قدرات الوكيل في ظروف خاضعة للتحكم، لا جاهزيته للعمل في المصنع.

ومع ذلك، يستحق النهج نفسه الاهتمام. فالشيفرة بوصفها واجهة للتحكم في الروبوت مناسبة للتحقق، إذ يمكن قراءة السياسة وتصحيحها وإعادة تشغيلها. وهذا أكثر شفافية من السياسة العصبية الشاملة (end-to-end)، التي يضطر المرء فيها إلى تخمين سبب الخطأ.

ما الذي ينبغي أن يتحقق منه الممارسون

على الفرق التي تقيّم الوكلاء العامّين في مجال الروبوتات أن تتحقق من ثلاثة أمور. أولًا، انتظار المنهجية الكاملة: عدد المهام، وقواعد إعادة المحاولة، وإعدادات الغلاف البرمجي. ثانيًا، مقارنة النماذج ضمن harness واحد، لا بالاعتماد على أرقام معلنة من مصادر مختلفة. ثالثًا، قياس دقة التقييم الذاتي للاكتمال على حدة: كم مرة يعلن الوكيل النجاح وهو قد أخفق فعلًا. وهذا المؤشر تحديدًا هو ما سيحدد ما إذا كان يمكن ترك نظام كهذا دون إشراف بشري.