AgentHorizon: أفضل قاضٍ، GPT-5.5، حقق 80,9% فقط في مهام الوكلاء الطويلة

أصدر مطورو AgentHorizon معيارًا من 1 373 مهمة، لا يختبر وكلاء computer-use أنفسهم، بل القضاة الآليين الذين يصدرون الحكم عليهم. ومن بين أحد عشر قاضيًا خضعوا للاختبار، تصدّر GPT-5.5 بإعداده الوكيلي (agentic) بدقة متوازنة (balanced accuracy) بلغت 80,9% على الجزء الرئيسي AH. يُستخدم القضاة بالفعل في تدريب الوكلاء وفي تقييمهم دون مشاركة بشرية. لذلك تبدو هذه النتيجة على المهام الطويلة هامش أمان متواضعًا.

لماذا يصعب الحكم على المسار الطويل؟

يتكوّن مسار تنفيذ وكيل computer-use من سلسلة طويلة من لقطات الشاشة والإجراءات. وقد يبدو المسار من الخارج مكتملًا، لكنه في الواقع يخالف قيدًا وارِدًا في التعليمة أو يترك أثرًا جانبيًا غير مرغوب فيه. فمثلًا، قد يُنهي الوكيل المهمة لكنه ينفذها في تطبيق آخر أو بمعاملات مختلفة. ولكي يكتشف القاضي ذلك، عليه أن يطابق السجل الكامل مع طلب المستخدم الأصلي. وكثيرًا ما يكون دليل النجاح أو الفشل مخبأً في موضع ما وسط مئات الخطوات.

بنى المؤلفون المعيار على 166 ساعة من التسجيلات البشرية على ثلاثة أنظمة تشغيل. والحيلة الأساسية تكمن في طريقة الحصول على الأمثلة السلبية. فقد سُجّلت مسارات منفصلة لتعليمات متقاربة في المعنى، ثم تُبدَّل التعليمات فيما بينها. وبذلك يرى القاضي عملًا أُنجز بإتقان، لكنه يخص طلبًا مجاورًا لا يتوافق مع الطلب المطروح. ولا يكفي هنا الحكم بأن المسار «يبدو مقبولًا»، بل يجب التحقق من أن المنفَّذ هو ما طُلب بالضبط.

ماذا قيس وكيف؟

صدر المعيار بثلاثة إصدارات: الجزء الرئيسي frontier المسمى AgentHorizon (AH)، والنسخة المبسطة AgentHorizon-Simple (AH-S)، ونسخة المطورين AgentHorizon-Development (AH-D). واختُبر أحد عشر قاضيًا بطريقتين. في الأولى، مُرّر المسار الكامل دفعة واحدة إلى النموذج. وفي الثانية، عملت النماذج وكلاء برمجة داخل خمس حزم وكلاء (harness) مختلفة، وكان بوسعها فحص المواد بنفسها.

• 1 373 مهمة بصيغة «تعليمة — مسار تنفيذ»
• 166 ساعة من التسجيلات البشرية، وثلاثة أنظمة تشغيل
• حتى 300 لقطة شاشة وإجراء في المسار الواحد
• 11 قاضيًا و5 حزم وكلاء (harness)
• أفضل نتيجة: GPT-5.5 بدقة متوازنة (balanced accuracy) بلغت 80,9% على AH

ماذا أظهرت النتائج؟

لا تفيد إتاحة الأدوات جميع النماذج. فقد تحسّن أداء بعضها معها، لكن نتائج النماذج مفتوحة الأوزان (open-weight) تراجعت. ولا تمنح حزمة الوكيل مكسبًا تلقائيًا: فعلى القاضي أن يحسن البحث في البيانات ولا يفقد الخيط على المسافات الطويلة.

أما الملاحظة الثانية فتتعلق بطبيعة الأخطاء. إذ يتباين القضاة بحدة في قدرتهم على قبول المسار الصحيح ورفض الفاشل. فأحدهم يميل إلى الموافقة على كل شيء، وآخر يتشدد في الحلول الصحيحة. ولا تكشف الدقة الإجمالية ذلك، ولهذا فإن مقياس balanced accuracy مفيد هنا: فهو يوسّط الجودة على الفئتين معًا، بينما يعطي التخمين العشوائي في الصياغة الثنائية نحو 50%. وبالقياس إلى هذا الحد، تُعدّ نسبة 80,9% نتيجة لافتة، لكنها تحمل ذيلًا ملموسًا من الأخطاء.

ويشير المؤلفون في خلاصاتهم إلى نقص في القضاة القادرين على العثور على الأدلة، التي غالبًا ما تكون خفية، على التنفيذ الصحيح للمهمة داخل سجل تفاعل طويل، ثم التحقق منها.

كيف تستفيد من هذه البيانات عمليًا؟

يمكن للفرق التي تدرّب الوكلاء بمكافأة آلية، أو تقارن بينهم في جولات التقييم، أن تختبر قاضيها الخاص على أزواج «تعليمتها — مسار تنفيذ غيرها». ولهذا تكفي الأجزاء (splits) الثلاثة من AgentHorizon. وينبغي النظر بشكل منفصل إلى نسبة المسارات الصحيحة المقبولة ونسبة المسارات الخاطئة المرفوضة، لا إلى الدقة الإجمالية وحدها. أما بالنسبة للقضاة مفتوحي الأوزان (open-weight) فيجدر التحقق مما إذا كان ربط الأدوات يفسد النتيجة. وما دام أفضل قاضٍ يخطئ أكثر بكثير مما نرغب، فمن المنطقي إبقاء فحص بشري انتقائي في المهام الطويلة.