Dual Exam: GPT 6 Astra يحصد 31,3 نقطة بين الوكلاء متعددي الوسائط

إذا كان الوكيل يتعلّم داخل محاكاة يبنيها نموذج عالم، فمن المسؤول عن الفشل: الوكيل أم نموذج العالم؟ تقترح مجموعة من أكثر من 80 مؤلفًا الفصل بينهما في امتحانين مختلفين. يختبر بنشمارك Dual Exam الوكلاء متعددي الوسائط ونماذج العالم كلًا على حدة، ثم يرصد ما يحدث عند الجمع بينهما. حصل أفضل وكيل، GPT 6 Astra، على 31,3 نقطة في Agent Index الموزون. أما أفضل نموذج عالم بين النماذج التي خضعت لاختبار كامل، GPT-Image-2، فسجّل 21,7 في WM Overall. وفشلت الحزمة التجريبية المؤلفة من 150 حالة في حل أي مهمة.

امتحانان بدلًا من امتحان واحد

الفكرة بسيطة. يستطيع نموذج العالم تزويد الوكيل بخبرة محاكاة، ويمكن لمسارات الوكيل أن تساعد في مواصلة تدريب نموذج العالم. وإذا قُيّمت الحزمة بنتيجتها النهائية فقط، يتعذّر معرفة موضع الخطأ: في اختيار الإجراء أم في التنبؤ بالحالة التالية. لذلك بنى المؤلفون مسارين مستقلين.

يُختبر الوكلاء في ظل آليات ثابتة لاستجابة البيئة. وتُختبر نماذج العالم في ظل تدخلات ثابتة، أي إجراءات محددة مسبقًا. ويغطي الاختبار أربعة مجالات: الفيزيائي والرقمي والاجتماعي والعلمي. وبذلك لا يمكن إرجاع النتيجة إلى اختلاف البيئة أو الإجراءات في كل مرة.

ما الذي قيس بالضبط

يقارن مسار الوكلاء بين 10 تكوينات على 1 088 مهمة مجمّعة في 15 فئة في التقرير. ويضم مسار نماذج العالم 400 حالة موزعة على ثمانية سيناريوهات. تغطية 15 تكوينًا كاملة، بينما اجتاز تكوين واحد ستة سيناريوهات فقط.

أبرز الأرقام:

• GPT 6 Astra: 31,3 في Agent Index الموزون بعدد الحالات، وهو الأول بين الوكلاء؛
• GPT-Image-2: 21,7 في WM Overall، وهو الأول بين نماذج العالم ذات التغطية الكاملة؛
• مسار الوكلاء: 10 تكوينات، 1 088 مهمة، 15 فئة؛
• مسار نماذج العالم: 400 حالة، 8 سيناريوهات، 15 تكوينًا بتغطية كاملة وتكوين واحد بتغطية ستة سيناريوهات؛
• تجربة الحزمة: 150 حالة، 0 مهام ناجحة.

ويحذّر المؤلفون أنفسهم من أنه لا يمكن مقارنة 31,3 و21,7. فلكل مسار مهامه ومقاييسه المختلفة، ولا يجمعهما مقياس واحد. وهذه الأرقام تُظهر المتصدرين داخل فئاتهم، ولا تعني أن الوكلاء أقوى من نماذج العالم.

صفر نجاحات في الحزمة

أبرز ما في الدراسة نتيجة التجربة الأولية. أخذ الباحثون زوجًا واحدًا من «وكيل + نموذج عالم» وشغّلوه على 150 حالة. لم تكتمل بنجاح أي مهمة. ويستنتج المؤلفون من ذلك أن التشخيص ينبغي أن يجري على مستوى المكوّنات: فالدرجة الإجمالية للحزمة لا تكشف شيئًا عمّا تعطّل.

وتبدو الصورة العامة لنتائج المسارين على النحو الآتي. الأداء متفاوت بين المهام: فالتكوين القوي في مجال يتراجع في آخر. وكثيرًا ما تفشل نماذج العالم في الحفاظ على الحالة المهمة للمهمة. وإذا «انحرف» جسم أو معامل في المحاكاة بعد خطوة ما، يتعلّم الوكيل من خبرة مشوّهة.

ومع ذلك، لا تَعِد الدراسة بأن الدرجة العالية في Dual Exam ستتنبأ بنجاح الحزمة أو بتعلّم متبادل مستقر بين الوكيل ونموذج العالم. ويكتب المؤلفون صراحةً أن قيمة هذه التقييمات في مثل هذا التنبؤ لا تزال بحاجة إلى إثبات.

كيف تُستخدم النتائج

بالنسبة إلى الفرق التي تبني وكلاء يتعلمون في المحاكاة أو في بيئة «متخيَّلة»، الخلاصة عملية. لا ينبغي الاعتماد على مقياس إجمالي واحد. يجب اختبار الوكيل ونموذج العالم كلًا على حدة، والنظر أولًا في ما إذا كان نموذج العالم يحافظ على الحالة التي تعتمد عليها المهمة. وإذا لم تعمل الحزمة، فينبغي البدء من هنا، لا من مواصلة تدريب الوكيل.

أما لمن يختار النماذج، فالأرقام مفيدة كمرجع داخل كل مسار. يضع GPT 6 Astra المعيار للوكلاء، ويضعه GPT-Image-2 لنماذج العالم. لكن الرقمين 31,3 و21,7 يبقيان متواضعين، والصناعة بعيدة عن حزمة موثوقة تجمع المكوّنين. نُشرت الورقة على Hugging Face Daily Papers في 22 أكتوبر 2026 تحت رقم arXiv 2610.31066، وحصلت على 8 أصوات.