Microsoft وHugging Face تدرّبان Qwen3.8-27B على تقييمات قاعدة البيانات: من 38 إلى 107 مهام

نشر فريق Microsoft بالتعاون مع Hugging Face مشروع ThinkingBox-Training، وهو امتداد للاختبار الذي يكشف الوكلاء الذين يعلنون النجاح بينما تكون كتابتهم في قاعدة البيانات خاطئة. الفكرة بسيطة: إذا كان فحص الحالة النهائية لقاعدة البيانات يعيد 1 أو 0، فهذا بحد ذاته دالة مكافأة جاهزة. بعد 50 خطوة من GRPO رفع Qwen3.8-27B متوسط النجاح (pass@1) من 51,70% إلى 60,78%، وارتفع عدد المهام المحلولة في جميع المحاولات العشرين من 38 إلى 107، أي من 7,5% إلى 21,1% من مهام ThinkingBox-Bench البالغ عددها 507.

مكافأة من حالة قاعدة البيانات لا من نص الإجابة

تشغّل كل مهمة في ThinkingBox خادمًا خلفيًا حقيقيًا، وتزوّد الوكيل بمجموعة من أدوات MCP ومستخدمًا محاكى بسياق مغلق. وفي النهاية تفحص اختبارات قابلة للتنفيذ السجلات الموجودة في قاعدة البيانات. لا يُقيَّم تسلسل الاستدعاءات، ولذلك قد يجد النموذج مسارًا غير موجود في التوسيم المرجعي. معظم المكافآت حتمية (deterministic)، بينما تُسند نسبة صغيرة من المعايير الضيقة إلى GPT-5 Chat بوصفه حكمًا.

مثال واضح على ذلك هو الحجز الفندقي للشركات. يحتاج موظف إلى خفض فئة غرفته، لكن السياسة تشترط موافقة المدير. غيّر النموذج الأساسي الحجز وأصدر مبالغ مستردة دون موافقة في 15 محاولة من أصل 20. وبعد RL بقي الحجز والحالة المالية دون أي تعديل في المحاولات العشرين كلها، وتطابقت جميع السجلات المتوقعة في 19 محاولة.

لماذا يهم اختيار المهام أكثر من المُحسِّن؟

لدى GRPO قيد حسابي. إذا فشلت جميع roll-outs الثمانية ([0,0,0,0,0,0,0,0]) أو نجحت كلها، فإن التمركز داخل المجموعة يصفّر الأفضلية ولا يبقى أي تدرّج (gradient). المطلوب مجموعات مختلطة مثل [0,0,0,1,1,1,1,1]. وهذه المجموعات الفارغة مكلفة للوكيل ذي الحالة، لأن كل roll-out يحتاج إلى خادم خلفي معزول وجلسة MCP حية ونموذج مستقل يؤدي دور المستخدم.

أدخل المؤلفون مفهوم الصعوبة النسبية إلى السياسة دون اتصال (offline policy-relative difficulty). تُقدَّر احتمالية النجاح لكل مهمة مرشحة مرة واحدة على السياسة الأساسية، ثم يُثبَّت المجمّع طوال التشغيل. ولم يعيدوا عمدًا فحص الصعوبة أثناء التدريب. ولم تدخل التدريب أي مهمة من ThinkingBox-Bench. والمجالات وقواعد البيانات والسياسات ومعظم الأدوات في الاختبار جديدة، لكن الإطار العام ومحاكي المستخدم وأسلوب المهام متطابقة، وهذا يحدّ من قوة الاستنتاجات المتعلقة بقابلية النقل.

إعدادات التشغيل المرجعي: RL كامل المعاملات على 187 مهمة، وGRPO بمتوسط على مستوى الرموز (token-mean)، و18 مجموعة من 8 roll-outs، أي 144 حلقة في كل خطوة، على 24 وحدة H100. التدريب متزامن مع تفريغ المعاملات والمُحسِّن (offload)، باستخدام AdamW ومعدل تعلم lr 1e-6 وweight decay يساوي صفرًا. واستُبدلت المجموعات ذات التباين الصفري وفق مخطط DAPO. ولم تُعدّ الأخطاء النظامية، مثل انتهاء مهلة الخادم الخلفي، فشلًا للوكيل، بل أُعيد توليد المجموعة. وتشترك عملية التدريب والتقييم في شيفرة تفسير مخرجات Qwen (trainer/core/tb_interpret.py)، وإلا لقاست المكافأة وكيلًا آخر.

جدول: متوسط النجاح مقابل قابلية التكرار

نتيجة Pass@1 على جميع المهام الـ507 وعدد المهام بنتيجة 20/20:

• Claude Opus 5.5 — 67,16%، 241 مهمة (47,53%) • Claude Opus 5 — 66,50%، 241 (47,53%) • GPT-5.4 — 65,36%، 128 (25,25%) • GPT-5.6 Sol — 61,91%، 82 (16,17%) • Qwen3.8-27B بعد RL — 60,78%، 107 (21,10%) • Claude Sonnet 4.6 — 59,19%، 102 (20,12%) • GPT-6 Astra — 58,31%، 231 (45,56%) • Kimi-K3 — 57,37%، 68 (13,41%) • Qwen3.8-27B الأساسي — 51,70%، 38 (7,50%)

يتفوق GPT-5.6 Sol في pass@1، لكنه يحل باستقرار 25 مهمة أقل. وتفوق Opus 5.5 على Opus 5 في المتوسط بمقدار 0,66 نقطة مئوية، لكنهما متساويان في الموثوقية. وارتفع pass@1 ونتيجة 20/20 في المجالات الخمسة كلها، وكان قطاع التجزئة الأكبر زيادةً في 20/20 (+24,5 نقطة مئوية). وانخفض Pass@20 من 453 إلى 446 مهمة: فقد ارتفع في المصارف الرقمية والاستشارات، وانخفض في التجزئة والسفر وتأمين السيارات (هناك −7,0 نقاط مئوية). ويصف المؤلفون ذلك بأنه شحذ (sharpening): يتحول التوزيع نحو المسارات التي تنجح دائمًا، وتسقط المسارات النادرة.

اقتصاديات المهمة الموثوقة

انخفضت تكلفة حملة 507×20 من $925,80 إلى $855,58 (−7,6%)، وتكلفة المحاولة الناجحة من $0,177 إلى $0,139 (−21,4%). أما مقياس «التكلفة لكل مهمة محلولة بموثوقية» (تكلفة الحملة مقسومة على عدد المهام بنتيجة 20/20) فقد تراجع من $24,36 إلى $8,00 (−67,2%). وللمقارنة: GPT-5.4 — $6,80، وGPT-6 Astra — $7,45، وClaude Opus 5.5 — $7,80. وهذا مؤشر مقارن للتشغيل وليس فاتورة سحابية. فهو يشمل الاستدلال (inference) لكنه لا يحتسب التدريب ولا فحص المهام، كما أن حجم النموذج عند النشر يبقى كما هو.

والخلاصة عملية للفرق التي تبني وكلاء فوق قواعد بيانات الإنتاج. إذا كان لديكم فاحص حالة قابل للتنفيذ، فيصلح مقياسًا ومكافأة معًا. ابدؤوا باختيار المهام: فتلك التي يحلها النموذج دائمًا أو لا يحلها أبدًا تهدر ساعات GPU والخوادم الخلفية. وقيّموا بمعيار 20/20 لا بـ pass@1. وإذا كانت تغطية السيناريوهات النادرة مهمة، فاحسبوا الثمن: فقد دُفع جزء من pass@20 مقابل قابلية التكرار.