Relay-Bench: даже GPT-5.5 набрала лишь 43,3% на мультидоменном тесте рассуждений

نشر باحثون في يوليو 2026 على arXiv معيار Relay-Bench، الذي يختبر قدرة نماذج اللغة على حل مهام مترابطة من مجالات موضوعية مختلفة ضمن استعلام واحد. أفضل نموذج تم اختباره، وهو GPT-5.5 في وضع xHigh، حقق 43.3% فقط - أي أن أقوى نظام لم يتمكن من حل حتى نصف المهام.

ما الذي يقيسه Relay-Bench

يقيّم Relay-Bench ما إذا كان النموذج قادرًا على الحفاظ على عدة مجالات من التفكير المنطقي ضمن استعلام واحد. تتكون مجموعة الاختبار بالكامل من مهام مركبة: يتم دمج عدة مهام فرعية أحادية المجال في سلسلة واحدة لا يمكن حلها بالتفكير ضمن مجال واحد فقط. تحتوي كل مهمة على ما بين 2 و13 مهمة فرعية وتظل نصية بالكامل - لا حاجة لإدخال أو إخراج متعدد الوسائط، ما يسهّل إعادة إجراء الاختبار على أي نموذج.

يصف المؤلفون المعيار بأنه "غير مُشبَع" (unsaturated): فلا تزال النماذج الحالية تمتلك هامشًا هائلاً للنمو، والسقف لا يزال بعيدًا، ولا يمكن الوصول إليه بتحديث واحد. وهذا ما يميز Relay-Bench عن كثير من الاختبارات القديمة، حيث توقفت النماذج الرائدة منذ فترة طويلة عند حدود 90-100% وتوقفت عن التمايز فيما بينها.

• المتصدر في الترتيب هو GPT-5.5 (xHigh) بنتيجة 43.3%
• كل مهمة مكوّنة من 2 إلى 13 مهمة فرعية مترابطة
• المجالات: الاستدلال البصري، البرمجة، الرياضيات، استخراج المعلومات (البحث على الويب)، حل المشكلات، المعرفة العامة، تحليل البيانات
• الصيغة نصية فقط - دون صور في الإدخال أو الإخراج
• يُسمح للنماذج بتنفيذ الشيفرة البرمجية، والبحث على الويب، واستخدام أي أدوات متاحة

لماذا حقق حتى GPT-5.5 نسبة 43% فقط

المهام معقدة عمدًا، لذلك تكون النتائج منخفضة حتى بالنسبة لأقوى النماذج. وبحسب الوصف المنشور على arXiv، تُضاف إلى السلاسل الأساسية طبقات من التعقيد عبر ترميز الاستعلام (prompt encoding) والتضخيم المتعمد للسياق (context bloat) - إذ يجب على النموذج تصفية الضوضاء دون أن يفقد الخيط الرابط بين المجالات. لا توجد قيود خارج إطار عمل النموذج (model harness): يشجع المؤلفون صراحة على استخدام تنفيذ الشيفرة، والبحث على الويب، وكل الأدوات المتاحة، لكن حتى مع ذلك تظل عتبة 43.3% غير مُتغلَّب عليها.

المشكلة الأساسية هي التنقل بين المجالات. يمكن للنموذج أن يحل بثقة مهمة فرعية في الرياضيات ومهمة فرعية في البرمجة كل على حدة، لكنه يتعثر عندما يتعين نقل نتيجة مهمة فرعية إلى التالية ضمن سلسلة تفكير واحدة متصلة. وهذا "التتابع" (relay) بالتحديد هو ما أعطى المعيار اسمه.

"معيار غير مُشبَع، شمولي، نصي بالكامل، يقيس قدرة نموذج اللغة الكبير على إنجاز مجموعة من المهام من مجالات مختلفة ضمن استعلام واحد" - من وصف

Relay-Bench على arXiv.

بمَ يختلف هذا عن الاختبارات المعتادة

لا يختبر Relay-Bench مهارات منفردة، بل مزيجها ضمن مهمة واحدة. تقيس المعايير الكلاسيكية البرمجة أو الرياضيات أو المعرفة العامة كلًّا على حدة - أما هنا فسبعة مجالات متشابكة في سلسلة واحدة، وأي فشل في أي حلقة منها يُسقط المهمة بأكملها. هذه الصيغة أقرب إلى سيناريوهات العمل الواقعية، حيث يتعين على الوكيل البحث عن بيانات على الويب، والحساب، وكتابة الشيفرة البرمجية ضمن مهمة واحدة.

ما الذي يعنيه ذلك

يكشف Relay-Bench عن الفجوة بين المهارات الضيقة للنماذج والتفكير المتصل من البداية إلى النهاية: تتقن نماذج اللغة الكبيرة كل مجال على حدة، لكنها لم تتقن بعد ربطها في سلسلة طويلة متعددة المجالات. ومساحة النمو هائلة: فالطريق من 43.3% إلى السقف لا يزال طويلًا، وهذا النوع من الاختبارات "غير المُشبَعة" هو تحديدًا ما سيحدد المعيار للأجيال القادمة من النماذج والأنظمة الوكيلة.

أسئلة شائعة

ما هو Relay-Bench؟

Relay-Bench هو معيار نصي بالكامل، عُرض على arXiv في يوليو 2026. يختبر كيفية حل نماذج اللغة لمهام مركبة من سبعة مجالات (البرمجة، الرياضيات، البحث على الويب، تحليل البيانات وغيرها)، مجمّعة في سلسلة واحدة ضمن استعلام واحد.

أي نموذج حقق أفضل نتيجة؟

أفضل نتيجة كانت لنموذج GPT-5.5 في وضع xHigh: 43.3%. وهذا يعني أن حتى أقوى نموذج تم اختباره حل أقل من نصف المهام، ويظل المعيار "غير مُشبَع" وبعيدًا عن سقفه.