اختبار XYBench: الذكاء الاصطناعي يختار النصيحة المفيدة في 71–84% من الحالات، لكنه يكتبها بنفسه في 35–41% فقط
اسأل الذكاء الاصطناعي كيف تُثخّن كريمة الكب كيك، فسينصحك بالسكر البودرة، مع أن الكريمة تنزلق بسبب حرارة المخبوزات. هذه هي مشكلة XY: يطلب الشخص المساعدة في الطريقة التي اختارها (Y) لا في هدفه الحقيقي (X). في اختبار XYBench، وعلى أسئلة من Stack Overflow، تختار النماذج الأفضل من بين إجابتين في 71–84% من الحالات، لكنها تتطرق إلى الهدف الحقيقي في إجابتها الخاصة في 35–41% فقط. لذلك ينبغي تدريب المساعد على التحقق من فرضية السؤال أولًا.
معالج بواسطة الذكاء الاصطناعي من Хабр: Машинное обучение؛ بتحرير Hamidun News
تسأل الشبكة العصبية كيف تجعل كريمة الكب كيك أكثر كثافة لأنها تنزلق. فينصحك المساعد بإضافة السكر البودرة أو تغيير النسب أو إطالة الخفق، وتبدو كل هذه النصائح معقولة. لكن إذا كانت الكب كيك ما تزال ساخنة، فستنزلق الكريمة مهما كانت النسب: يجب أولًا تبريد المخبوزات. تُسمّى هذه الحالة مشكلة XY: يريد الشخص تحقيق هدف X، ويقرر أن الطريقة Y هي السبيل إليه، ثم يطلب المساعدة في Y وحدها. قاس الباحثون كيف تتعامل النماذج الحديثة مع هذا النمط، فظهرت فجوة واضحة. على أسئلة Stack Overflow، يختار الذكاء الاصطناعي الإجابة الأكثر فائدة من بين إجابتين جاهزتين في 71–84% من الحالات، أما حين يكتب الإجابة بنفسه فلا يتحدث عن الهدف الحقيقي للمستخدم إلا في 35–41% من الإجابات. يحمل هذا الاختبار اسم XYBench.
ما مشكلة XY؟ أمثلة بسيطة
المصطلح مألوف منذ زمن لدى المشاركين في المنتديات التقنية. يذكر السؤال الطريقة المختارة فقط، ويبقى الهدف الحقيقي خارج الصورة.
مثال من البرمجة: يريد شخص استخراج بيانات من مستند XML، ويسأل كيف يفعل ذلك بالتعبيرات النمطية (regex). قد يكتب النموذج تعبيرًا معقدًا، ويشرح صياغته، ويذكر قيوده. من الناحية الشكلية، نُفّذ الطلب. لكن مع XML المهيكل يكون المحلل المتخصص (parser) عادةً أكثر موثوقية: فهو يراعي تداخل العناصر والسمات وخصائص الصيغة. وإذا لم تكن التعبيرات النمطية إلزامية، فإن الإجابة المفيدة تبدأ بذكر نقاط ضعفها ثم تقترح أداة أخرى.
وخارج البرمجة الأمر نفسه. يشتري شخص مكنسة كهربائية أقوى، مع أن خرطومًا مسدودًا هو ما يُضعف الشفط. أو يعيد تثبيت نظام التشغيل دون أن يعرف سبب أعطال التطبيق. المساعد الجيد لا يكتفي بتقديم التعليمات، بل يتحقق من صحة الافتراض نفسه حول الطريق إلى النتيجة.
ماذا أظهر XYBench
في 13 نوفمبر 2026 قدّم باحثو Allen Institute for AI (Ai2) مع زملاء من Carnegie Mellon University وNVIDIA وJohns Hopkins University اختبار XYBench. قادت الفريق Akhila Yerukola. تضم المجموعة 8 115 سؤالًا من البرمجة والدعم التقني والمهام اليومية. وتشمل مواضيع تقنية مثل الإلكترونيات وLinux، ومواقف منزلية (الإصلاح والطبخ والأشغال اليدوية)، وتعليمات عملية عادية.
اختبر المؤلفون النماذج Claude Sonnet 4.6 وGPT-5 وGemini 3.1 Pro وQwen3.5-9B وDeepSeek-V4 Pro. والنتيجة الرئيسية هي الفارق بين «أفهم» و«أفعل». فحين عُرضت على النماذج إجابتان جاهزتان لسؤال من Stack Overflow، اختارت الأكثر فائدة في 71–84% من الحالات. أي أنها قادرة على التمييز بين المقاربة الجيدة والسيئة. لكنها حين تولّد الإجابة بنفسها، لم تستند إلى الهدف الفعلي للمستخدم إلا في 35–41% من الإجابات. وحتى بعد أن تجد الحل الصحيح، كثيرًا ما واصلت النماذج شرح الطريقة المختارة أصلًا، وهي طريقة غير مناسبة، بإسهاب.
لم يكن بناء هذه المجموعة سهلًا. فليس كل طلب غريب مشكلة XY: أحيانًا تكون الطريقة المختارة مبررة بالظروف، كأن تكون التعبيرات النمطية إلزامية بشروط المشروع. لذلك حرص المؤلفون على استبعاد الأسئلة التي يكفي فيها تنفيذ التعليمات حرفيًا.
من زاوية اللسانيات، هذه مسألة تداولية: كيف يغيّر السياق ونوايا المحاور معنى العبارة. وهي صعبة بوجه خاص على النماذج اللغوية، لأن الهدف نادرًا ما يُذكر منفصلًا، بل يختبئ داخل الطريقة المختارة.
ماذا يعني هذا للمطورين ومديري المنتجات
إذا كنت تبني مساعدًا أو دعمًا تقنيًا أو مساعد برمجة، فالخلاصة عملية. القدرة على اختيار الأفضل من بين خيارات جاهزة لا تضمن إجابة حرة جيدة. وإذا اختبرت النموذج باختبارات الاختيار من متعدد فقط، فقد تقلّل من حجم المشكلة.
ما يستحق التجربة:
- إضافة شرط في موجّه النظام (system prompt) بأن يتحقق النموذج أولًا من فرضية السؤال ثم يجيب؛
- في سيناريوهات تصحيح الأخطاء والدعم التقني، السماح للنموذج بالاستيضاح عمّا يريد الشخص تحقيقه فعلًا؛
- تضمين اختباراتك الخاصة أمثلة لا يحلّ فيها تنفيذ الطلب حرفيًا المهمة.
وثمة قيود أيضًا. لا يتضمن الوصف المتاح تفصيلًا للنتائج لكل نموذج، لذلك لا يمكن القول أيّ النماذج الخمسة يتعامل مع المشكلة بشكل أفضل. كما أنه غير معروف مدى توافق التقييم في الاختبار مع رأي المستخدمين الفعليين. يضاف إلى ذلك أن الإلحاح المفرط مزعج أيضًا: فإذا كان الشخص بحاجة فعلًا إلى التعبيرات النمطية، فعلى المساعد أن يكتبها لا أن يلقي محاضرة.
يمنح XYBench المهندسين وسيلة لقياس هذا الضعف بدل الاكتفاء بتخمينه.
- 21 نوفمبر 2026Anthropic تعلن إثبات فرضية ريمان بمساعدة Claude، وستانفورد ترد بمسوّدة دون ذكاء اصطناعي
- 21 نوفمبر 2026أربع قواعد لأندريه كارباثي لوكيل البرمجة في ملف واحد جمعت 232 ألف نجمة على GitHub
- 21 نوفمبر 2026فندق حذّر من الاختراق بعد 9 أيام، فكلّف المؤلف Claude وCodex برصد الثغرات
- 21 نوفمبر 2026أمازون تطلق وكيل الذكاء الاصطناعي AWS Quick مجانًا مع Claude، وباقة Plus المدفوعة بـ 25 دولارًا شهريًا
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما مشكلة XY؟ أمثلة بسيطة؟
المصطلح مألوف منذ زمن لدى المشاركين في المنتديات التقنية. يذكر السؤال الطريقة المختارة فقط، ويبقى الهدف الحقيقي خارج الصورة. مثال من البرمجة: يريد شخص استخراج بيانات من مستند XML، ويسأل كيف يفعل ذلك بالتعبيرات النمطية (regex). قد يكتب النموذج تعبيرًا معقدًا، ويشرح صياغته، ويذكر قيوده. من الناحية الشكلية، نُفّذ الطلب. لكن مع XML المهيكل يكون المحلل المتخصص (parser) عادةً أكثر موثوقية: فهو يراعي تداخل العناصر والسمات وخصائص الصيغة.
ما أبرز التفاصيل حول ماذا أظهر XYBench؟
في 13 نوفمبر 2026 قدّم باحثو Allen Institute for AI (Ai2) مع زملاء من Carnegie Mellon University وNVIDIA وJohns Hopkins University اختبار XYBench. قادت الفريق Akhila Yerukola. تضم المجموعة 8 115 سؤالًا من البرمجة والدعم التقني والمهام اليومية. وتشمل مواضيع تقنية مثل الإلكترونيات وLinux، ومواقف منزلية (الإصلاح والطبخ والأشغال اليدوية)، وتعليمات عملية عادية. اختبر المؤلفون النماذج Claude Sonnet 4.6 وGPT-5 وGemini 3.1 Pro وQwen3.5-9B وDeepSeek-V4 Pro. والنتيجة الرئيسية هي الفارق بين «أفهم» و«أفعل».
ما أبرز التفاصيل حول ماذا يعني هذا للمطورين ومديري المنتجات؟
إذا كنت تبني مساعدًا أو دعمًا تقنيًا أو مساعد برمجة، فالخلاصة عملية. القدرة على اختيار الأفضل من بين خيارات جاهزة لا تضمن إجابة حرة جيدة. وإذا اختبرت النموذج باختبارات الاختيار من متعدد فقط، فقد تقلّل من حجم المشكلة. ما يستحق التجربة: إضافة شرط في موجّه النظام (system prompt) بأن يتحقق النموذج أولًا من فرضية السؤال ثم يجيب؛ في سيناريوهات تصحيح الأخطاء والدعم التقني، السماح للنموذج بالاستيضاح عمّا يريد الشخص تحقيقه فعلًا؛ تضمين اختباراتك الخاصة أمثلة لا يحلّ فيها تنفيذ الطلب حرفيًا المهمة. وثمة قيود أيضًا.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.