ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارХабр: Машинное обучение→ المصدر

اختبار XYBench: الذكاء الاصطناعي يختار النصيحة المفيدة في 71–84% من الحالات، لكنه يكتبها بنفسه في 35–41% فقط

اسأل الذكاء الاصطناعي كيف تُثخّن كريمة الكب كيك، فسينصحك بالسكر البودرة، مع أن الكريمة تنزلق بسبب حرارة المخبوزات. هذه هي مشكلة XY: يطلب الشخص المساعدة في الطريقة التي اختارها (Y) لا في هدفه الحقيقي (X). في اختبار XYBench، وعلى أسئلة من Stack Overflow، تختار النماذج الأفضل من بين إجابتين في 71–84% من الحالات، لكنها تتطرق إلى الهدف الحقيقي في إجابتها الخاصة في 35–41% فقط. لذلك ينبغي تدريب المساعد على التحقق من فرضية السؤال أولًا.

معالج بواسطة الذكاء الاصطناعي من Хабр: Машинное обучение؛ بتحرير Hamidun News
اختبار XYBench: الذكاء الاصطناعي يختار النصيحة المفيدة في 71–84% من الحالات، لكنه يكتبها بنفسه في 35–41% فقط
المصدر: Хабр: Машинное обучение. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليХабр: Машинное обучение ↗
رئيس التحرير
حقيقة رئيسية #1اختُبرت النماذج Claude Sonnet 4.6 وGPT-5 وGemini 3.1 Pro وQwen3.5-9B وDeepSeek-V4 Pro
حقيقة رئيسية #2يضم الاختبار 8 115 سؤالًا من البرمجة والدعم التقني والحياة اليومية
مثاليطلب المستخدم regex لملف XML، بينما يكون المحلل الجاهز (parser) أكثر موثوقية

تسأل الشبكة العصبية كيف تجعل كريمة الكب كيك أكثر كثافة لأنها تنزلق. فينصحك المساعد بإضافة السكر البودرة أو تغيير النسب أو إطالة الخفق، وتبدو كل هذه النصائح معقولة. لكن إذا كانت الكب كيك ما تزال ساخنة، فستنزلق الكريمة مهما كانت النسب: يجب أولًا تبريد المخبوزات. تُسمّى هذه الحالة مشكلة XY: يريد الشخص تحقيق هدف X، ويقرر أن الطريقة Y هي السبيل إليه، ثم يطلب المساعدة في Y وحدها. قاس الباحثون كيف تتعامل النماذج الحديثة مع هذا النمط، فظهرت فجوة واضحة. على أسئلة Stack Overflow، يختار الذكاء الاصطناعي الإجابة الأكثر فائدة من بين إجابتين جاهزتين في 71–84% من الحالات، أما حين يكتب الإجابة بنفسه فلا يتحدث عن الهدف الحقيقي للمستخدم إلا في 35–41% من الإجابات. يحمل هذا الاختبار اسم XYBench.

ما مشكلة XY؟ أمثلة بسيطة

المصطلح مألوف منذ زمن لدى المشاركين في المنتديات التقنية. يذكر السؤال الطريقة المختارة فقط، ويبقى الهدف الحقيقي خارج الصورة.

مثال من البرمجة: يريد شخص استخراج بيانات من مستند XML، ويسأل كيف يفعل ذلك بالتعبيرات النمطية (regex). قد يكتب النموذج تعبيرًا معقدًا، ويشرح صياغته، ويذكر قيوده. من الناحية الشكلية، نُفّذ الطلب. لكن مع XML المهيكل يكون المحلل المتخصص (parser) عادةً أكثر موثوقية: فهو يراعي تداخل العناصر والسمات وخصائص الصيغة. وإذا لم تكن التعبيرات النمطية إلزامية، فإن الإجابة المفيدة تبدأ بذكر نقاط ضعفها ثم تقترح أداة أخرى.

وخارج البرمجة الأمر نفسه. يشتري شخص مكنسة كهربائية أقوى، مع أن خرطومًا مسدودًا هو ما يُضعف الشفط. أو يعيد تثبيت نظام التشغيل دون أن يعرف سبب أعطال التطبيق. المساعد الجيد لا يكتفي بتقديم التعليمات، بل يتحقق من صحة الافتراض نفسه حول الطريق إلى النتيجة.

ماذا أظهر XYBench

في 13 نوفمبر 2026 قدّم باحثو Allen Institute for AI (Ai2) مع زملاء من Carnegie Mellon University وNVIDIA وJohns Hopkins University اختبار XYBench. قادت الفريق Akhila Yerukola. تضم المجموعة 8 115 سؤالًا من البرمجة والدعم التقني والمهام اليومية. وتشمل مواضيع تقنية مثل الإلكترونيات وLinux، ومواقف منزلية (الإصلاح والطبخ والأشغال اليدوية)، وتعليمات عملية عادية.

اختبر المؤلفون النماذج Claude Sonnet 4.6 وGPT-5 وGemini 3.1 Pro وQwen3.5-9B وDeepSeek-V4 Pro. والنتيجة الرئيسية هي الفارق بين «أفهم» و«أفعل». فحين عُرضت على النماذج إجابتان جاهزتان لسؤال من Stack Overflow، اختارت الأكثر فائدة في 71–84% من الحالات. أي أنها قادرة على التمييز بين المقاربة الجيدة والسيئة. لكنها حين تولّد الإجابة بنفسها، لم تستند إلى الهدف الفعلي للمستخدم إلا في 35–41% من الإجابات. وحتى بعد أن تجد الحل الصحيح، كثيرًا ما واصلت النماذج شرح الطريقة المختارة أصلًا، وهي طريقة غير مناسبة، بإسهاب.

لم يكن بناء هذه المجموعة سهلًا. فليس كل طلب غريب مشكلة XY: أحيانًا تكون الطريقة المختارة مبررة بالظروف، كأن تكون التعبيرات النمطية إلزامية بشروط المشروع. لذلك حرص المؤلفون على استبعاد الأسئلة التي يكفي فيها تنفيذ التعليمات حرفيًا.

من زاوية اللسانيات، هذه مسألة تداولية: كيف يغيّر السياق ونوايا المحاور معنى العبارة. وهي صعبة بوجه خاص على النماذج اللغوية، لأن الهدف نادرًا ما يُذكر منفصلًا، بل يختبئ داخل الطريقة المختارة.

ماذا يعني هذا للمطورين ومديري المنتجات

إذا كنت تبني مساعدًا أو دعمًا تقنيًا أو مساعد برمجة، فالخلاصة عملية. القدرة على اختيار الأفضل من بين خيارات جاهزة لا تضمن إجابة حرة جيدة. وإذا اختبرت النموذج باختبارات الاختيار من متعدد فقط، فقد تقلّل من حجم المشكلة.

ما يستحق التجربة:

  • إضافة شرط في موجّه النظام (system prompt) بأن يتحقق النموذج أولًا من فرضية السؤال ثم يجيب؛
  • في سيناريوهات تصحيح الأخطاء والدعم التقني، السماح للنموذج بالاستيضاح عمّا يريد الشخص تحقيقه فعلًا؛
  • تضمين اختباراتك الخاصة أمثلة لا يحلّ فيها تنفيذ الطلب حرفيًا المهمة.

وثمة قيود أيضًا. لا يتضمن الوصف المتاح تفصيلًا للنتائج لكل نموذج، لذلك لا يمكن القول أيّ النماذج الخمسة يتعامل مع المشكلة بشكل أفضل. كما أنه غير معروف مدى توافق التقييم في الاختبار مع رأي المستخدمين الفعليين. يضاف إلى ذلك أن الإلحاح المفرط مزعج أيضًا: فإذا كان الشخص بحاجة فعلًا إلى التعبيرات النمطية، فعلى المساعد أن يكتبها لا أن يلقي محاضرة.

يمنح XYBench المهندسين وسيلة لقياس هذا الضعف بدل الاكتفاء بتخمينه.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما مشكلة XY؟ أمثلة بسيطة؟

المصطلح مألوف منذ زمن لدى المشاركين في المنتديات التقنية. يذكر السؤال الطريقة المختارة فقط، ويبقى الهدف الحقيقي خارج الصورة. مثال من البرمجة: يريد شخص استخراج بيانات من مستند XML، ويسأل كيف يفعل ذلك بالتعبيرات النمطية (regex). قد يكتب النموذج تعبيرًا معقدًا، ويشرح صياغته، ويذكر قيوده. من الناحية الشكلية، نُفّذ الطلب. لكن مع XML المهيكل يكون المحلل المتخصص (parser) عادةً أكثر موثوقية: فهو يراعي تداخل العناصر والسمات وخصائص الصيغة.

ما أبرز التفاصيل حول ماذا أظهر XYBench؟

في 13 نوفمبر 2026 قدّم باحثو Allen Institute for AI (Ai2) مع زملاء من Carnegie Mellon University وNVIDIA وJohns Hopkins University اختبار XYBench. قادت الفريق Akhila Yerukola. تضم المجموعة 8 115 سؤالًا من البرمجة والدعم التقني والمهام اليومية. وتشمل مواضيع تقنية مثل الإلكترونيات وLinux، ومواقف منزلية (الإصلاح والطبخ والأشغال اليدوية)، وتعليمات عملية عادية. اختبر المؤلفون النماذج Claude Sonnet 4.6 وGPT-5 وGemini 3.1 Pro وQwen3.5-9B وDeepSeek-V4 Pro. والنتيجة الرئيسية هي الفارق بين «أفهم» و«أفعل».

ما أبرز التفاصيل حول ماذا يعني هذا للمطورين ومديري المنتجات؟

إذا كنت تبني مساعدًا أو دعمًا تقنيًا أو مساعد برمجة، فالخلاصة عملية. القدرة على اختيار الأفضل من بين خيارات جاهزة لا تضمن إجابة حرة جيدة. وإذا اختبرت النموذج باختبارات الاختيار من متعدد فقط، فقد تقلّل من حجم المشكلة. ما يستحق التجربة: إضافة شرط في موجّه النظام (system prompt) بأن يتحقق النموذج أولًا من فرضية السؤال ثم يجيب؛ في سيناريوهات تصحيح الأخطاء والدعم التقني، السماح للنموذج بالاستيضاح عمّا يريد الشخص تحقيقه فعلًا؛ تضمين اختباراتك الخاصة أمثلة لا يحلّ فيها تنفيذ الطلب حرفيًا المهمة. وثمة قيود أيضًا.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…