ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارAi2 (Allen Institute)→ المصدر

Ai2 يختبر خمسة نماذج رائدة: تركّز على المشكلة الحقيقية في 35–41% فقط من إجاباتها

تسأل كيف تجعل الغلاسية أكثر كثافة لأنها تنزلق عن الكب كيك، بينما السبب الحقيقي أن الكب كيك ما زال دافئًا. جمعت Ai2 اختبار XYBench من 8115 سؤالًا من هذا النوع، واختبرت خمسة نماذج، بينها GPT-5 وClaude Sonnet 4.6. وفي أسئلة Stack Overflow، ركّزت النماذج على السبب الحقيقي في 35–41% فقط من إجاباتها، وعلى الطريقة الخاطئة الواردة في السؤال في 47–57%. لذلك، عند اختيار مساعد ذكي، تحقّق من قدرته على الاعتراض على المستخدم.

معالج بواسطة الذكاء الاصطناعي من Ai2 (Allen Institute)؛ بتحرير Hamidun News
Ai2 يختبر خمسة نماذج رائدة: تركّز على المشكلة الحقيقية في 35–41% فقط من إجاباتها
المصدر: Ai2 (Allen Institute). كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAi2 (Allen Institute) ↗
رئيس التحرير
حقيقة رئيسية #18115 سؤالًا من Stack Overflow وStack Exchange وWikiHow وأمثلة مختارة يدويًا
حقيقة رئيسية #2عند عرض إجابتين جاهزتين، تختار النماذج الإجابة المناسبة في 71–84% من الحالات
حقيقة رئيسية #3تلميح الهدف رفع نسبة الحلول لدى Sonnet 4.6 من 59% إلى 67%

تسأل المساعد الذكي كيف تجعل الغلاسية أكثر كثافة لأنها تنزلق عن الكب كيك. المساعد الجيد ينتبه إلى أن المشكلة ليست في الكثافة: الكب كيك ما زال دافئًا، والغلاسية تذوب ببساطة. أما المساعد الضعيف فيبدأ بشرح مفصّل عن السكر البودرة والنشا. أطلق مختبر Ai2 اختبار XYBench لقياس هذه القدرة تحديدًا، واختبر به خمسة نماذج قوية. في أسئلة Stack Overflow (يسأل فيها المطوّرون عن الشيفرة البرمجية)، جعلت النماذج مشكلة الشخص الحقيقية محور الإجابة في 35–41% فقط من الحالات. وفي 47–57% من الحالات، ركّزت على الطريقة الخاطئة التي سأل عنها الشخص. أُنجز العمل بالتعاون مع Carnegie Mellon وNVIDIA وJohns Hopkins، ونال جائزة Best Resource Paper في مؤتمر EMNLP 2026.

ما مشكلة XY وكيف جرى اختبارها

الموقف مألوف لكل من عمل في الدعم الفني أو أجاب عن أسئلة المنتديات. يريد شخص تحقيق الهدف X، ويقرر أن الطريقة Y ستساعده، فيطلب المساعدة في Y. يُسمّى Y في الاختبار الطلب المعلَن، ويُسمّى X الهدف الحقيقي الذي يمكن فهمه من السياق.

يضم XYBench 8115 سؤالًا من أربعة مصادر:

  • 1557 سؤالًا من Stack Overflow؛
  • 184 سؤالًا من Stack Exchange؛
  • 102 مثال اختيرت يدويًا؛
  • 6272 سؤالًا ولّدها نموذج انطلاقًا من أدلة WikiHow.

في أسئلة المنتديات، حُدّد الهدف والحلول الممكنة بالاعتماد على الإجابات الثلاث الأعلى تقييمًا والإجابة المقبولة. واستُبعدت الحالات التي تكفي فيها الإجابة عن السؤال الحرفي. أما أسئلة WikiHow فولّدها النموذج Sonnet 4.5، ثم عُدّلت بحيث يستطيع الخبير فهم الهدف، دون أن يُذكر الهدف صراحةً في النص.

تُقيَّم الإجابة وفق ثلاثة معايير. الأول: هل تتضمن حلًّا لـ Y وحلًّا لـ X. الثاني: على ماذا يقع التركيز، على الطلب المعلَن أم على الهدف أم عليهما بالتساوي. الثالث: هل يشرح النموذج أن المسار المختار خاطئ، وهل يوجّه المستخدم نحو الهدف. يتولى Claude Sonnet 4.5 دور المحكِّم. وراجع شخصان بصورة مستقلة 500 إجابة، فاتفقا مع المحكِّم في 97,5–100% من الحالات بشأن وجود الحل، وفي 84,6–93,3% بشأن رصد الافتراض الخاطئ، وفي 74,2–79,8% بشأن التركيز. الرقم الأخير أدنى بوضوح من الباقي، فتقييم التركيز هو الأصعب.

ماذا أظهرت النماذج

اختبرت Ai2 النماذج Claude Sonnet 4.6 وGPT-5 وGemini 3.1 Pro وQwen3.5-9B وDeepSeek-V4 Pro. أجاب كل نموذج مرة واحدة عن كل سؤال. وقدّمت النماذج الخمسة جميعًا حلًّا للطلب المعلَن أكثر مما قدّمت حلًّا للهدف الحقيقي. في Stack Overflow، ورد حل Y في 75–86% من الإجابات، وحل X في 59–71%.

لكن ذكر الحل الصحيح لا يعني جعله محور الإجابة. قد يقضي النموذج عدة فقرات في نصح المستخدم بمكنسة أقوى، ثم يضيف في سطر واحد أن عليه فحص الخرطوم. في Stack Overflow، كان الهدف الحقيقي محور الإجابة في 35–41% فقط، والطلب المعلَن في 47–57%. وفي بقية الإجابات تقاسم الطرفان التركيز تقريبًا بالتساوي. وكان الخبراء من البشر أفضل أداءً في هذه المقارنة، إذ كانوا أكثر قدرة على إبعاد المستخدم عن المسار الخاطئ.

المعرفة والتنفيذ مهارتان مختلفتان

في تجربتين إضافيتين، بحث المؤلفون في سبب هذه النتائج.

في الأولى، لُقِّنت النماذج صراحةً الطلب المعلَن والهدف الحقيقي معًا. ارتفعت لدى Sonnet 4.6 في Stack Overflow نسبة الإجابات التي تتضمن حلًّا للهدف من 59% إلى 67%. لكن نسبة الإجابات التي يشرح فيها النموذج خطأ الافتراض انخفضت من 47% إلى 34%. وظلت جميع النماذج أدنى من البشر في رصد الافتراض الخاطئ. أي أن تخمين النية نصف المهمة فقط. فعلى النماذج أيضًا أن تجرؤ على الاعتراض على المستخدم.

في التجربة الثانية، أدّت النماذج دور المحكِّم. أُضيف إلى ستة نماذج (الخمسة الرئيسية وGPT-4.1) إجابتان جاهزتان لكل سؤال: واحدة عن الطلب الحرفي وأخرى عن الهدف الحقيقي. نجحت النماذج في اختيار الإجابة المتعلقة بالهدف في 71–84% من الحالات. إذن هي تفهم أي نصيحة أنفع أفضل بكثير مما تكتب هذه النصائح بنفسها. ولم يكن اختبار الاختيار من متعدد ليُظهر هذا الفارق.

ماذا نفعل بهذه النتائج

الخلاصة عملية لمطوّري المساعدات الذكية وفرق المنتجات. إذا كان المستخدمون يأتون بأسئلة غير دقيقة، وهذا يحدث تقريبًا دائمًا، فلا يكفي تقييم الإجابة بحسب صحتها الشكلية. ينبغي التحقق على حدة مما إذا كان النموذج يبحث عن جذر المشكلة. ومن الأساليب الممكنة: موجّه نظام يطلب توضيح الهدف أولًا، وفحص الإجابات وفق المعايير الثلاثة نفسها. وفكرة اختيار أفضل إجابة من اثنتين توحي بأسلوب آخر: أن يولّد النموذج أولًا عدة مسودات، ثم يختار بنفسه المسودة التي تحل المهمة الحقيقية. لم يختبر المؤلفون ذلك، فهو مجرد فرضية.

وهناك قيود لا بد من ذكرها. الاختبار حتى الآن باللغة الإنجليزية، ويتناول في الغالب مهام إجرائية: البرمجة والطبخ والإصلاحات المنزلية. والمحكِّم نموذج أيضًا، ولا يتجاوز اتفاقه مع البشر 80% في مسألة التركيز. أما أثر التدريب والموجّهات في النتيجة، فتكتفي Ai2 باقتراح دراسته في أعمال لاحقة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما مشكلة XY وكيف جرى اختبارها؟

الموقف مألوف لكل من عمل في الدعم الفني أو أجاب عن أسئلة المنتديات. يريد شخص تحقيق الهدف X، ويقرر أن الطريقة Y ستساعده، فيطلب المساعدة في Y. يُسمّى Y في الاختبار الطلب المعلَن، ويُسمّى X الهدف الحقيقي الذي يمكن فهمه من السياق. يضم XYBench 8115 سؤالًا من أربعة مصادر: 1557 سؤالًا من Stack Overflow؛ 184 سؤالًا من Stack Exchange؛ 102 مثال اختيرت يدويًا؛ 6272 سؤالًا ولّدها نموذج انطلاقًا من أدلة WikiHow. في أسئلة المنتديات، حُدّد الهدف والحلول الممكنة بالاعتماد على الإجابات الثلاث الأعلى تقييمًا والإجابة المقبولة.

ما أبرز التفاصيل حول ماذا أظهرت النماذج؟

اختبرت Ai2 النماذج Claude Sonnet 4.6 وGPT-5 وGemini 3.1 Pro وQwen3.5-9B وDeepSeek-V4 Pro. أجاب كل نموذج مرة واحدة عن كل سؤال. وقدّمت النماذج الخمسة جميعًا حلًّا للطلب المعلَن أكثر مما قدّمت حلًّا للهدف الحقيقي. في Stack Overflow، ورد حل Y في 75–86% من الإجابات، وحل X في 59–71%. لكن ذكر الحل الصحيح لا يعني جعله محور الإجابة. قد يقضي النموذج عدة فقرات في نصح المستخدم بمكنسة أقوى، ثم يضيف في سطر واحد أن عليه فحص الخرطوم. في Stack Overflow، كان الهدف الحقيقي محور الإجابة في 35–41% فقط، والطلب المعلَن في 47–57%.

ما أبرز التفاصيل حول المعرفة والتنفيذ مهارتان مختلفتان؟

في تجربتين إضافيتين، بحث المؤلفون في سبب هذه النتائج. في الأولى، لُقِّنت النماذج صراحةً الطلب المعلَن والهدف الحقيقي معًا. ارتفعت لدى Sonnet 4.6 في Stack Overflow نسبة الإجابات التي تتضمن حلًّا للهدف من 59% إلى 67%. لكن نسبة الإجابات التي يشرح فيها النموذج خطأ الافتراض انخفضت من 47% إلى 34%. وظلت جميع النماذج أدنى من البشر في رصد الافتراض الخاطئ. أي أن تخمين النية نصف المهمة فقط. فعلى النماذج أيضًا أن تجرؤ على الاعتراض على المستخدم. في التجربة الثانية، أدّت النماذج دور المحكِّم.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…