مدقّق ذكاء اصطناعي أجاز خطأ الوكيل: نسبة نجاح واحدة أخفت ثلاثة عيوب مختلفة
يطلب مستخدم إلغاء الطلب السابق، مع أن لديه طلبين. لا يستوضح الوكيل، بل يختار أحدهما بنفسه ويلغيه ويعلن النجاح. يقارن المدقّق الذكي الرد بقاعدة البيانات، فيرى تطابقًا ويمنح الدرجة: فقد كان يقيّم صدق الوصف، لا حقّ الوكيل في التصرف دون سؤال. وقد أظهر كاتب التحليل أن نسبة النجاح الواحدة تخلط ثلاثة عيوب مختلفة على الأقل.
معالج بواسطة الذكاء الاصطناعي من Хабр: NLP؛ بتحرير Hamidun News
تخيّلوا مشهدًا مألوفًا من دعم متجر إلكتروني. يكتب عميل للوكيل: «ألغِ الطلب السابق». لكن لديه طلبان. السلوك الصحيح بديهي لأي موظف بشري: أن يسأل أيّ طلب يقصد. أما الوكيل فاختار أحدهما بصمت، وألغاه، وأبلغ بحماس أن كل شيء تمّ. وأما ذكاء اصطناعي ثانٍ كان يفحص الردود فمنح تقييمًا مرتفعًا.
تكمن قيمة هذه الحكاية، المأخوذة من تحليل نُشر على موقع Habr، في أنها لا تتضمن أي كذبة صريحة. ومع ذلك فالنتيجة سيئة.
لماذا لم يلاحظ المدقّق المشكلة
قارن المدقّق رسالة الوكيل بحالة قاعدة البيانات. الطلب ملغى فعلًا، والرسالة تطابق ذلك، إذن كل شيء صادق. من الناحية الشكلية هو محق: فالوكيل لم يكذب بشأن ما فعله.
المشكلة فيما طُلب من القاضي تقييمه. كانت مهمته التحقق من مدى دقة وصف الوكيل لإجرائه. أما سؤال «هل كان من حق الوكيل أن يتصرف دون استيضاح؟» فلم يكن ضمن المهمة. لذلك مرّر التقييم الإيجابي عيبًا التقطه فحص برمجي منفصل.
هذا فخ كلاسيكي: القاضي يجيب عن السؤال الذي طُرح عليه، لا عن السؤال الذي كان في ذهنك.
ثلاثة عيوب مختلفة تحت نسبة واحدة
بدأ الكاتب بفرضية مختلفة: ظنّ أن إضافة قصيرة إلى التعليمات ستُضعف عمل الوكيل. لكن التجربة لم تؤكد ذلك. غير أن مراجعة السجلات أظهرت أن رقم النجاح الإجمالي يخفي ثلاث مشكلات مختلفة، وكل منها يُعالج بطريقة مختلفة.
الأولى: نفّذ الوكيل الإجراء دون الاستيضاح المطلوب، ولم يوقفه المدقّق الذي يفحص التفسيرات. هنا يلزم فحص السلوك نفسه لا نص الرد.
الثانية: اشترط الاختبار اختيار رمز الرد وفق قاعدة لم تشرحها التعليمات بالكامل. هذا ليس خطأ النموذج بل خطأ في صياغة المسألة: عوقب الوكيل على ما لم يُقَل له. ويُعالج بتعديل التعليمات أو الاختبار.
الثالثة: نفّذ الوكيل العملية بصورة صحيحة، لكن المدقّق اختلق سببًا للرفض. أي أن القاضي ابتدع اعتراضًا. هنا يجب إصلاح معايير التقييم وتقييد القاضي حتى لا يقيّم ما ليس في القواعد.
إذا نظرنا إلى متوسط النسبة فقط، تبدو الحالات الثلاث متشابهة: «الاختبار لم ينجح» أو «الاختبار نجح». ولا يمكن اختيار العلاج الصحيح بناءً على رقم كهذا.
ماذا نفعل عمليًا
أولًا، افصلوا تقييم الإجراء عن تقييم التفسير. فواقعة إلغاء الطلب، واستدعاء الأداة المطلوبة، ووجود سؤال استيضاحي، من الأفضل فحصها بالكود عبر السجلات وحالة النظام. هذا حتمي ولا يتوقف على «مزاج» النموذج.
ثانيًا، في الأوامر الغامضة اجعلوا الاستيضاح خطوة إلزامية في السيناريو. إذا كان لدى المستخدم طلبان ولا يوجد معرّف في الطلب، فعلى النظام أن يفرض طرح سؤال. والاعتماد على صياغة الـ prompt وحدها محفوف بالمخاطر.
ثالثًا، أعطوا القاضي الذكي معيارًا ضيقًا وصريحًا. فكلما قلّت حريته في «التخمين»، قلّ اختلاقه لأسباب الرفض، أو، على العكس، إجازته لما لا ينبغي إجازته.
رابعًا، صنّفوا الإخفاقات حسب النوع. لكل تشغيل فاشل أجيبوا عن ثلاثة أسئلة. هل أخطأ الوكيل؟ هل كانت التعليمات أو الاختبار ناقصة؟ هل أخطأ القاضي؟ وبعد ذلك فقط يكون لتغيير أي شيء معنى.
القيود
هذا تحليل لمجموعة واحدة من التجارب ونوع واحد من السيناريوهات، ولذلك لا يمكن استخلاص أرقام عامة منه. لكن المخطط نفسه قابل للتطبيق على نطاق واسع: فأينما راجع ذكاء اصطناعي ذكاءً اصطناعيًا آخر، من المفيد أن نسأل ما الذي يُفحص بالضبط وما الذي يبقى خارج الإطار. نسبة النجاح الإجمالية الواحدة مريحة للتقارير، لكنها شبه عديمة الفائدة في تصحيح أخطاء الوكلاء.
- 9 نوفمبر 2026Google توزّع إعداد المواصفات بالذكاء الاصطناعي على دورين في إضافة EGM
- 12 نوفمبر 2026مستخدمو Claude Code يوافقون على 93% من الطلبات — والإشراف يتحول إلى إجراء شكلي
- 6 نوفمبر 2026أفضل وكلاء الذكاء الاصطناعي يجتازون حتى 98% من الاختبارات، لكنهم لا يقدمون منتجًا يعمل بالكامل إلا في 65% من عمليات البناء كحد أقصى
- 11 أغسطس 2026NeurIPS 2026 يقبل 102 ورشة عمل: المؤتمر يُعقد لأول مرة في ثلاث مدن حول العالم
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا لم يلاحظ المدقّق المشكلة؟
قارن المدقّق رسالة الوكيل بحالة قاعدة البيانات. الطلب ملغى فعلًا، والرسالة تطابق ذلك، إذن كل شيء صادق. من الناحية الشكلية هو محق: فالوكيل لم يكذب بشأن ما فعله. المشكلة فيما طُلب من القاضي تقييمه. كانت مهمته التحقق من مدى دقة وصف الوكيل لإجرائه. أما سؤال «هل كان من حق الوكيل أن يتصرف دون استيضاح؟» فلم يكن ضمن المهمة. لذلك مرّر التقييم الإيجابي عيبًا التقطه فحص برمجي منفصل. هذا فخ كلاسيكي: القاضي يجيب عن السؤال الذي طُرح عليه، لا عن السؤال الذي كان في ذهنك.
ما أبرز التفاصيل حول ثلاثة عيوب مختلفة تحت نسبة واحدة؟
بدأ الكاتب بفرضية مختلفة: ظنّ أن إضافة قصيرة إلى التعليمات ستُضعف عمل الوكيل. لكن التجربة لم تؤكد ذلك. غير أن مراجعة السجلات أظهرت أن رقم النجاح الإجمالي يخفي ثلاث مشكلات مختلفة، وكل منها يُعالج بطريقة مختلفة. الأولى: نفّذ الوكيل الإجراء دون الاستيضاح المطلوب، ولم يوقفه المدقّق الذي يفحص التفسيرات. هنا يلزم فحص السلوك نفسه لا نص الرد. الثانية: اشترط الاختبار اختيار رمز الرد وفق قاعدة لم تشرحها التعليمات بالكامل. هذا ليس خطأ النموذج بل خطأ في صياغة المسألة: عوقب الوكيل على ما لم يُقَل له.
ما أبرز التفاصيل حول ماذا نفعل عمليًا؟
أولًا، افصلوا تقييم الإجراء عن تقييم التفسير. فواقعة إلغاء الطلب، واستدعاء الأداة المطلوبة، ووجود سؤال استيضاحي، من الأفضل فحصها بالكود عبر السجلات وحالة النظام. هذا حتمي ولا يتوقف على «مزاج» النموذج. ثانيًا، في الأوامر الغامضة اجعلوا الاستيضاح خطوة إلزامية في السيناريو. إذا كان لدى المستخدم طلبان ولا يوجد معرّف في الطلب، فعلى النظام أن يفرض طرح سؤال. والاعتماد على صياغة الـ prompt وحدها محفوف بالمخاطر. ثالثًا، أعطوا القاضي الذكي معيارًا ضيقًا وصريحًا.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.