بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارХабр: NLP→ المصدر

مدقّق ذكاء اصطناعي أجاز خطأ الوكيل: نسبة نجاح واحدة أخفت ثلاثة عيوب مختلفة

يطلب مستخدم إلغاء الطلب السابق، مع أن لديه طلبين. لا يستوضح الوكيل، بل يختار أحدهما بنفسه ويلغيه ويعلن النجاح. يقارن المدقّق الذكي الرد بقاعدة البيانات، فيرى تطابقًا ويمنح الدرجة: فقد كان يقيّم صدق الوصف، لا حقّ الوكيل في التصرف دون سؤال. وقد أظهر كاتب التحليل أن نسبة النجاح الواحدة تخلط ثلاثة عيوب مختلفة على الأقل.

معالج بواسطة الذكاء الاصطناعي من Хабр: NLP؛ بتحرير Hamidun News
مدقّق ذكاء اصطناعي أجاز خطأ الوكيل: نسبة نجاح واحدة أخفت ثلاثة عيوب مختلفة
المصدر: Хабр: NLP. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليХабр: NLP ↗
رئيس التحرير
حقيقة رئيسية #1اختبروا الإجراء والتفسير باختبارات منفصلة
حقيقة رئيسية #2اشترطوا الاستيضاح عند الأمر الغامض عبر الكود لا عبر الـ prompt
حقيقة رئيسية #3لا تدعوا القاضي الذكي يخمّن أسباب الرفض دون قواعد

تخيّلوا مشهدًا مألوفًا من دعم متجر إلكتروني. يكتب عميل للوكيل: «ألغِ الطلب السابق». لكن لديه طلبان. السلوك الصحيح بديهي لأي موظف بشري: أن يسأل أيّ طلب يقصد. أما الوكيل فاختار أحدهما بصمت، وألغاه، وأبلغ بحماس أن كل شيء تمّ. وأما ذكاء اصطناعي ثانٍ كان يفحص الردود فمنح تقييمًا مرتفعًا.

تكمن قيمة هذه الحكاية، المأخوذة من تحليل نُشر على موقع Habr، في أنها لا تتضمن أي كذبة صريحة. ومع ذلك فالنتيجة سيئة.

لماذا لم يلاحظ المدقّق المشكلة

قارن المدقّق رسالة الوكيل بحالة قاعدة البيانات. الطلب ملغى فعلًا، والرسالة تطابق ذلك، إذن كل شيء صادق. من الناحية الشكلية هو محق: فالوكيل لم يكذب بشأن ما فعله.

المشكلة فيما طُلب من القاضي تقييمه. كانت مهمته التحقق من مدى دقة وصف الوكيل لإجرائه. أما سؤال «هل كان من حق الوكيل أن يتصرف دون استيضاح؟» فلم يكن ضمن المهمة. لذلك مرّر التقييم الإيجابي عيبًا التقطه فحص برمجي منفصل.

هذا فخ كلاسيكي: القاضي يجيب عن السؤال الذي طُرح عليه، لا عن السؤال الذي كان في ذهنك.

ثلاثة عيوب مختلفة تحت نسبة واحدة

بدأ الكاتب بفرضية مختلفة: ظنّ أن إضافة قصيرة إلى التعليمات ستُضعف عمل الوكيل. لكن التجربة لم تؤكد ذلك. غير أن مراجعة السجلات أظهرت أن رقم النجاح الإجمالي يخفي ثلاث مشكلات مختلفة، وكل منها يُعالج بطريقة مختلفة.

الأولى: نفّذ الوكيل الإجراء دون الاستيضاح المطلوب، ولم يوقفه المدقّق الذي يفحص التفسيرات. هنا يلزم فحص السلوك نفسه لا نص الرد.

الثانية: اشترط الاختبار اختيار رمز الرد وفق قاعدة لم تشرحها التعليمات بالكامل. هذا ليس خطأ النموذج بل خطأ في صياغة المسألة: عوقب الوكيل على ما لم يُقَل له. ويُعالج بتعديل التعليمات أو الاختبار.

الثالثة: نفّذ الوكيل العملية بصورة صحيحة، لكن المدقّق اختلق سببًا للرفض. أي أن القاضي ابتدع اعتراضًا. هنا يجب إصلاح معايير التقييم وتقييد القاضي حتى لا يقيّم ما ليس في القواعد.

إذا نظرنا إلى متوسط النسبة فقط، تبدو الحالات الثلاث متشابهة: «الاختبار لم ينجح» أو «الاختبار نجح». ولا يمكن اختيار العلاج الصحيح بناءً على رقم كهذا.

ماذا نفعل عمليًا

أولًا، افصلوا تقييم الإجراء عن تقييم التفسير. فواقعة إلغاء الطلب، واستدعاء الأداة المطلوبة، ووجود سؤال استيضاحي، من الأفضل فحصها بالكود عبر السجلات وحالة النظام. هذا حتمي ولا يتوقف على «مزاج» النموذج.

ثانيًا، في الأوامر الغامضة اجعلوا الاستيضاح خطوة إلزامية في السيناريو. إذا كان لدى المستخدم طلبان ولا يوجد معرّف في الطلب، فعلى النظام أن يفرض طرح سؤال. والاعتماد على صياغة الـ prompt وحدها محفوف بالمخاطر.

ثالثًا، أعطوا القاضي الذكي معيارًا ضيقًا وصريحًا. فكلما قلّت حريته في «التخمين»، قلّ اختلاقه لأسباب الرفض، أو، على العكس، إجازته لما لا ينبغي إجازته.

رابعًا، صنّفوا الإخفاقات حسب النوع. لكل تشغيل فاشل أجيبوا عن ثلاثة أسئلة. هل أخطأ الوكيل؟ هل كانت التعليمات أو الاختبار ناقصة؟ هل أخطأ القاضي؟ وبعد ذلك فقط يكون لتغيير أي شيء معنى.

القيود

هذا تحليل لمجموعة واحدة من التجارب ونوع واحد من السيناريوهات، ولذلك لا يمكن استخلاص أرقام عامة منه. لكن المخطط نفسه قابل للتطبيق على نطاق واسع: فأينما راجع ذكاء اصطناعي ذكاءً اصطناعيًا آخر، من المفيد أن نسأل ما الذي يُفحص بالضبط وما الذي يبقى خارج الإطار. نسبة النجاح الإجمالية الواحدة مريحة للتقارير، لكنها شبه عديمة الفائدة في تصحيح أخطاء الوكلاء.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا لم يلاحظ المدقّق المشكلة؟

قارن المدقّق رسالة الوكيل بحالة قاعدة البيانات. الطلب ملغى فعلًا، والرسالة تطابق ذلك، إذن كل شيء صادق. من الناحية الشكلية هو محق: فالوكيل لم يكذب بشأن ما فعله. المشكلة فيما طُلب من القاضي تقييمه. كانت مهمته التحقق من مدى دقة وصف الوكيل لإجرائه. أما سؤال «هل كان من حق الوكيل أن يتصرف دون استيضاح؟» فلم يكن ضمن المهمة. لذلك مرّر التقييم الإيجابي عيبًا التقطه فحص برمجي منفصل. هذا فخ كلاسيكي: القاضي يجيب عن السؤال الذي طُرح عليه، لا عن السؤال الذي كان في ذهنك.

ما أبرز التفاصيل حول ثلاثة عيوب مختلفة تحت نسبة واحدة؟

بدأ الكاتب بفرضية مختلفة: ظنّ أن إضافة قصيرة إلى التعليمات ستُضعف عمل الوكيل. لكن التجربة لم تؤكد ذلك. غير أن مراجعة السجلات أظهرت أن رقم النجاح الإجمالي يخفي ثلاث مشكلات مختلفة، وكل منها يُعالج بطريقة مختلفة. الأولى: نفّذ الوكيل الإجراء دون الاستيضاح المطلوب، ولم يوقفه المدقّق الذي يفحص التفسيرات. هنا يلزم فحص السلوك نفسه لا نص الرد. الثانية: اشترط الاختبار اختيار رمز الرد وفق قاعدة لم تشرحها التعليمات بالكامل. هذا ليس خطأ النموذج بل خطأ في صياغة المسألة: عوقب الوكيل على ما لم يُقَل له.

ما أبرز التفاصيل حول ماذا نفعل عمليًا؟

أولًا، افصلوا تقييم الإجراء عن تقييم التفسير. فواقعة إلغاء الطلب، واستدعاء الأداة المطلوبة، ووجود سؤال استيضاحي، من الأفضل فحصها بالكود عبر السجلات وحالة النظام. هذا حتمي ولا يتوقف على «مزاج» النموذج. ثانيًا، في الأوامر الغامضة اجعلوا الاستيضاح خطوة إلزامية في السيناريو. إذا كان لدى المستخدم طلبان ولا يوجد معرّف في الطلب، فعلى النظام أن يفرض طرح سؤال. والاعتماد على صياغة الـ prompt وحدها محفوف بالمخاطر. ثالثًا، أعطوا القاضي الذكي معيارًا ضيقًا وصريحًا.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…