خارطة طريق لتقييم وكلاء الذكاء الاصطناعي: المقاييس والاختبارات المعيارية والأساليب العملية

تقييم وكلاء الذكاء الاصطناعي أصعب بكثير من تقييم النماذج اللغوية: فالوكيل يعمل عبر عدة خطوات، ويستخدم أدوات، ويتفاعل مع بيئة حقيقية، أما مقاييس الدقة المعتادة فلا تصلح هنا إطلاقًا.

لماذا يُعد تقييم الوكلاء تخصصًا مستقلًا

يقوم الاختبار المعياري التقليدي للنماذج اللغوية الكبيرة (LLM) على فكرة بسيطة: سؤال واحد، وإجابة واحدة، تُقارن بإجابة مرجعية. أما مع الوكيل فالأمر مختلف جذريًا. فهو يخطط للمهمة، ويستدعي الأدوات بالتتابع، ويفسّر النتائج الوسيطة، ثم يقرر الخطوة التالية، وقد يكرر ذلك عشرات المرات متتالية قبل الوصول إلى النتيجة النهائية. وقد يؤدي الخطأ في أي حلقة من السلسلة إلى فشل كامل.

وفوق ذلك، لا توجد في كثير من الأحيان «إجابة صحيحة» وحيدة: فتسلسلان مختلفان من الإجراءات قد يفضيان إلى النتيجة الصحيحة نفسها عبر مسارين مختلفين. أضف إلى ذلك الطبيعة غير الحتمية لواجهات API الخارجية وتنوّع المهام، وسيتضح لماذا لا تزال الصناعة تبحث بنشاط عن مناهج موثوقة.

وثمة صعوبة أخرى تتعلق بالأفق الزمني. فالمهام القصيرة تُنجز في 5–10 خطوات، بينما تعمل الأنظمة الوكيلة المعقدة لساعات. وكلما طال الأفق، ارتفع الخطأ التراكمي، وازدادت صعوبة تحديد مصدر الأخطاء.

ماذا نقيس: المقاييس الرئيسية

يغطي نظام التقييم الجيد لوكيل الذكاء الاصطناعي عدة مستويات في آن واحد:

• Task completion rate — نسبة المهام المنجزة حتى النهاية دون تدخل بشري
• Plan quality — منطقية خطوات التخطيط وكفاءتها قبل الإجراء الأول
• Tool use accuracy — صحة اختيار الأداة ومعاملاتها وتفسير الاستجابة
• Error recovery — القدرة على اكتشاف الخطأ في السلسلة وتصحيح المسار بصورة مستقلة
• Step efficiency — عدد الخطوات اللازمة للوصول إلى الهدف: كلما قلّت الخطوات مع الجودة نفسها كان ذلك أفضل

وثمة ملاحظة مهمة: بعض المقاييس تُحتسب تلقائيًا من سجلات الأدوات، وبعضها الآخر يحتاج إلى LLM يقوم بدور الحكم أو إلى مقيّم بشري. ومحاولة اختزال كل شيء في رقم واحد تعطي صورة ناقصة.

الاختبارات المعيارية التي أصبحت معيارًا في القطاع

تشكّلت خلال العام ونصف العام الماضيين مجموعة من الاختبارات المعيارية المعتمدة فعليًا لمقارنة الوكلاء.

GAIA (General AI Assistants) — مهام ذات إجابات واضحة قابلة للتحقق، وتتطلب عدة خطوات استدلال: العثور على معلومة، ودمج بيانات من عدة مصادر، وحساب نتيجة وسيطة. وتنجز أفضل الأنظمة نحو 50% من مهام المستوى الأول.

SWE-bench — رقع برمجية لمشكلات (issues) حقيقية على GitHub في مستودعات Python. يكتب الوكيل الشيفرة ثم تُجرى الاختبارات. وهو اختبار موضوعي وصارم: إما أن تنجح الاختبارات أو لا. وتتجاوز أفضل الوكلاء حاجز 50%.

WebArena — تصفح المتصفح على مواقع حقيقية: التسوق والبحث وملء النماذج. ويختبر القدرة على العمل مع واجهة مستخدم غير منظمة دون واجهات API محددة مسبقًا.

ثلاثة أساليب للتقييم العملي

Trajectory evaluation — تقييم كل خطوة في السلسلة، لا النتيجة النهائية وحدها. ويتيح تحديد موضع انحراف الوكيل عن المسار بدقة: في التخطيط، أم في استدعاء الأداة، أم في تفسير الاستجابة. ويتطلب تسجيلًا تفصيليًا لجميع الإجراءات.

LLM-as-judge — يقيّم نموذج لغوي أفعال الوكيل وفق معايير محددة. وهو قابل للتوسع ورخيص التكلفة، لكن الحَكَم نفسه يميل إلى انحيازات منهجية في السلاسل الطويلة. ولذلك لا بد من معايرته بعناية على أمثلة موسومة.

Human evaluation — المعيار الذهبي للمهام المعقدة والملتبسة. ويُستخدم بصورة انتقائية: للتحقق من صحة المقاييس الآلية ولفحص الحالات الحدّية.

وفي الممارسة، يُفضَّل الجمع بين الأساليب الثلاثة: تصفّي الأتمتة حالات الفشل الواضحة، ويقيّم LLM-as-judge المستوى المتوسط، ويتحقق البشر من الحالات المعقدة.

ماذا يعني ذلك

يشهد مجال تقييم وكلاء الذكاء الاصطناعي نضجًا سريعًا: إذ تظهر اختبارات معيارية قياسية وأدوات مفتوحة ومنهجيات مجرَّبة. والفرق التي تبني تقييمًا منهجيًا منذ الآن ستكون جاهزة للوكلاء في بيئة الإنتاج (production) أسرع بكثير من منافسيها.