AWS تطلق Agent-EvalKit: تقييم منهجي لوكلاء الذكاء الاصطناعي عبر ست مراحل

أطلقت AWS الأداة Agent-EvalKit، وهي أداة مفتوحة المصدر (Apache 2.0) للتقييم المنهجي لوكلاء الذكاء الاصطناعي. يتكامل الإطار مع Claude Code وKiro CLI وKilo Code، ويمرّر الوكيل عبر ست مراحل فحص متتابعة.

لماذا نحتاج إلى تقييم الوكلاء

تطوير وكيل ذكاء اصطناعي ليس أمرًا صعبًا، أما معرفة مدى جودة أدائه فمسألة مختلفة تمامًا. فقد يقدّم الوكيل إجابات تبدو معقولة، ومع ذلك يستدعي أدوات زائدة عن الحاجة، أو يستهلك من الرموز (tokens) أضعاف ما يلزم، أو يتخطى خطوات حاسمة في سلسلة الاستدلال. ولا تصلح المقاييس التقليدية مثل accuracy هنا، فالوكيل نظام ديناميكي لا تهمّ فيه النتيجة النهائية وحدها، بل المسار الذي أفضى إليها كاملًا. فسجل الأدوات وترتيب الاستدعاءات والقرارات الوسيطة كلها تؤثر في موثوقية الوكيل في بيئة الإنتاج. ولهذا السبب أنشأ فريق AWS بنية تحتية متخصصة للتقييم.

ست مراحل للفحص

يمرّر الإطار الوكيل تباعًا عبر ست مراحل:

• إعداد المهمة — تكوين مجموعة من حالات الاختبار تضم المدخلات والسياق والإجابات المرجعية
• تشغيل الوكيل — تنفيذ المهام في بيئة خاضعة للتحكم مع تسجيل كامل للتتبّع (trace)
• تقييم المسار — التحقق من أن الوكيل استدعى الأدوات المطلوبة بالترتيب الصحيح
• تقييم الإجابة النهائية — مقارنة النتيجة بالإجابة المرجعية من حيث المضمون والبنية والدقة
• تحليل الأمان — فحص السلوك غير المرغوب فيه وتجاوز حدود المهمة المحددة
• إعداد التقرير — تجميع المقاييس وحساب الدرجة النهائية مع تفصيلها حسب الفئات

يمكن ضبط كل مرحلة على حدة: تشغيل تقييم المسار وحده، أو التقرير النهائي وحده، أو الدورة الكاملة.

مثال: وكيل للسفر

لأغراض العرض، تستعرض AWS وكيلًا كُتب باستخدام Strands Agents SDK ويعمل على Amazon Bedrock. يتلقى الوكيل طلب المستخدم، مثل «خطّط رحلة إلى طوكيو لمدة سبعة أيام بميزانية 2000 دولار»، ثم يبحث عن الرحلات الجوية والفنادق عبر أدوات خارجية، ويحلل المعالم السياحية، ويعيد مسارًا نهائيًا للرحلة.

يفحص Agent-EvalKit هذا الوكيل عبر المراحل الست جميعها. فيتأكد من أن أداة البحث عن الرحلات الجوية استُدعيت قبل البحث عن الفنادق، وأن الإجابة النهائية تتضمن تواريخ وأسعارًا محددة، وأن الوكيل لم يتجاوز الميزانية ولم يختلق رحلات غير موجودة. ويكشف هذا الفحص أخطاءً لا تظهر في الاختبار اليدوي المعتاد.

التكامل مع مساعدي الذكاء الاصطناعي

يتمثل الفارق الجوهري بين Agent-EvalKit وما يماثله من أدوات في تكامله العميق مع مساعدي البرمجة المعتمدين على الذكاء الاصطناعي. إذ يمكن لـ Claude Code وKiro CLI وKilo Code تشغيل التقييم مباشرة داخل بيئة عمل المطوّر، من دون الانتقال إلى منصة منفصلة أو إعداد خط معالجة (pipeline) مستقل.

يُوزَّع الإطار بترخيص Apache 2.0. والشيفرة المصدرية متاحة على GitHub، وتتضمن الوثائق أمثلة جاهزة لعدد من أطر الذكاء الاصطناعي الشائعة.

«أردنا بناء بنية تقييم يستطيع المطوّرون ربطها في غضون دقائق، دون الحاجة إلى بنائها من الصفر»، كما كتب المطوّرون في مدونة AWS

Machine Learning.

ماذا يعني ذلك

يُعدّ ظهور أداة تقييم موحّدة خطوة مهمة نحو الاستخدام الصناعي لوكلاء الذكاء الاصطناعي. فمن دون القدرة على قياس جودة أداء الوكيل بصورة منهجية على مهام حقيقية، يصعب تبرير اعتماده في عمليات الأعمال الحساسة. ويقدّم Agent-EvalKit منهجية محددة بديلًا عن الاختبار اليدوي.