AWS تطلق UAEF: مجموعة واحدة من 36 مقياسًا للوكلاء على أي إطار عمل

بنيت وكيلًا على LangGraph، وهو يعمل والمقاييس مضبوطة. ثم يقرر الفريق الانتقال إلى Strands أو نقل جزء من المنطق إلى AgentCore، فيتضح أن التسجيل ومخزن النتائج والتقارير كلها مصممة على قياس صيغة التتبع في الإطار القديم. يجب بناء التقييم من جديد، ويبقى السؤال البسيط «هل تحسّن الوكيل بعد تغيير الموجِّه؟» بلا إجابة.

تقترح AWS فكّ هذا الارتباط. UAEF (Universal Agent Evaluation Framework) مشروع مفتوح المصدر بترخيص Apache 2.0 (المستودع awslabs/uaef). فهو يفصل بين «كيف سجّل الإطار تشغيل الوكيل» و«كيف نقيّم الجودة». وبحسب AWS، استخدمته بالفعل 12 مؤسسة من قطاعات الاتصالات والرعاية الصحية والمال.

كيف يعمل

يحتاج النظام إلى مدخلين: وكيل ومجموعة بيانات. تحتوي مجموعة البيانات على الاستعلامات، واختياريًا على الإجابات المرجعية. ولفحص استدعاءات الأدوات، يجب أن يتضمن المرجع الاستدعاءات المتوقعة: أي الأدوات، وبأي ترتيب، وبأي وسائط.

بعد ذلك يعمل خط المعالجة على النحو التالي:

1. يقرأ المحوّل أثر التنفيذ الأصلي (الرسائل واستدعاءات الأدوات والتسليم بين الوكلاء) ويحوّله إلى صيغة AgentTrace الموحدة. يمكن تمرير تتبع جاهز، من السجلات أو من Langfuse. أو يستدعي UAEF الوكيل بنفسه عبر ARN أو نقطة HTTP لكل مُدخل في مجموعة البيانات.
2. يُفحص التتبع بحثًا عن البيانات الشخصية (البريد الإلكتروني وأرقام الهواتف وأرقام البطاقات) قبل حفظه.
3. يحسب المحرك المقاييس. عددها 36، وهي موزعة على 7 أبعاد: استدعاء الأدوات، وجودة الإجابة، والذكاء الاصطناعي المسؤول، والأداء، والحوار متعدد الخطوات، وتنسيق عدة وكلاء، والاستدلال.
4. تُسجَّل النتيجة بوصفها تجربة: البيانات الوصفية في DynamoDB، والنتائج الكاملة مع مبررات الحكم في S3.

الفكرة الأساسية في ترتيب الخطوات: التطبيع أولًا ثم التقييم. لذلك يمكن مقارنة وكيل على إطار بوكيل على إطار آخر بمقياس واحد مقارنة عادلة. يُرجع كل مقياس رقمًا بين 0 و1، حيث 1 هو أفضل قيمة.

المقاييس الحتمية والقاضي LLM

المقاييس نوعان. الحتمية تُحسب مباشرة من التتبع والمرجع وتتكرر نتائجها بالمثل تمامًا. أما الباقية فتعمل عبر LLM-as-a-judge: يقيّم نموذج على Amazon Bedrock ما يصعب إضفاء الطابع الرسمي عليه، مثل الصلة بالموضوع أو الأمان. ويمكن إضافة مقاييس خاصة وربط RAGAS وDeepEval.

يصف المؤلفون بشكل منفصل حماية القاضي. فإجابة الوكيل تدخل في موجِّه القاضي، أي أنها مُدخل غير موثوق. وإلا فإن وكيلًا قادرًا على التأثير في القاضي قد يؤثر في تقييماته هو نفسه. تُرسل المعايير بمعزل عن المحتوى، ويُهرَّب المحتوى، ويُلزم القاضي باقتباس مقطع حرفي من النص المقيَّم. وإذا لم يوجد الاقتباس في النص، يُستبعد التقييم. وتحذر AWS بصراحة من أن تقييمات القاضي إشارة للتطوير وليست آلية أمان. وللحماية وقت التشغيل يلزم Bedrock Guardrails.

مقارنة النسخ والتراجعات

هذا هو الجزء الأكثر عملية. يحسب UAEF لكل مقياس مشترك بين تشغيلين التغير المطلق والنسبي، ويصنّفه تراجعًا أو تحسنًا أو بلا تغيير. العتبة الافتراضية 5%. وتنقسم شدة التراجع إلى ثلاثة مستويات: خفيف (5–10%)، ومتوسط (10–20%)، وشديد (أكثر من 20%). وتُجمَّع التراجعات حسب الأبعاد.

لنفترض أنك عدّلت موجِّه النظام. قد تُظهر المقارنة أن جودة الإجابة لم تتغير، بينما انخفضت دقة اختيار الأدوات بنسبة 12%، أي تراجع متوسط. وبدون التقسيم حسب الأبعاد، كنت سترى متوسط الدرجات فقط، وهو لم يتحرك تقريبًا.

يمكن ربط تشغيل بإعداداته: الإطار والنموذج والأدوات والموجِّه والمعاملات وحتى التزام Git. ويمكن تعيين تشغيل واحد ليكون الأساس. عندها ترتبط كل درجة بالتغيير الذي أنتجها.

تعمل التقارير على ثلاثة مستويات: ملخص النتائج في واجهة الويب، وتقرير إحصائي، ورؤى LLM. يُحسب التقرير الإحصائي من الدرجات فقط دون LLM، مع فترات الثقة والقيم الشاذة، ولذلك يكون دائمًا متطابقًا على البيانات نفسها. أما الرؤى، أي فرضيات الأسباب وأولويات التعديلات، فيولّدها نموذج على Bedrock عبر مكتبة Python.

ماذا تفعل بهذا

أولًا: لا تُفعّل جميع المقاييس الـ36 دفعة واحدة. تنصح AWS في الدليل بالانطلاق من السيناريو. فمساعد RAG يحتاج إلى الصلة والدقة وfaithfulness من RAGAS، أما وكيل الأدوات فيحتاج إلى اختيار الاستدعاءات وترتيبها وجودة المعاملات. المقاييس الزائدة تكلّف وقتًا واستدعاءات Bedrock.

ثانيًا: يمكن دمج UAEF في CI/CD عبر مكتبة Python، وللزملاء الأقل تقنية توجد خدمة قابلة للنشر بواجهة low-code. المحرك في الحالتين واحد.

القيود واضحة أيضًا. الأداة مرتبطة بقوة بـAWS: القاضي يعمل على Bedrock، والتخزين هو DynamoDB وS3. وعتبة 5% على مجموعة بيانات صغيرة قد تُحسب ضجيجًا بسهولة، لذا انظر إلى فترات الثقة في التقرير. ولا تخلط بين تقييم الجودة والحماية: فالأمان يحتاج إلى حواجز منفصلة.

أما الفرق التي تشغّل وكلاء على عدة أطر أو تنوي الترحيل، فهذه أساس جاهز لاختبارات الانحدار للوكلاء، كان عليها لولاه أن تكتبه بنفسها.