AWS تتيح UAEF: أداة مجانية لاختبار وكلاء الذكاء الاصطناعي وفق 36 مقياسًا

سيناريو مألوف: تعدّل سطرًا واحدًا في تعليمات النظام، فيجيب الوكيل بصورة أفضل عن سؤالك الاختباري المفضّل، فتُطلق التعديل. وبعد أسبوع، تكتشف أنه بدأ يخلط بين الوسائط عند استدعاء واجهة API داخلية، ويجيب عن بعض الطلبات بثقة مفرطة. لم يلاحظ أحد ذلك، لأن تقييم الوكيل كان يعتمد على الانطباع الشخصي. أطلقت AWS أداة UAEF المجانية والمفتوحة المصدر للتعامل مع هذا السيناريو تحديدًا.

ما المشكلة التي تحلّها UAEF؟

تُفحص الشيفرة التقليدية بالاختبارات: تعدّل دالة، وتشغّل مجموعة الاختبارات، فتظهر نتيجة الفشل باللون الأحمر. لكن الأمر لا يسير بهذه الطريقة مع الوكلاء. فالنتيجة تعتمد على النموذج والتعليمات والأدوات المتاحة، وحتى ترتيب الخطوات الذي اختاره الوكيل في هذه المرة. قد تنتقل إلى نموذج أحدث أو أقل تكلفة، فتتحسّن الجودة في جوانب وتتراجع في أخرى من دون أن يلفت ذلك الانتباه.

بحسب الإعلان، تقيّم UAEF الوكيل عبر 36 بُعدًا، تغطّي نطاقًا واسعًا من استخدام الأدوات إلى السلامة. وتتمثّل وظيفتها الأساسية في مقارنة حالات الوكيل وإظهار ما إذا كان تعديل التعليمات أو استبدال النموذج قد أدّى إلى تراجع. وهذا هو التراجع نفسه الذي يكتشفه المستخدمون عادةً بعد وصوله إليهم.

ما الذي نعرفه حتى الآن؟

لا يقدّم المصدر الأصلي تفاصيل كثيرة، لذا نقتصر على المعلومات المؤكدة:

• الأداة مجانية ومفتوحة المصدر، وقد أطلقتها Amazon Web Services؛
• تضم 36 فحصًا تغطّي جودة الأداء والسلامة معًا؛
• تعمل مع عدة أطر عمل للوكلاء، أي إنها لا تتطلّب إعادة كتابة الوكيل ليتوافق مع منظومة تقنية محددة؛
• تنبّه عندما يؤدّي تغيير التعليمات أو النموذج إلى تراجع أداء الوكيل.

النقطة الأخيرة أهم من البقية. فكثير من الفرق لا ينقصها تقرير أنيق، بل إجابة بسيطة عن سؤال: هل يمكن إطلاق هذا الإصدار؟ إذا قدّمت الأداة هذه الإجابة تلقائيًا، يصبح دمجها في سير العمل أمرًا عمليًا.

كيف تستخدمها عمليًا؟

تخيّل وكيلًا للدعم يعثر على الطلب، ويتحقّق من حالة التوصيل، ويُجري استردادًا للمبلغ عند الحاجة. يعمل حاليًا بنموذج معيّن، وتريد الانتقال إلى نموذج آخر تقل تكلفته بمقدار الثلث. من دون مجموعة لاختبارات التراجع، ستقارن نحو عشر محادثات يدويًا وتأمل أن تسير الأمور على ما يرام.

مع أداة مثل UAEF، تختلف الخطوات:

1. ثبّت الإصدار الحالي من الوكيل بوصفه خط الأساس للمقارنة.
2. شغّل التقييم نفسه على النموذج الجديد أو التعليمات الجديدة.
3. حدّد المقاييس التي تراجعت، مثل صحة استدعاء الأدوات أو السلامة.
4. قرّر ما إذا كان الوفر يبرّر التراجع الذي رصدته.

إذا كنت تستخدم التكامل المستمر CI بالفعل، فمن المنطقي إجراء هذا الفحص قبل إطلاق أي تعديل على التعليمات، وليس فقط قبل تغيير النموذج. فتعديلات التعليمات تتسبّب في اضطراب السلوك بوتيرة لا تقل عن تغييرات النماذج.

يمنح ذلك مدير المنتج لغة واضحة لمناقشة الجودة: بدلًا من «يبدو أنه أصبح أفضل»، يمكن القول «تحسّن في هذه الأبعاد وتراجع في تلك». ويمنح المؤسّس وسيلة لتجنّب الاعتماد على مزوّد واحد للنماذج، لأن تغيير المزوّد لم يعد قفزة في المجهول.

ما الذي لا يزال ناقصًا؟

ثمة تحفّظات. فالوصف المتاح لا يوضّح كيفية احتساب المقاييس، ولا أطر العمل المدعومة مباشرة، ولا ما إذا كان يلزم توفير سيناريوهات مرجعية خاصة، ولا تكلفة تشغيل التقييم عند احتساب استدعاءات النماذج المقيِّمة. وسيتعيّن التحقّق من هذه التفاصيل في المستودع والوثائق.

وتنبيه آخر: لن تحلّ 36 مقياسًا عامًا محل اختبارات مصمّمة لعمليات شركتك. فهي تجيد رصد الإخفاقات العامة، لكنها لا تعرف أن استرداد مبلغ يتجاوز حدًا معيّنًا في شركتك يتطلّب موافقة بشرية. وسيظل عليكم إعداد هذه السيناريوهات بأنفسكم.

ومع ذلك، فهذا هو الاتجاه الصحيح. لا يزال تقييم الوكلاء نقطة ضعف لدى معظم الفرق، وظهور أداة مجانية من مزوّد سحابي كبير تعمل مع أطر عمل مختلفة يسهّل البدء. والخطوة العملية بسيطة: اختَر أهم وكيل لديك، وقيّمه باستخدام UAEF، واحفظ النتيجة مرجعًا للمقارنة قبل التعديل التالي على التعليمات.