AWS Strands Evals يكتشف تلقائيًا أسباب أعطال وكلاء الذكاء الاصطناعي ويقترح الحلول

أطلقت AWS أداة Strands Evals للتشخيص التلقائي لأعطال وكلاء الذكاء الاصطناعي. وعلى خلاف أطر التقييم (eval) القياسية، لا تكتفي الأداة برصد واقعة الفشل، بل تحدد السبب الجذري وتقترح إصلاحًا محددًا — في موجّه النظام أو تعريف الأداة أو منطق التنسيق (orchestration).

المشكلة: الوكلاء يتعطلون دون أن يلاحظ أحد

وكلاء الذكاء الاصطناعي أنظمة معقدة متعددة الخطوات. فهم يستدعون الأدوات، ويتواصلون مع واجهات API خارجية، ويفسّرون النتائج، ويتخذون بأنفسهم قرارات بشأن الخطوة التالية. وحين يحدث خلل ما، يتحول تصحيح الأخطاء إلى تحقيق بوليسي: قدّم الوكيل إجابة خاطئة، لكن أين تحديدًا وقع العطل؟ في موجّه النظام؟ في تعريف الأداة؟ في منطق التخطيط؟ أم في طريقة معالجة استجابة واجهة API الخارجية؟

تسجّل أطر التقييم التقليدية الجودة النهائية — «فشل الوكيل في الاختبار» — لكنها لا تفسّر السبب. ويضطر المطورون إلى مراجعة مئات الأسطر من السجلات يدويًا، ووضع الفرضيات، والتجريب بأسلوب المحاولة والخطأ. وفي الوكلاء المعقدين ذوي السلاسل المؤلفة من 10–15 خطوة، قد يمتد تصحيح الأخطاء على هذا النحو لأيام.

يعالج Strands Evals هذه المشكلة بإضافة تشخيص تلقائي مصحوب بتوصيات محددة إلى عملية التقييم.

ماذا يقدّم Strands Evals

تعمل الأداة عبر دوال كاشفة (detectors) تحلل مسارات التنفيذ الفعلية للوكيل وتصدر تشخيصًا منظّمًا. أبرز القدرات:

• تصنيف الأعطال — يحدد نوع الخطأ: اختيار أداة خاطئ، أو مخالفة التعليمات، أو هلوسة، أو خطأ في منطق التخطيط، أو معالجة غير صحيحة للاستجابات
• درجات الثقة — تحصل كل فئة على درجة ثقة (confidence score) ليدرك المطور مدى موثوقية التشخيص
• سلاسل السبب والنتيجة — يبيّن النظام أي سبب جذري أدى إلى أي أعراض لاحقة في سلسلة أفعال الوكيل
• توصيات الإصلاح — تحدد الأداة صراحةً ما الذي يجب تعديله وأين: في موجّه النظام، أو في تعريف الأداة، أو في منطق التنسيق

«مخرجات منظّمة تتضمن الأعطال المصنّفة وسلاسل الأسباب وتوصيات الإصلاح — لكل عملية تشغيل اختبارية»، هكذا يصف فريق AWS ML

Blog الأداة.

كيف تُدمج في خط أنابيب التقييم

يندمج Strands Evals في عملية التقييم القائمة دون إعادة هيكلة عميقة للبنية التحتية. يستدعي المطور الدوال الكاشفة في كل تشغيل اختباري، ويحصل على تشخيص تلقائي إلى جانب مقاييس الجودة المعتادة — الدقة (accuracy) ومقياس F1 ومعدل إتمام المهام (task completion rate).

وتظهر القيمة العملية بوضوح خاص عند العمل مع مجموعات اختبار كبيرة. فبدلًا من الفرز اليدوي لمئات المسارات (traces)، يرى الفريق صورة مجمّعة. فإذا تركّزت 70% من أخطاء فئة «اختيار أداة خاطئ» حول طلبات من نوع معين، فالمشكلة على الأرجح في موجّه النظام، لا في تنفيذ الأداة نفسها. وهذان إصلاحان مختلفان جذريًا من حيث الجهد: تعديل بضعة أسطر في الموجّه مقابل إعادة هيكلة (refactoring) شيفرة الأداة.

وبالنسبة إلى الفرق التي تجري اختبارات الانحدار (regression testing) للوكلاء، تتيح الأداة أيضًا تتبّع الديناميكيات: أي فئات الأخطاء تتزايد بعد تحديث الموجّه، وأيها تختفي.

السياق: Strands SDK

Strands هو حزمة تطوير (SDK) مفتوحة المصدر للوكلاء من AWS، أُعلن عنها في عام 2025. تتيح بناء أنظمة وكلاء على نماذج Amazon Bedrock ونماذج LLM أخرى، وتدعم أنماط تعدد الوكلاء، والتكامل مع الأدوات عبر بروتوكول MCP القياسي. ويمثّل Strands Evals مكوّن التقييم في هذا الإطار، وتعمل AWS حاليًا على تطويره بنشاط.

مع انتقال أنظمة الوكلاء من النماذج الأولية إلى بيئة الإنتاج (production)، تصبح أدوات التشخيص جزءًا حيويًا من حزمة DevOps الخاصة بالذكاء الاصطناعي. فالوكيل الذي يسيء تفسير المهمة أو يختار أداة غير مناسبة قد لا يكتفي بتقديم إجابة خاطئة، بل قد ينفّذ أيضًا إجراءً غير مرغوب فيه تترتب عليه عواقب حقيقية.

ماذا يعني ذلك

يسدّ Strands Evals إحدى الثغرات الجوهرية في العمل مع وكلاء الذكاء الاصطناعي في بيئة الإنتاج: الفجوة بين «حدث خطأ ما» و«هذا تحديدًا ما الخطأ وهكذا يُصلَح». وبالنسبة إلى الفرق التي تبني أنظمة وكلاء على AWS، يقصّر ذلك دورة تصحيح الأخطاء، ويقلل الاعتماد على التحليل اليدوي للسجلات، ويجعل عملية التقييم جزءًا متكاملًا من خط أنابيب CI/CD.