AgentOps: منهجية تشغيلية لوكلاء الذكاء الاصطناعي في بيئة الإنتاج

نشرت مدونة AWS Machine Learning Blog مادة مخصصة لـ AgentOps، وهي ممارسة تشغيلية جديدة لتشغيل وكلاء الذكاء الاصطناعي في بيئة الإنتاج. ويصف الكتّاب المشكلة الجوهرية التي تواجه القطاع: فأنظمة الذكاء الاصطناعي الوكيلية تتخذ قرارات لا يمكن التنبؤ بها، وقد ترتفع تكلفتها فجأة وبحدّة، ويكاد تصحيح أعطالها غير الحتمية يكون مستحيلًا عند الاعتماد على أساليب DevOps المعتادة.

ما الذي يميّز الوكلاء عن البرمجيات التقليدية

تنفّذ البرمجيات التقليدية، حتى المعقدة منها، مجموعة خطوات محددة سلفًا ويمكن التنبؤ بها: فالمدخل نفسه يعطي في الغالب المخرج نفسه، وتكون الأعطال عادةً حتمية وقابلة لإعادة الإنتاج. أما أنظمة الذكاء الاصطناعي الوكيلية فتعمل بطريقة مختلفة؛ فبحسب توصيف كتّاب AWS، هي «تفكّر وتتكيّف وتتخذ قرارات مستقلة»، ولا تكتفي بتنفيذ سير عمل (workflow) محدد مسبقًا. وهذا يعني أن طلب المستخدم نفسه قد يقود الوكيل إلى سلاسل مختلفة من استدعاءات الأدوات، وإلى قرارات وسيطة مختلفة، وبالتالي إلى تكلفة نهائية مختلفة لتنفيذ المهمة. ولذلك تصبح أساليب المراقبة وتصحيح الأخطاء التقليدية في DevOps قليلة الجدوى ما لم يجرِ تكييفها.

ويوضح المشكلة سيناريو نموذجي: وكيل كُلّف بمهمة متعددة الخطوات يبدأ باستدعاء الأداة نفسها مرارًا في محاولة لتصحيح خطأ، فيضخّم نفقات استدعاء النموذج والواجهات البرمجية (API) الخارجية، قبل أن يلاحظ أحد أعضاء الفريق الشذوذ في الفوترة. ومن دون مراقبة متخصصة، لا تُكتشف مثل هذه الحوادث إلا بعد وقوعها، من خلال فاتورة السحابة وليس لحظة نشوء المشكلة. ولهذا لا تُعدّ ممارسات AgentOps أمرًا اختياريًا، بل جزءًا ضروريًا من أي اعتماد جاد للوكلاء في بيئة الإنتاج.

• المصطلح: AgentOps، وهو ممارسة تشغيلية لنشر وكلاء الذكاء الاصطناعي في بيئة الإنتاج وإدارتهم وتحسينهم باستمرار.
• مصدر المادة: مدونة AWS Machine Learning Blog.
• المشكلة الرئيسية الأولى: عدم إمكانية التنبؤ بقرارات الوكلاء.
• المشكلة الرئيسية الثانية: نمو غير مضبوط في تكاليف تنفيذ المهام.
• المشكلة الرئيسية الثالثة: صعوبة تصحيح الأعطال غير الحتمية.

كيف تقترح AgentOps إبقاء الوكلاء تحت السيطرة

يرى الكتّاب أن ممارسات DevOps لا ينبغي التخلي عنها عند تطبيقها على الوكلاء، بل إعادة التفكير فيها. فبدلًا من مراقبة مقاييس البنية التحتية الثابتة (حمل المعالج CPU، وزمن استجابة الخادم)، ينبغي للفرق تتبّع المؤشرات السلوكية للوكيل نفسه: أي الأدوات يستدعي وبأي ترتيب، وكم عدد الرموز (tokens) التي يستهلكها، وبالتالي كم من المال ينفق على مهمة بعينها، وأين حدث في سلسلة الاستدلال انحراف عن النتيجة المتوقعة. ويتطلب ذلك قياسًا عن بُعد (telemetry) متخصصًا وتتبّعًا لقرارات الوكيل على مستوى كل خطوة استدلال على حدة، وليس على مستوى الإجابة النهائية للمستخدم فقط.

وإلى جانب مراقبة التكلفة وتتبّع القرارات، يشير كتّاب AWS إلى ضرورة التقييم المنهجي لجودة عمل الوكلاء، أي ما يُعرف بأطر التقييم (eval frameworks). وتُمرّر هذه الأطر الوكيل عبر مجموعة من السيناريوهات الاختبارية قبل كل تحديث، وترصد ما إذا كانت جودة الإجابات قد تراجعت أو ازداد معدل الاستدعاءات الخاطئة للأدوات. ومن دون هذه الممارسة، تخاطر الفرق بأن تعلم بتراجع جودة الوكيل بعد وقوعه، من شكاوى المستخدمين وليس من اختبارات مضبوطة.

وعمليًا، يعني ذلك ظهور أدوات جديدة عند تقاطع DevOps والعمل مع الذكاء الاصطناعي: تتبّع سلاسل استدعاءات الوكيل، ولوحات معلومات تعرض تكلفة تنفيذ المهام في الوقت الفعلي، وحواجز حماية (guardrails) آلية توقف الوكيل عند تجاوزه الحدود المقررة للميزانية أو لمستوى المخاطر، قبل أن يتحول الخطأ إلى حادث في بيئة الإنتاج.

لماذا تتحول هذه الممارسة إلى تخصص مستقل الآن تحديدًا

يعكس ظهور مصطلح مستقل للممارسة التشغيلية المحيطة بوكلاء الذكاء الاصطناعي تحولًا أوسع في القطاع. فحتى وقت قريب، كان معظم عمليات نشر الذكاء الاصطناعي في بيئة الإنتاج يقتصر على استدعاءات بسيطة نسبيًا للنماذج بموجّه (prompt) ثابت. أما الآن فتبني شركات متزايدة أنظمة يخطط فيها الوكيل بنفسه لتسلسل الإجراءات، ويستدعي واجهات API خارجية، ويتخذ قرارات دون رقابة بشرية خطوة بخطوة في كل مرحلة. وعند هذا الانتقال من مسارات ML المعالجة القابلة للتنبؤ إلى الأنظمة الوكيلية المستقلة، لم تعد ممارسات MLOps وDevOps القديمة تغطي كل المخاطر. وبحسب تصور كتّاب AWS، يُفترض أن تشغل AgentOps هذه المساحة بوصفها المرحلة المنطقية التالية في تطور الممارسات التشغيلية للذكاء الاصطناعي.

وبالنسبة إلى الفرق التي مرّت بانتقال مماثل من تطوير البرمجيات التقليدي إلى MLOps عند اعتماد نماذج تعلّم الآلة، قد يبدو التحول نحو AgentOps مألوفًا من حيث البنية، لكنه أكثر تعقيدًا بوضوح من حيث المضمون، لأن موضوع المراقبة لم يعد نموذجًا ثابتًا بسلوك محدد، بل نظامًا قد يتصرف بطريقة جديدة في كل تشغيل.