IBM وArtificial Analysis تطلقان معيارًا جديدًا: وكلاء الذكاء الاصطناعي يخفقون في مهام تقنية المعلومات

قدّمت IBM وArtificial Analysis معيار ITBench-AA، وهو أول معيار شامل لتقييم قدرة وكلاء الذكاء الاصطناعي على حل مهام حقيقية في بيئات تقنية المعلومات المؤسسية. والنتائج مخيّبة للآمال: فقد سجّلت النماذج الرائدة أقل من 50%. ويعني ذلك أن حلم المهندسين المستقلين العاملين بالذكاء الاصطناعي لا يزال حلمًا.

ما الذي اختبره ITBench-AA

تضمّن المعيار سيناريوهات مستمدة من عمليات تقنية المعلومات الفعلية: إعداد البنى التحتية للشبكات، وإدارة قواعد البيانات، وتصحيح الأخطاء في أنظمة production، ونشر التطبيقات، ومراقبة الموارد وتحسين استخدامها.

وليست هذه مهام كتابية بسيطة يكفي فيها تقديم إجابة صحيحة. فهنا يتعيّن على الذكاء الاصطناعي أن يتصرف كمهندس متكامل: يتفاعل مع واجهات الأنظمة، ويحلّل سجلات الأخطاء، ويتخذ قرارات في ظل عدم اليقين، ويعدّل نهجه إذا لم تنجح المحاولة الأولى.

اختُبرت نماذج رائدة، منها GPT-4 وClaude 3 Opus وGemini Ultra وغيرها. وجاءت النتائج متقاربة: إذ تراوح أداء جميعها بين 45 و50%. والأكثر لفتًا للانتباه أن الوكلاء كثيرًا ما كانوا يتعثرون أو يرتكبون أخطاء حرجة عند محاولتهم تنفيذ إجراءات معقدة متعددة الخطوات.

أين المشكلة الحقيقية

رقم 50% ليس مجرد نتيجة منخفضة. إنه إشارة إلى قيود جوهرية. فأعمال تقنية المعلومات تتطلب، إلى جانب المعرفة الواسعة، صفات لا يتمتع بها الذكاء الاصطناعي بثبات حتى الآن:

• الخلو من الأخطاء — خطأ واحد قد يعطّل النظام أمام آلاف المستخدمين
• اتساق التفكير — الإجراءات متعددة الخطوات تتطلب اتباعًا دقيقًا للمنطق
• فهم السياق — معرفة ما يجب فعله، وكذلك سبب أهمية كل خطوة
• التكيّف الفوري — حين لا تصلح التعليمات القياسية بسبب خصوصية البيئة
• تحمّل المسؤولية — القدرة على التراجع وطلب مساعدة إنسان عند عدم التيقّن

والوكلاء بصيغتهم الحالية أقرب إلى أنظمة قادرة على المساعدة، لكنها تحتاج إلى إشراف مستمر وإلى التحقق من نتائجها.

إعادة تقدير التوقعات

يؤثر ITBench-AA بالفعل في استراتيجيات الشركات. فوهم «الموظفين الرقميين الذين سيحلّون محل قسم تقنية المعلومات في غضون شهر» يتبدد. وبدلًا منه يتزايد الطلب على حلول أكثر واقعية: شراكة بين الإنسان والذكاء الاصطناعي، يتولى فيها الوكيل المهام الروتينية (تحديث ملفات الإعدادات، والمراقبة الأساسية، وتسجيل الأحداث)، بينما يحتفظ المهندس بالسيطرة على العمليات الحرجة.

كما يوفّر المعيار للمرة الأولى مقياسًا معترفًا به عمومًا لتقييم الوكلاء. وسيكون ITBench-AA أداة لمطوّري النماذج لفهم ما ينبغي العمل عليه في الإصدارات المقبلة.

ماذا يعني ذلك

الذكاء الاصطناعي يتطور، لكن تطوره أبطأ مما تعد به الشركات الناشئة. والخبر الجيد لمتخصصي تقنية المعلومات أن كفاءتهم تبقى موردًا نادرًا. أما بالنسبة إلى الشركات، فهي إشارة إلى أن الأتمتة الكاملة لمهام تقنية المعلومات ليست مشروع عام أو عامين. وبالنسبة إلى مطوّري النماذج، فهي خارطة طريق محددة للتحسين.