RealCLI: أفضل وكيل ذكاء اصطناعي للطرفية يحقق 49% في اختبار العمل مع الإنسان

لم تعد الوكلاء العاملة في سطر الأوامر مجرد أدوات إكمال تلقائي: فهي تثبّت الحزم بنفسها، وتعدّل الملفات، وتشغّل الخدمات، وتحلل البيانات. وقد نشر باحثون معيار RealCLI الذي يختبر أمرين مختلفين: هل حلّ الوكيل المهمة، وإلى أي مدى عمل بشكل سليم إلى جانب إنسان حقيقي. المعيار (benchmark) هو مجموعة موحّدة من المهام مع تحقق آلي من النتائج. حققت أفضل تهيئة من بين 33 تهيئة خضعت للاختبار 49,2% فقط في المتوسط. وإذا ضربنا النجاح في المهمة بتقييم جودة التعاون، نحصل على «الدرجة المشتركة» (Joint Collaboration Score)، وبلغ حدها الأقصى 37,6%.

التهيئة هنا هي زوج يتألف من نموذج وغلاف وكيل (harness)، أي الطبقة البرمجية التي يصل النموذج عبرها إلى الطرفية. وشمل الاختبار 11 نموذجاً متقدماً وثلاثة أغلفة شائعة.

لماذا لا ترصد الاختبارات المعتادة المشكلة

يختبر SWE-bench وTerminal-Bench الوكيل وفق نمط واحد. يتلقى وصفاً كاملاً وثابتاً للمهمة، ويعمل بمفرده دون تدخل بشري، ولا يُقيَّم سوى الحالة النهائية للكود أو البيئة. لكن العمل الفعلي يختلف عن ذلك. فالعميل نادراً ما يعرف كل المتطلبات في البداية. إنه يضيف الشروط أثناء العمل، ويغيّر القيود، ويقرر هل يُسمح للوكيل بفعل شيء محفوف بالمخاطر: حذف بيانات، أو إرسال ملفات، أو المساس بإعدادات لا تخصه.

والضعف الثاني في الاختبارات القديمة أنها لا تنظر إلى سلوك الوكيل في أثناء التنفيذ. فلا يهم هل شرح خطواته، وهل تحقق من حالة النظام بعد الخطأ، وهل أبلغ بصدق عن المخاطر. أما الأعمال التي يشارك فيها المستخدم فعلاً، فتعدّ عادةً ردوده جزءاً من المهمة نفسها، أو تختبر مهارة واحدة ضيقة، مثل اتباع التعليمات.

مجموعة المهام نفسها في وضعين

يضم RealCLI 101 مهمة موزعة على 10 فئات و52 مجالاً فرعياً، من العمليات المحلية إلى العمليات المعقدة ذات القيود والنتائج المتعددة. وقد جُمعت المهام انطلاقاً من سجلات مجهولة الهوية لعمل حقيقي في سطر الأوامر. وترتبط كل مهمة بحاوية وحل مرجعي وسكربت تحقق. ويستبعد التحقق الصيغ السهلة أكثر من اللازم: يجب أن ينجح الحل المرجعي، وأن يفشل الإجراء الفارغ.

تُشغَّل كل مهمة في وضعين بالبيئة نفسها وسكربت التحقق نفسه:

• REALCLI-EXEC: يُعطى الوصف الكامل دفعة واحدة، ولا يوجد إنسان. • REALCLI-COLLAB: يتلقى الوكيل طلباً أولياً غير مكتمل، بينما يقدّم محاكي المستخدم المعلومات على دفعات وفق سيناريو مكتوب مسبقاً، ويوضّح ويصحّح، ويغيّر المتطلبات، ويتخذ قرارات الوصول.

لكل مهمة ستة سيناريوهات تفاعل. مثال على ذلك: يطلب المستخدم أرشفة ملفات حساسة محتجاً بـ«عادة عمل». وعلى الوكيل أن ينتبه إلى خطر التسريب. ومثال آخر ورد في البحث نفسه: حمى الوكيل سراً مخفياً في البيئة، لكنه حذف وظيفة إلزامية بعدما صدّق ادعاءً لم يتحقق منه.

كيف تُحتسب جودة التعاون

قُسّم التعاون إلى خمسة أبعاد تستند إلى نظرية التفاعل بين الإنسان والحاسوب:

• الوضوح: هل يرى المستخدم الخطط والحالة والنتيجة؛ • قابلية التوجيه: هل يمكن التدخل وإعادة توجيه العمل، وهل يتذكر الوكيل القيود الجديدة؛ • المراقبة والتعافي: هل يتحقق الوكيل من الحالة، وهل يتعافى من الأعطال؛ • معايرة الثقة: هل يبلغ الوكيل بصدق عن المخاطر وحدود قدراته وحالة التنفيذ الفعلية؛ • الأمان والوعي بالمخاطر: هل يحتفظ المستخدم بالسيطرة قبل الإجراءات المدمرة أو غير المصرّح بها.

وتتفرع هذه الأبعاد إلى 22 بعداً فرعياً و51 نمط سيناريو و1 658 بنداً في قوائم التحقق. والمعايير صارمة. لا يُحتسب السيناريو إلا إذا استُوفيت جميع البنود المنطبقة. ثم يجب أن ينجح في 75% على الأقل من المهام التي ظهر فيها. ومن هذه التقييمات تتكوّن درجات الأبعاد الفرعية والأبعاد والمؤشر النهائي. وتضرب الدرجة المشتركة النجاح في المهمة بجودة التعاون، ولذلك لا تعوّض النتيجة العالية في أحدهما الفشل في الآخر.

أين تخفق الوكلاء

يخلص المؤلفون إلى ثلاث نتائج:

• النتيجة العالية في المهمة لا تضمن تعاوناً جيداً. فالنماذج ذات النسبة نفسها من المهام المحلولة تختلف اختلافاً كبيراً في نمط سلوكها. • مشاركة المستخدم لا تحقق مكسباً ثابتاً. فالنسبة الإجمالية للمهام المنجزة لا تتغير تقريباً، ويتوقف الأثر على نوع المهمة والنموذج، ولا تتحول الجهود الإضافية من الوكيل دائماً إلى تقدم. • المهارات موزعة بصورة غير متكافئة. فالوضوح والقدرة على المراقبة والتعافي جاءا جيدين نسبياً، بينما تبقى قابلية التوجيه ومعايرة الثقة والأمان نقاط ضعف.

والخلاصة عملية للفرق التي تعتمد الوكلاء العاملين في الطرفية. فنسبة المهام المحلولة وحدها لا تكفي لاختيار النموذج. ينبغي التحقق بشكل منفصل من كيفية تفاعل الوكيل مع تغيّر المتطلبات، وهل يطلب التأكيد قبل العمليات الخطرة، وهل يتجنب الوعد بأكثر مما يستطيع. أما لمطوري الوكلاء أنفسهم، فيوفّر RealCLI اختباراً قابلاً للتكرار لهذه المهارات، لا مجرد جدول آخر عن المهام المحلولة.