مهارات وكلاء الذكاء الاصطناعي تضرّ النماذج الضعيفة: الميتا-مهارة استعادت ما يصل إلى 14 نقطة

قد تؤدي المهارات التي تجعل النموذج القوي أفضل إلى تدهور نتائج النموذج الضعيف. هذا ما خلصت إليه مجموعة من عشرة مؤلفين بقيادة Zhihao Yang في ورقة بحثية عن التطور الذاتي لـ«منظومة التشغيل» (harness) في وكلاء LLM. وعلى سبعة نماذج وثلاثة اختبارات معيارية، رصد الباحثون 103 أزواج من «مهمة — مهارة» ترفع فيها المهارة أداء GPT-5.6-luna بمقدار 31,1 نقطة، وتخفض أداء Gemma-4-E4B بمقدار 8,8. أما الحل المقترح، وهو تكييف المهارات بحسب المنفّذ، فقد منح النماذج الضعيفة زيادة تتراوح بين 5,1 و14,1 نقطة.

مهارة واحدة، وتأثيران متعاكسان

يعالج التطور الذاتي لمنظومة التشغيل مشكلة عملية. يراكم الوكيل خبرة تنفيذ المهام ويدوّنها في صورة مهارات، أي تعليمات نصية وإجراءات وعمليات تحقق، بينما تبقى أوزان النموذج دون تغيير. وهذا النهج أرخص من إعادة التدريب الإضافي، ويستخدمه مطورو وكلاء البرمجة بنشاط.

الفرضية الأساسية هنا أن النموذج قادر على تنفيذ ما هو مكتوب في المهارة. اختبر المؤلفون ذلك ووجدوا أن هذه الفرضية لا تصح دائمًا، فتأثير المهارة يعتمد على قدرات المنفّذ. يتبع النموذج القوي تعليمات طويلة متعددة الخطوات ويستفيد منها، أما النموذج الضعيف فيفقد الخيط، ويستدعي الأدوات بشكل خاطئ، ويُفسد بقية الخطة.

والاكتشاف الأكثر مفاجأة يتعلق بأسباب الفشل. ففي 86% من عمليات التشغيل الفاشلة للنماذج الضعيفة، كان الشرط الذي جرى انتهاكه مكتوبًا أصلًا في المهارة. فلم تكن المشكلة في نقص معرفة النموذج بما يجب فعله، بل في أنه يفتقر إلى القدرة على تحويل التعليمات إلى تنفيذ فعلي.

الميتا-مهارة: تشخيص أربعة أنواع من الأعطال

من هذه الملاحظة نشأت فكرة تكييف المهارات. المطلوب هو إعادة صياغة المهارة الموجودة بحيث يسهل على نموذج بعينه تنفيذها. ولهذا صنّف المؤلفون الإخفاقات في أربع فئات:

• أخطاء تنفيذ الأدوات؛ • أخطاء إدارة السياق؛ • عدم تنفيذ التعليمات؛ • أخطاء التحقق.

وجمع المؤلفون هذه التشخيصات في ميتا-مهارة ثابتة، أي تعليمة تشرح كيفية إعادة كتابة التعليمات الأخرى. وهي تعمل مرجعًا أثناء التكييف داخل دورة التطور الذاتي.

اختُبرت الميتا-مهارة أولًا على معيد كتابة خارجي. فاستخدمها Kimi-K3 لتكييف المهارات دون الاطلاع على نتائج التنفيذ، اعتمادًا على النص وحده. وتحسّن أداء ثلاثة منفّذين ضعفاء بمقدار 5,1–14,1 نقطة قياسًا بالمهارات الأصلية.

خمس جولات من التطور الذاتي

بعد ذلك دُمج التكييف في دورة كاملة من خمس جولات. في هذه الدورة يعدّل كل نموذج مهارته بنفسه استنادًا إلى مسارات التنفيذ وملاحظات المُتحقِّق. وكان عدد المنفّذين سبعة، من Gemma-4-E4B إلى Kimi-K2.5. ورفعت الميتا-مهارة النتيجة النهائية باستمرار بمقدار 2,0–5,1 نقطة مقارنة بدورة مماثلة دونها.

أبرز أرقام الدراسة:

• 7 نماذج منفّذة، و3 اختبارات معيارية؛ • 103 أزواج من «مهمة — مهارة» ذات تأثير متباين؛ • +31,1 نقطة لـ GPT-5.6-luna و−8,8 لـ Gemma-4-E4B على هذه الأزواج؛ • 86% من إخفاقات النماذج الضعيفة تعود إلى شروط كانت مكتوبة أصلًا في المهارة؛ • +5,1–14,1 نقطة من التكييف الخارجي للمهارات بواسطة Kimi-K3 لثلاثة منفّذين ضعفاء؛ • +2,0–5,1 نقطة من الميتا-مهارة في الدورة ذات الجولات الخمس؛ • 24 صفحة و12 شكلًا و4 جداول في الورقة البحثية.

ما الذي ينبغي تغييره في خطوط الوكلاء

بالنسبة إلى الفرق التي تبني وكلاء على مزيج من النماذج، فالخلاصة مباشرة: لا ينبغي نسخ مكتبة المهارات بين المنفّذين دون اختبار. فالمهارة التي جرى ضبطها على نموذج رائد قد تضرّ عند نقلها إلى نموذج صغير مثل Gemma-4-E4B. ويُستحسن قبل النشر تشغيلها على المنفّذ المستهدف ومقارنة النتيجة بنسخة دون مهارة.

والنقطة العملية الثانية تتعلق بالتكلفة. فالتكييف يعمل حتى دون مسارات التنفيذ، إذ يكفي نموذج قوي لإعادة الكتابة وميتا-مهارة. وهذه طريقة مناسبة لإعداد مهارات للنماذج المحلية الرخيصة التي يكون تشغيلها أجدى اقتصاديًا. أما النقطة الثالثة فترتبط بالتشخيص. يمكن استخدام فئات الإخفاق الأربع (الأدوات، والسياق، واتباع التعليمات، والتحقق) قائمةَ مراجعة عند تحليل إخفاقات الوكيل وعند كتابة المهارات من الصفر. وقد نُشرت الصياغات المحددة للميتا-مهارة على صفحة المشروع، والنسخة التمهيدية متاحة على arXiv تحت الرقم 2610.33024.