باحثو UCAS يعلّمون وكلاء LLM الضعفاء فهم المهارات: حتى +14,1 نقطة دون إعادة تدريب

تُعدّ أغلفة الوكلاء (harness) التي تراكم الخبرة من عمليات التشغيل السابقة وتعيد كتابة «مهاراتها» بنفسها وسيلة منخفضة التكلفة لتحسين وكلاء LLM دون إعادة تدريب الأوزان. وقد تحقق باحثون من جامعة الأكاديمية الصينية للعلوم (Zhihao Yang وHaojin Wang وJuncheng Wu وزملاؤهم، والمؤلف الأخير Xianpei Han) مما إذا كان هذا النهج مفيدًا لجميع النماذج بالقدر نفسه. وتبيّن أنه ليس كذلك. فعلى سبعة نماذج وثلاثة اختبارات معيارية (benchmarks)، وجدوا 103 أزواج من «مهمة — مهارة» يرفع فيها المهارة نفسها أداء GPT-5.6-luna بمقدار 31,1 نقطة، ويخفض أداء Gemma-4-E4B بمقدار 8,8.

مهارة لا يستطيع النموذج الضعيف تنفيذها

التفسير البديهي أن النموذج الضعيف ببساطة تنقصه المعرفة. لكن البيانات تقول غير ذلك. ففي 86% من عمليات التشغيل الفاشلة للنموذج الضعيف، كان الشرط الذي خالفه مكتوبًا صراحةً في المهارة. أي أن النموذج رآه ولم يتمكن من تطبيقه. فالتعليمات مكتوبة بمستوى لا يقدر المنفِّذ على تحقيقه: سلسلة إجراءات طويلة أكثر من اللازم، وافتراضات ضمنية، وتعامل معقد مع الأدوات.

وهذا يغيّر صياغة المشكلة. فإذا نُقلت مهارة طوّرها نموذج قوي إلى نموذج ضعيف كما هي، فقد تُسوّئ النتيجة. وإذا كتب النموذج الضعيف مهارته بنفسه استنادًا إلى مساراته، فهو يميل إلى تثبيت صياغات لا يستطيع تنفيذها. والمطلوب إذن تكييف المهارة مع المنفِّذ: المعنى نفسه، ولكن بصيغة يقدر النموذج على تنفيذها.

المهارة الوصفية كتعليمات لإعادة الكتابة

صنّف المؤلفون إخفاقات المنفِّذين الضعفاء في أربع فئات:

• تنفيذ الأدوات (tool execution)؛
• إدارة السياق (context management)؛
• اتباع التعليمات (instruction following)؛
• التحقق من النتيجة (verification).

ومن هذه التشخيصات بنوا مهارة وصفية (meta-skill) ثابتة. وهي مجموعة مبادئ تُعاد بموجبها كتابة المهارة بحيث يسهل تنفيذها. وفي التجربة الأولى، تولّى Kimi-K3 دور معيد الصياغة. وقد كيّف المهارات دون وصول إلى مسارات التنفيذ (traces)، اعتمادًا على المهارة الوصفية وحدها. وتفوّق ثلاثة منفِّذين ضعفاء على المهارات الأصلية بمقدار يتراوح بين 5,1 و14,1 نقطة.

خمس جولات من التطور الذاتي

بعد ذلك دُمجت المهارة الوصفية في دورة التطور الذاتي نفسها. فعلى مدى خمس جولات، يعدّل كل نموذج مهارته بنفسه استنادًا إلى مسارات التشغيل وملاحظات المُتحقِّق. وجرى اختبار سبعة منفِّذين، من Gemma-4-E4B إلى Kimi-K2.5. وجاءت النتائج النهائية مع المهارة الوصفية أعلى بمقدار 2,0–5,1 نقطة منها في الدورة نفسها دونها. والتحسن مستقر على امتداد طيف النماذج كله، وليس عند الطرف الضعيف فقط.

أبرز أرقام الدراسة:

• 7 نماذج منفِّذة و3 اختبارات معيارية؛
• 103 أزواج من «مهمة — مهارة» ذات أثر متباين؛
• ‏+31,1 نقطة لـ GPT-5.6-luna و−8,8 لـ Gemma-4-E4B على هذه الأزواج؛
• 86% من إخفاقات النموذج الضعيف كان فيها الشرط مكتوبًا أصلًا في المهارة؛
• 4 فئات من الإخفاقات بُنيت منها المهارة الوصفية؛
• ‏+5,1–14,1 نقطة لدى ثلاثة منفِّذين ضعفاء بعد إعادة الكتابة بواسطة Kimi-K3؛
• 5 جولات من التطور الذاتي، وزيادة قدرها +2,0–5,1 نقطة بفضل المهارة الوصفية.

ماذا يجب تغييره في مشاريع الوكلاء

الخلاصة العملية لمن يبني أنظمة الوكلاء: لا ينبغي اعتبار مكتبة المهارات عامة وصالحة للجميع. فإذا وُزّعت مجموعة التعليمات نفسها على نماذج من فئات مختلفة، كأن تُسند إلى نموذج مكلف للمهام المعقدة ونموذج محلي مدمج للمهام الروتينية، فإن كل منفِّذ يحتاج إلى نسخته الخاصة. ويمكن إسناد إعادة الكتابة إلى نموذج خارجي قوي وفق مجموعة قواعد ثابتة، وهذا أرخص من تشغيل دورة تطور ذاتي كاملة على النموذج الضعيف.

والنقطة الثانية: عند تقييم الأغلفة ذاتية التعلّم، لا ينبغي الاكتفاء بمتوسط الزيادة، بل يجدر النظر أيضًا إلى الأزواج التي تضرّ فيها المهارة. فهي التي تبيّن أن التعليمات تجاوزت حدود قدرات المنفِّذ. وقد نشر المؤلفون الشيفرة وصفحة المشروع، بحيث يمكن اختبار المهارة الوصفية على مهامك ونماذجك.