SkillMem يخزّن مهارة وكلاء الذكاء الاصطناعي في 9,6 كيلوبايت ويسرّع الفريق 4,2 مرة

تحل فرق الوكلاء المتعددين من الذكاء الاصطناعي المسائل بكفاءة أعلى من النموذج المنفرد: وكيل يخطط، وآخر ينتقد، وثالث يحسّن النتيجة. ولكي لا يكرر الوكلاء الأخطاء نفسها، تُمنح لهم «مهارات»، أي وصفات قصيرة مثل «تحقق من الافتراضات» أو «طابق النتيجة الوسيطة». وقد بيّن باحثون من معهد رينسلير للفنون التطبيقية وIBM كيف يمكن تخزين هذه المهارات بحجم 9,6 كيلوبايت للمهارة الواحدة دون فقدان السرعة. أطلقوا على الطريقة اسم SkillMem. وعلى نموذج Qwen3-4B رفعت الطريقة الدقة في GSM8K (مسائل رياضيات نصية مدرسية) من 72,40% إلى 89,90%، وفي GPQA-Diamond (أسئلة صعبة في الفيزياء والكيمياء والأحياء بمستوى الخبراء) من 17,97% إلى 35,63%. وتُقارَن هذه الأرقام بالنظام الأساسي LatentMAS، الذي يتواصل فيه الوكلاء عبر متجهات كامنة ولا يكتبون نصوصًا لبعضهم.

لماذا تلتهم المهارة النصية مكسب التواصل الكامن

الأنظمة الكامنة متعددة الوكلاء أسرع من الأنظمة المعتادة، لأن الوكلاء لا يولّدون رسائل وسيطة بالكلمات. فهم يتبادلون الحالات الداخلية للنموذج، ولا يصدر الإجابة النصية سوى الوكيل الأخير.

لكن المهارة تُدرج عادةً في الموجّه (prompt) كنص عادي. وفي كل مرة تُستخدم فيها، يعيد النموذج تمرير هذه الرموز (tokens) عبر نفسه من جديد. وفي سلسلة طويلة من الطلبات تلتهم مرحلة «الملء المسبق» هذه جزءًا من السرعة التي بُني النظام من أجلها أصلًا.

البدائل الأخرى غير مريحة أيضًا:

• تخزين المفاتيح والقيم (KV) للمهارة يلغي إعادة التمرير، لكنه يحفظ حالات كل رمز في كل طبقة. ويزداد الحجم مع طول المهارة وعمق النموذج. • محوّل LoRA لكل مهارة هو مجموعة تعديلات على الأوزان. وهو أصغر من النموذج كاملًا، لكن مئة مهارة تكفي لتضخّمه بشكل ملحوظ.

كيف تتحول المهارة إلى مجموعة من بضعة متجهات

يخزّن SkillMem كل مهارة في صورة مجموعة صغيرة من المتجهات المدرَّبة خارج النموذج. ويبقى النموذج مجمَّدًا. وعند ورود طلب، يعثر النظام على المهارة المناسبة: يُشفَّر وصف المهارات بالنموذج نفسه، ويجري الاختيار بحسب التشابه الجيبي (cosine) مع الطلب. بعد ذلك تصبح ذاكرة المهارة متاحة لجميع الوكلاء في السلسلة.

لا يكفي أن تُعطى كل الأدوار المتجهات نفسها، فالمخطِّط والناقد يحتاجان المهارة لغرضين مختلفين. لذلك يوجد في عدة طبقات من النموذج «قارئ» يعمل بالانتباه المتقاطع (cross-attention). تشكّل الحالة المخفية للوكيل استعلامًا إلى الذاكرة، فتعيد الذاكرة الأجزاء المطلوبة. ويُستخرج متجه الدور من التعليمات النظامية للوكيل. ويقرر بوابة سيغمويدية مقدار ما يُمزج مما قُرئ. ومعاملات القارئ مشتركة بين جميع المهارات والأدوار، ولذلك لا يخص كل مهارة سوى ذاكرتها.

تُدرَّب الذاكرة بطريقة غير معتادة. فهي لا تُجبَر على استعادة نص المهارة. بدلًا من ذلك، يؤخذ ردّ النموذج المولَّد مع المهارة النصية، ويُقارَن احتمال كل رمز مع المهارة ودونها. وهذا هو أثر المهارة. ثم تُدرَّب الذاكرة مع القارئ على إعادة إنتاج الانزياح نفسه. وتحصل الرموز التي تفيد فيها المهارة فعلًا على وزن أكبر. أما حيث لا تضيف المهارة شيئًا، فيُبقى النموذج قريبًا من سلوكه الأصلي.

حصل المؤلفون على المهارات النصية بمقارنة الحلول الناجحة والفاشلة للمسألة نفسها من فريق الوكلاء. لكن يمكن أيضًا تقديم مهارة جاهزة مكتوبة يدويًا كمدخل.

ماذا أظهرت التجارب على Qwen3

جرى الاختبار على ستة اختبارات في الاستدلال والإجابة عن الأسئلة وتوليد الشيفرة، على نماذج Qwen3 بحجم من 4 إلى 14 مليار معامل. وإعدادات الذاكرة واحدة لجميع الأحجام. ويذكر المؤلفون أن النماذج الصغيرة هي الأكثر استفادة، وأن سرعة الاستدلال الكامن تبقى محفوظة مهما كان الحجم.

أرقام الكفاءة:

• 9,6 كيلوبايت للمهارة، بما في ذلك متجه البحث. • تسريع الاستدلال الشامل 4,23 مرة مقارنة بفريق وكلاء يتواصلون بالنص (TextMAS). • تسريع 1,63 مرة مقارنة بـ LatentMAS الذي تُقدَّم فيه المهارات كنص. • مع مكتبة من 100 مهارة، يكون الحجم الإجمالي، مع احتساب القارئ المشترك، أقل 38,3 مرة من KV-cache، وأقل 86,6 مرة من محوّلات LoRA.

قارن المؤلفون نهج LoRA بطريقة S2L التي تخزّن المهارات في معاملات النموذج.

ماذا يعني هذا للمهندسين

بالنسبة إلى من يبنون أنظمة وكلاء على نماذج مفتوحة صغيرة، الفكرة عملية. يمكن الاحتفاظ بالمهارات كمكتبة من ملفات صغيرة جدًا وتحميلها عند الطلب، دون تضخيم السياق ودون تكديس غيغابايتات من المحوّلات. وكلما كبرت المكتبة، زاد الوفر وضوحًا.

وهناك قيود أيضًا. فكل مهارة تحتاج إلى «تجميع» مرة واحدة: توليد إجابات نموذجية وتدريب الذاكرة. وتعتمد الطريقة على بنية وكلاء متعددين كامنة، وقد اختُبرت على عائلة Qwen3. والمكسب الكبير على نموذج 4B لا يعني أن الأثر سيكون بالحجم نفسه على النماذج الأكبر. لكن الاتجاه واضح: يمكن تخزين المعرفة الإجرائية للوكلاء كذاكرة مدمجة، لا كنص طويل في الموجّه.