ProD يعلّم وكلاء الذكاء الاصطناعي الصغار تجنّب الدوران في حلقات مفرغة: اختبار على 8 نماذج من 0,6B إلى 8B

كانت ثمانية نماذج لغوية صغيرة، يتراوح حجمها بين 0,6 و8 مليارات معامل، ميدان الاختبار لطريقة جديدة في تقطير الوكلاء تُسمّى Progress-Aware Distillation، أو ProD. ويستهدف مؤلفو الورقة، المنشورة في Hugging Face Daily Papers، علّة محددة: الوكلاء «الطلاب» المُقطَّرون يعلقون في حلقات متكررة عند تنفيذ المهام الطويلة، ويعيدون استراتيجيات سبق أن فشلت.

لماذا تدور الوكلاء الصغار في حلقات مفرغة

تحلّ الأنظمة الوكيلة المبنية على نماذج LLM الكبيرة مهام معقدة، لكنها تدفع ثمن ذلك توكنات وزمن استجابة. فكل خطوة استدلال، وكل استدعاء لأداة، وكل ردّ من البيئة يطيل السياق ويرفع الكلفة. وهذا قيد جدي في بيئات الإنتاج، ولذلك تنقل الصناعة المهارات الوكيلة إلى نماذج صغيرة. والطريق المعتاد هو التقطير عبر supervised fine-tuning: يحلّ المعلّم المهام، ويتدرّب الطالب على مساراته.

المشكلة أنه كلما طال المسار ضعفت قدرة الطالب على الحفاظ على اتجاهه. تمتدّ سلاسل «الاستدلال ثم الفعل»، وتتراكم الملاحظات الراجعة من البيئة، فيبدأ النموذج بالدوران في المكان نفسه. يسمّي المؤلفون ذلك ركود التقدّم: يطبّق الوكيل المرة تلو الأخرى أساليب لا تنجح، ولا يقترب من الهدف. ووفق تحليلهم المنهجي، يتكرر هذا الأثر عبر نماذج صغيرة مختلفة وأنواع مختلفة من المهام. أي أن المشكلة لا تعود إلى بنية واحدة غير موفقة.

كيف تعمل ProD

تقوم فكرة الطريقة على جعل الركود قابلاً للقياس والمعاقبة داخل التدريب نفسه. تكتشف ProD الركود صراحةً في المسارات التي يولّدها النموذج الطالب بنفسه، وتعاقبه عليه. وتُرمَّز الفجوة بين الطالب والمعلّم في هذا المؤشر على شكل هامش (margin) تكيّفي. وكلما تأخر الطالب عن المعلّم في التقدّم، اشتدّت العقوبة. وحين تضيق الفجوة، يخفّ الضغط.

تُطبَّق الإجراءات بصورة تكرارية، فيقترب الطالب خطوة بعد خطوة من سلوك المعلّم. لا يتضمن الوصف تفاصيل التنفيذ، لكن البنية القائمة على margin ومسارات الطالب نفسه تشبه طرق التدريب على التفضيلات. وهذا افتراضي أنا استناداً إلى الملخص، وليس ادعاءً من المؤلفين. والأهم أمر آخر: التدريب لا يقتصر على العروض «المثالية» من المعلّم. فالطالب يرى مساراته الفاشلة أيضاً، وتوضح له الطريقة ما الخطأ تحديداً فيها.

ماذا أظهرت التجارب

وفق ما جاء في الملخص، كان نطاق الاختبار واسعاً:

• 8 نماذج لغوية صغيرة؛
• أحجام تتراوح من 0,6B إلى 8B معامل؛
• اختبارات معيارية داخل نطاق التدريب (in-domain) وخارجه (out-of-domain)؛
• المقاييس: نسبة المهام الناجحة وكفاءة تنفيذها.

يذكر المؤلفون أن ProD تقلّل الركود بدرجة كبيرة، وترفع في الوقت نفسه success rate وكفاءة تنفيذ المهام. لكن الملخص لا يتضمن نسباً مئوية محددة، لذا من المبكر تقدير حجم المكسب. ينبغي الاطلاع على النص الكامل: أسماء الاختبارات المعيارية، والطرق الأساسية المستخدمة للمقارنة، وتباين النتائج بين النماذج. وثمة سؤال منفصل: كم تكلّف الحلقة التكرارية التي يولّد فيها الطالب المسارات ويجري وسم الركود؟

ماذا ينبغي أن تفعل الفرق التي تبني الوكلاء

على المهندسين الذين يبنون وكلاء منخفضي الكلفة على نماذج من فئة 1–8B أن يتحققوا من موضع تراجع الجودة تحديداً. فإذا انخفض النجاح مع طول الحلقة (episode)، وظهرت في السجلات أفعال متكررة، فهذا هو الركود نفسه. وثمة خطوة تشخيصية بسيطة: احتساب نسبة المسارات التي تتكرر فيها الحركة نفسها، أو التي لا يحدث فيها أي تقدّم خلال N خطوة. ويفيد هذا المؤشر سواء كانت ProD مناسبة لكم أم لا.

وإذا كنتم تقطّرون الوكلاء بأنفسكم، فمن المنطقي إدخال مسارات الطالب في حلقة التدريب، لا مسارات المعلّم وحدها. وسيتطلب ذلك دفع كلفة تشغيلات إضافية ووسم التقدّم. وفي المقابل، تحصلون على فرصة لخفض عدد التوكنات لكل مهمة دون خسارة في الموثوقية. حتى الآن، هذه نتيجة ورقة واحدة دون تحقق مستقل. لكنها تشير إلى عنق زجاجة حقيقي: الوكيل الرخيص لا ينهار عند الخطوة الأولى، بل عند الخطوة العشرين.