وكلاء Qwen3.6-27B وQwen3-4B لا يلتزمون بميزانية الوقت دون تلميحات من harness

إذا قلت لوكيل «أمامك 30 دقيقة»، فلن يعمل 30 دقيقة بالضبط. اختبر مؤلفو ورقة بحثية حديثة على arXiv ذلك على نموذجين صغيرين: Qwen3.6-27B على خمس مسابقات من MLE-Bench Lite، وQwen3-4B على لعبة Zork I النصية من مجموعة Jericho. لم يكن اختيار المهمتين عشوائيًا، ففيهما يمكن للوقت الإضافي أن يحسّن النتيجة فعلًا. والخلاصة غير مريحة: الوكلاء لا يعرفون كيف يلتزمون بالموعد النهائي، ولا كيف يستخدمون الوقت الاحتياطي بشكل مجدٍ.

لماذا لا يكفي الموجّه وحده

في الإعداد الأساسي، تُذكر الميزانية في نص المهمة فقط. أما harness، أي الإطار الذي يشغّل الوكيل وينفّذ أوامره، فلا يُبلغه بالوقت المنقضي بأي شكل. يبقى الوكيل بلا ساعة. ويحدد المؤلفون ثلاثة أسباب للفشل:

• لا توجد تغذية راجعة عن الوقت: النموذج لا يرى كم ثانية أُنفقت بالفعل؛
• لا يوجد تقدير لمدة الإجراءات: لا يستطيع الوكيل أن يدرك مسبقًا أن تدريب نموذج أو تشغيلًا طويلًا لن يتسع له الوقت المتبقي؛
• لا توجد علاقة متعلَّمة بين الميزانية والاستراتيجية: الحد القصير لا يدفعه إلى اختيار خطة أبسط، والحد الطويل لا يحفّزه على التعمق أكثر.

السبب الثاني مهم بشكل خاص في MLE-Bench. فهناك تكفي خطوة واحدة خاطئة، مثل بدء تدريب ثقيل، لتلتهم ما تبقى من الحد الزمني بالكامل. وهكذا يتحول الخطأ في التخطيط إلى خطأ في تقدير الوقت.

ما الذي نجح وما الذي لم ينجح

اختبر الباحثون فئتين من التدخلات. الأولى تعمل على مستوى harness: عرض معلومات التوقيت للوكيل وقطع العمل قسرًا عند الموعد النهائي. أما الثانية فتدرّب النموذج نفسه بالتعلم المعزز (reinforcement learning)، وتحديدًا GRPO بمكافأة تأخذ الميزانية في الاعتبار.

الأمر مع harness مباشر إلى حد كبير. فبالنسبة إلى Qwen3.6-27B، حسّن مجرد تمرير معلومات الوقت الالتزام بالميزانية بوضوح، دون انخفاض ملموس قابل للقياس في الجودة. وزادت خطافات الإنهاء القسري الانضباط أكثر. وهذا حل منخفض التكلفة: لا حاجة إلى المساس بالنموذج، ويكفي تعديل harness.

أما RL فقدّم صورة أقل حسمًا. على Zork I، رفع GRPO الالتزام بالميزانية إلى ما يقارب المثالي، وانسحب أداؤه على ميزانيات لم تكن في التدريب. ويبدو أن النموذج تعلّم فعلًا متى يحين وقت التوقف. لكن في MLE-Bench لم يحسّن التدريب المقاييس النهائية مقارنةً بوكيل غير مدرَّب في harness نفسه.

لكن النتيجة الرئيسية في مكان آخر. فحتى عندما أُجبر الوكيل على الالتزام بالحد، لم يبدأ باستخدام الوقت الزائد بشكل منتج. فالسياسات المدرَّبة كثيرًا ما تملأ الدقائق المتبقية بإجراءات متكررة. وعند التدريب على عدة ميزانيات في آن واحد، يميل GRPO إلى الانهيار نحو الاستراتيجية التي تعلّمها للحد الأقصر. أي أن النموذج يحترم الموعد النهائي، لكنه لا يحوّل الميزانية الأطول إلى حل أقوى.

ما يعنيه ذلك عمليًا لمطوري الوكلاء

أكثر الاستنتاجات موثوقية في هذا العمل: لا تعتمدوا على الموجّه. إذا كان للوكيل ميزانية، فزوّدوه بمؤقّت داخل السياق وبقطع قسري صارم على مستوى البنية التحتية. هذا لا يتطلب تدريبًا إضافيًا، ولا يُفسد الجودة، بحسب النتائج على النموذج 27B.

ثانيًا: لا تعتبروا الالتزام بالحد دليلًا على الكفاءة. يجب أن يُقاس معيار «أنجز في الموعد» إلى جانب معيار النتيجة عند عدة ميزانيات. وإذا لم تتحسن الجودة مع زيادة الحد، فالوكيل يحرق الوقت فحسب.

ثالثًا: عند التدريب بـ RL على حدود مختلفة، ينبغي مراقبة الانهيار نحو النمط القصير. فلا بد من فحوص منفصلة على الميزانيات الطويلة، وربما من مكافآت تشجّع الاستخدام المفيد للوقت الاحتياطي، لا مجرد الالتزام به. ويصف المؤلفون صراحةً هذه الفجوة بين الانضباط والإنتاجية بأنها المشكلة المركزية التي لم تُحل بعد للوكلاء الخاضعين لشرط الميزانية.

وحدود العمل واضحة أيضًا: نموذجان صغيران ومعياران اختباريان فقط. ولا ينبغي نقل الاستنتاجات إلى الأنظمة المغلقة الكبيرة دون التحقق. لكن الورقة البحثية مفيدة كتشخيص للأخطاء الشائعة في إدارة الوقت لدى الوكلاء.