CLEAT يعلّم وكلاء Qwen3-4B طرح الأسئلة التوضيحية في وقتها: حتى +13,2 نقطة مئوية

نشر باحثون على arXiv ورقة CLEAT، وهي إطار يعلّم وكيل LLM متى ينبغي أن يعيد سؤال المستخدم ومتى يكون من الأفضل أن يتصرف بنفسه. على نموذج Qwen3-4B حقق الأسلوب أعلى متوسط درجات في جميع التكوينات الاختبارية العشرة على أربعة معايير قياس. وبلغ التحسن قياسًا بأقوى نموذج مرجعي (baseline) 13,2 نقطة مئوية على UserGym Travel، و6,5 نقطة مئوية في دقة تحديد نقص التحديد في الطلب على IN3.

المشكلة: السؤال ليس مفيدًا دائمًا

يتولى الوكلاء مهام أكثر تعقيدًا باطراد، لكن المستخدمين كثيرًا ما لا يصرّحون بأهدافهم وقيودهم. يطلب شخص ما تخطيط رحلة دون أن يذكر الميزانية أو الترانزيت غير المرغوب فيه. قد يخمّن الوكيل فيخطئ. وقد يغرق المستخدم بالأسئلة فيفسد تجربته. ويصوغ المؤلفون المهمة بوصفها مواءمة تفاعلية للنوايا عبر الاستيضاح.

وهنا دقيقة مهمة: لا معنى للاستيضاح إلا إذا كان الوكيل قادرًا على تحويل الإجابة إلى قرار أفضل. ومع تقدم التدريب يتغير أسلوب النموذج في التعامل مع المعلومات الناقصة وفي استخدام الإجابات الجديدة، فيكون السؤال نفسه مفيدًا في لحظة وغير مفيد في أخرى. أما القواعد الثابتة من قبيل «اسأل إذا نقصت المعاملات» فلا تتتبع هذه الديناميكية.

كيف يعمل CLEAT

يُفكّ الاسم هكذا: CLarification through valuE-guided Agent co-Training. يدرّب الإطار جزأين معًا: متحكّم في قيمة الاستيضاحات، وسياسة تحل المهمة. ويتعلم الاثنان من النتائج المشتركة للتفاعل.

المفهوم المحوري في الورقة هو القيمة المتبقية للاستعلام (residual query value). وهي تقيس مقدار الفائدة التي يضيفها السؤال للمهمة مقارنةً بمواصلة العمل وفق السياسة الحالية. وتُقدَّر عبر تشغيلات مزدوجة تنطلق من تاريخ الحوار نفسه: في أحدها فرع يتضمن سؤالًا، وفي الآخر يتصرف الوكيل فورًا. والفرق بين العوائد هو تسمية القيمة.

تُستخدم هذه العوائد المزدوجة بطريقتين. يتعلم المتحكّم التنبؤ بقيمة الاستيضاح. وتتعلم السياسة اختيار الأسئلة المفيدة والاعتماد على الإجابات. بعد ذلك تُغلق الحلقة: يوجّه المتحكّم جمع التشغيلات التالية، وتولّد نتائج الوكيل المحدَّث تسميات جديدة. وهكذا تتكيف إشارات الاستيضاح مع القدرات المتنامية للنموذج.

ماذا أظهرت التجارب

النتائج الرئيسية في النسخة v1 من النسخة الأولية للبحث:

• النموذج الأساسي: Qwen3-4B؛
• أعلى متوسط درجات في جميع تكوينات التقييم العشرة على 4 معايير قياس؛
• حتى +13,2 نقطة مئوية فوق أقوى نموذج مرجعي على UserGym Travel؛
• +6,5 نقطة مئوية في دقة الحكم على نقص التحديد على IN3؛
• تجارب الاستئصال (ablation): التدريب المشترك يحسّن السياسة حتى لو أُوقف المتحكّم أثناء الاستدلال؛
• تكييف الإشارات مع تطور السياسة يمنح مكسبًا إضافيًا.

النقطة الأخيرة أهم من غيرها من الناحية العملية. فهي تعني أن المتحكّم لا يعمل مجرد مرشِّح في مرحلة الاستدلال، بل معلّمًا أيضًا: إذ يغيّر الطريقة التي يتعامل بها الوكيل نفسه مع البيانات الناقصة.

أين يفيد هذا

تحصل الفرق التي تبني وكلاء للحجز أو الدعم أو البرمجة على مبدأ واضح: قياس الفائدة الحدّية للسؤال بدلًا من فرض عتبة ثابتة. فإذا سأل المساعد كثيرًا جدًا، ينصرف المستخدمون. وإذا سأل نادرًا جدًا، يخطئ بصمت. وتتيح التشغيلات المزدوجة معايرة هذا التوازن اعتمادًا على نتائج المهام الفعلية.

والقيود واضحة كذلك. فقد جاءت النتائج على نموذج صغير بحجم 4 مليارات معامل، ولم تخضع بعد لمراجعة الأقران. كما أن التشغيلات المزدوجة من التاريخ نفسه تعني حسابات إضافية أثناء التدريب. أما كيف سيتصرف الأسلوب على النماذج الكبيرة وفي منتجات حقيقية مع مستخدمين فعليين، فلا يذكر الملخص (abstract) شيئًا عنه. لكن الفكرة نفسها، أي إعادة تقدير قيمة السؤال مع نمو الوكيل، تبدو قابلة للتطبيق خارج هذا التنفيذ المحدد.