SynAct يعلّم وكلاء LLM طلب التلميحات حيث تغيّر النتيجة: +11,7 نقطة مئوية

يقترح فريق SynAct طريقة جديدة لتوزيع ملاحظات الخبراء على وكلاء LLM: لا على مستوى المهام، بل على مستوى القرارات المنفردة داخل المسار التنفيذي (trajectory). وعلى أربعة اختبارات معيارية للوكلاء وأربعة نماذج من ثلاث عائلات، حسّن الأسلوب الدقة على العيّنة المؤجَّلة في جميع التهيئات الـ16 التي خضعت للفحص، بمتوسط 11,7 نقطة مئوية. وأفادت الإشارة نفسها في التوجيه (routing) أثناء الاستدلال (inference): فقد تفوّق SynAct من حيث النتيجة على موجّهات مماثلة له في الميزانية، وهي الموجّهات المتتالية والقائمة على عدم اليقين و«الخبير-الحكم»، في 15 من 16 حالة.

سببان لخطأ الوكيل

فكرة العمل الأساسية بسيطة. فالوكيل الذي ينفّذ سير عمل متعدد الخطوات يتعثّر لسببين مختلفين. الأول أخطاء عرضية، تكفي محاولة أخرى لتصحيحها. والثاني فجوات معرفية، وفيها يكرّر الوكيل الإجراء الخاطئ نفسه مهما أعدنا المحاولة. يحتاج النوع الثاني إلى خبير، لكن وقت الخبير محدود. لذلك، كما يصوغ المؤلفون، ليس السؤال هل نطلب الملاحظات، بل أين يمكن أن تغيّر النتيجة.

وبحسب وصف المؤلفين، تصطدم الأساليب الحالية بإحدى مشكلتين. بعضها يستغني عن الخبراء، فيرسّخ الوكيل أخطاءه بنفسه. وبعضها الآخر يوزّع الملاحظات على مستوى المهمة كاملة، ولا يحدّد أي القرارات هي التي حسمت النتيجة فعلًا.

كيف يختار SynAct أين يسأل

يعدّ الإطار انتباه الخبير القيد الرئيسي، ويعمل على مستوى القرارات المنفردة. يشغّل المهمة عدة مرات، ويقدّر لكل قرار المعلومات المتبادلة بين الإجراء المختار والنتيجة النهائية. إذا كانت النتيجة لا تعتمد على اختيار الإجراء، تكون المعلومات صفرًا، وليس هناك ما يستدعي السؤال. وتُرسل القرارات الأعلى تقديرًا إلى الخبير. ثم تتحول تصحيحاته إلى قواعد قابلة للنقل، يطبّقها الوكيل أثناء العمل دون أي وصول إلى الخبير.

وللعمل جانب نظري أيضًا. عند k تشغيلات وما لا يقل عن m ملاحظات لكل إجراء، تعطي القرارات ذات النتيجة الثابتة معلومات متبادلة صفرية، أما القرارات التي تفصل بين النتائج فتعطي ما لا يقل عن H2(m/k) بت، حيث H2 هي الإنتروبيا الثنائية. لذلك فإن أي عتبة t في المجال (0, H2(m/k)) تفصل بين الصنفين بدقة. وللتوضيح: عند k = 8 وm = 2 يبلغ الحد الأدنى نحو 0,81 بت (الحساب من إعدادنا، ولا يوجد مثل هذا المثال في الملخص).

ومن هنا أيضًا يتّضح لماذا يكون الانتقاء بحسب النجاح أعمى عندما تفشل جميع التشغيلات. فالنجاح حينها ثابت، مع أن التشغيلات الفاشلة تنتهي إلى نتائج مختلفة. أما المعلومات المتبادلة فترى هذه الفروق.

أبرز الأرقام من العمل:

• 4 اختبارات معيارية للوكلاء، و4 نماذج من 3 عائلات، و16 تهيئة خضعت للتقييم؛
• ارتفاع الدقة على العيّنة المؤجَّلة في جميع الـ16، بمتوسط +11,7 نقطة مئوية؛
• التوجيه أثناء الاستدلال: التفوّق على موجّهات مماثلة في الميزانية في 15 من 16 حالة؛
• تصحيح واحد موجَّه يعطي أكثر مما تعطيه سبع إعادات إضافية غير موجَّهة.

أين يفيد ذلك

النقطة الأخيرة مهمة عمليًا. فمعظم الفرق التي تنشر وكلاء تعالج الأخطاء بالمحاولات المتكررة: مزيد من المحاولات، ومزيد من العينات، والتصويت. وتشير نتائج SynAct إلى أن هذا، عند وجود فجوات معرفية، هدر للحسابات، وأن تصحيحًا واحدًا دقيقًا يعطي مردودًا أفضل.

ويبدو السيناريو العملي هكذا: تُشغَّل المهام عدة مرات، ويُحسب لكل خطوة ارتباط الإجراء بالنتيجة، ثم لا يُعطى للمُوسِّم (annotator) أو خبير المجال إلا رأس القائمة. بعد ذلك تُجمع التصحيحات في مجموعة قواعد للوكيل. وهكذا تُصرف ساعات الخبراء على عدد محدود من القرارات، ويبقى المكسب قائمًا حتى بعد أن يغادر الخبير.

وهناك قيود أيضًا. فهذه نسخة أولية (preprint) على arXiv، ولم تخضع نتائجها للمراجعة بعد، ولا يتضمن الملخص بيانات عن تكلفة التوسيم الخبير ولا عن مدى انتقال القواعد خارج الاختبارات المعيارية الأربعة. لكن الطرح نفسه، الذي يعدّ انتباه الخبير موردًا شحيحًا، يبدو أساسًا معقولًا لأنظمة الوكلاء في بيئة الإنتاج.