MultiAgent-OPD يدرّب فريق الوكلاء بأكمله ويحقق 38,68% في سبعة اختبارات QA

نشر باحثون من TaoLive AIGC (المؤلف الأول Yuhan Sun) طريقة MultiAgent-OPD للتدريب الشامل (end-to-end) للأنظمة الهرمية متعددة الوكلاء. تجمع الطريقة بين التقطير on-policy والتعلم المعزز. ويعمل الفريق المكوَّن من Leader وSearcher وAnswerer على نموذج لغوي واحد مشترك. وعلى سبعة مجموعات بيانات QA، يحقق الفريق 38,68% macro avg@4. وهذا أفضل بـ 4,06 نقطة مئوية من طريقة Prompted Critic التي تعتمد على LLM كحكَم، وأفضل بـ 2,61 نقطة مئوية من النظام المتسلسل المدرَّب C-MAS + RL.

لماذا تعلّم الإجابة النهائية وكلاء البحث بشكل سيئ

في النظام الهرمي، يقسّم Leader المهمة إلى مهام فرعية، وتنفذها الوكلاء الفرعية. يبحث Searcher عن المعلومات على عدة موجات ويختصر ما وجده في تقارير موجزة، ثم يبني Answerer الإجابة منها. ويصعب تدريب كل ذلك معًا بسبب مشكلة توزيع الفضل (credit assignment): فالإجابة النهائية إما صحيحة أو خاطئة، لكن هذه الإشارة لا تبيّن أي استعلام من Searcher كان مفيدًا وأيها حرف المسار.

والالتفاف المعتاد على المشكلة هو استخدام LLM كحكَم يقيّم عمل الوكلاء الفرعية. غير أن تقييماته تعتمد على تصورات الحكَم نفسه عن جودة الإجابة. وإذا أخطأ الحكَم أو كان متحيزًا، فإن النظام يحسّن هذا الخطأ بطاعة. وهذا هو النهج الذي يمثله Prompted Critic، وهو أسلوب MAS-RL شبيه بـ M-GRPO.

معلّم لا يتغير

يبني المؤلفون التدريب على مرحلتين. أولًا يدرّبون Teacher ضمن عملية متسلسلة Searcher–Answerer تكون فيها الإشارة هي صحة الإجابة. ثم يُجمَّد المعلّم ويُربَط بالتدريب المشترك للفريق.

أثناء تدريب الفريق، يولّد الطالب بنفسه استعلامات البحث والملخصات على مسارات المهام الفرعية المتطورة. ويقيّم المعلّم المجمَّد هذه الرموز، أي إنه يجري تقطيرًا على مستوى الرموز لأفعال الطالب نفسه (on-policy). وبذلك يحصل Searcher على إشارة إجرائية محلية كثيفة تخص كيفية البحث وكيفية رفع تقرير بما وُجد. ولا يعتمد المعلّم هنا على رأي ذاتي لحكَم خارجي، لأنه مدرَّب أصلًا على صحة الإجابات.

أما الأدوار الأخرى فتتلقى إشارات مختلفة:

• Leader يتعلم من نجاح الفريق ككل (outcome-based RL)؛
• Answerer يتعلم من صحة الإجابات المرشحة؛
• Searcher يتلقى تقييمًا على مستوى الرموز من المعلّم المجمَّد.

تحسّن الأدوار الثلاثة نموذجًا واحدًا مشتركًا، فيتعلم تنسيق تقسيم المهمة والبحث متعدد الموجات وتوليد الإجابة. ولا حاجة إلى المعلّم عند الاستدلال، إذ يكفي الطالب المدرَّب.

الأرقام والمقارنة

• MultiAgent-OPD: 38,68% macro avg@4 على سبعة مجموعات بيانات؛
• Prompted Critic (LLM كحكَم، وMAS-RL على نهج M-GRPO): أدنى بـ 4,06 نقطة مئوية، أي نحو 34,6%؛
• C-MAS + RL (نظام متسلسل متعدد الوكلاء مدرَّب): أدنى بـ 2,61 نقطة مئوية، أي نحو 36,1%؛
• أُجريت المقارنة على نقاط حفظ (checkpoints) جرى تقييمها؛
• يحل الفريق عددًا أكبر من الأسئلة ضمن أربع محاولات.

التحسن بمقدار 2–4 نقاط مئوية في المتوسط على سبعة اختبارات ملحوظ، لكنه ليس كبيرًا. والأدلّ منه أن التفوق على النظام المتسلسل تحقق دون تعقيد الاستدلال: فالأدوار تتشارك الأوزان نفسها، وتقع التكلفة الإضافية على التدريب.

لمن تفيد هذه الوصفة

بالنسبة إلى الفرق التي تبني وكلاء بحث واستقصاء، الخلاصة الرئيسية عملية. إذا كان لديكم Leader يوزّع المهام ومنفذون لا يظهر عملهم إلا عبر النتيجة النهائية، فيمكن أولًا تدريب معلّم على مخطط متسلسل بسيط بإجابة يمكن التحقق منها. ثم تُستخدم تقييماته المجمَّدة إشارةً كثيفة للمنفذين بدل LLM كحكَم مكلف وكثير الضوضاء.

يقلل هذا الاعتماد على مقيّم خارجي ويبسّط النشر: ففي بيئة الإنتاج يعمل نموذج واحد لا مجموعة من عدة نماذج. والقيود واضحة أيضًا. فقد اختُبرت الطريقة على مهام QA مع البحث، وأما أنواع الوكلاء الفرعية الأخرى، مثل وكلاء الأكواد أو الأدوات، فيتطلب المخطط فيها تحققًا مستقلًا. وصفحة المشروع متاحة لدى المؤلفين، والبحث منشور على arXiv تحت الرقم 2610.23234.