مزيج الوكلاء

مزيج الوكلاء هو معمارية تعاون متعدد النماذج اقترحها وانج وآخرون في Together AI في 2024. وهو يختلف عن مزيج الخبراء (MoE)، الذي يوجه الرموز عبر شبكات فرعية متخصصة داخل نموذج واحد على مستوى الأوزان. في MoA، تقوم عدة نسخ مستقلة وكاملة من LLM - تسمى المقترحات - بالإجابة على الاستعلام المدخل بالتوازي، ثم يتم تمرير مخرجاتها إلى نموذج تجميع يوليف الإجابة النهائية. الملاحظة التجريبية الأساسية التي تحفز التصميم هي أن نماذج اللغة تحسن جودة مخرجاتها بشكل موثوق عند عرضها على إجابات مرجعية متنوعة، حتى عندما تأتي تلك المراجع من نماذج أضعف أو من نفس المستوى.

في خط أنابيب MoA القياسي، تتلقى نماذج المقترحات الاستعلام الأصلي فقط وتستجيب بشكل مستقل. يتلقى النموذج المجمع الاستعلام الأصلي بالإضافة إلى جميع مخرجات المقترحات، ويتم توجيهه لتوليف وتصحيح وتوسيع هذه المخرجات إلى إجابة واحدة متماسكة. يمكن تطبيق جولات تجميع متعددة بتسلسل، مما يحسن الجودة تدريجياً. يمكن أخذ المقترحات والنموذج المجمع من موفرين مختلفين أو عائلات نماذج مختلفة، مما يسمح بنقاط قوة متكاملة - مثل دمج نموذج بقدرة قوية على استدعاء الحقائق مع نموذج آخر بقدرة أقوى على التفكير المنظم.

يسمح MoA للممارسين بتحسين جودة الإجابة دون الوصول إلى أوزان النموذج أو القدرة على تشغيل الضبط الدقيق، من خلال دمج APIs المتاحة للجمهور. في المعايير المنشورة مع ورقة 2024، فاقت تكوينة MoA باستخدام نماذج مفتوحة الأوزان GPT-4o على AlpacaEval 2.0 وقت الإصدار. كما أنه يوفر طريقة طبيعية لدمج النماذج المتخصصة للمهام الخاصة بالمجال.

اعتباراً من 2026، أثر MoA على أنماط التجميع في أنظمة الوكلاء الإنتاجية وساهم في البحث حول الاستدلال التعاوني وجدل LLM. القيد العملي الأساسي هو التكلفة والكمون: تشغيل عدة نماذج كاملة لكل استعلام يضاعف نفقات الاستدلال ووقت الاستجابة. تم استكشاف تحسينات تشمل التجميع المضاربي، والتخزين المؤقت للنموذج، وتوجيه الاستعلامات إلى مقترحات أصغر للمهام منخفضة التعقيد لتقليل النفقات العامة في النشر التجاري.

مثال

“منصة خدمة العملاء تستعلم ثلاث نماذج لغة مختلفة بسؤال معقد حول سياسة الاسترجاع، ثم تمرر جميع الإجابات الثلاث إلى نموذج تجميع رابع الذي يوليف إجابة واحدة متسقة داخلياً بدقة واقعية أعلى مما حققه أي نموذج فردي وحده.