IF-MAP يحدد الوكلاء الذين ينبغي تحسينهم: مكسب في الدقة يبلغ ضعف المعتاد

اقترح باحثون IF-MAP، وهي طريقة تجيب عن سؤال عملي: أي وكيل في نظام LLM متعدد الوكلاء ينبغي تحسينه أولًا إذا كانت الميزانية لا تكفي للجميع. في ستة مسارات عمل (workflows) تشمل توليد الشيفرة البرمجية والإجابة عن الأسئلة والاستدلال الرياضي، حقق تحسين المُوجِّهات (prompts) لدى الوكلاء المختارين مكسبًا متوسطًا بلغ 3,81 نقطة مئوية مقابل 1,85 عند الاختيار المتساوي. وأتاح استبدال النموذج بآخر أقوى في العُقد نفسها مكسبًا بلغ 7,62–16,42 نقطة مئوية مقابل 3,81–8,62.

من المخطئ ومن يجب إصلاحه — سؤالان مختلفان

تُبنى الأنظمة الوكيلية الحديثة من سلسلة أدوار: مخطِّط ومنفِّذ ومدقِّق وغيرها. وتحسين كل دور مكلف. فهو يتطلب تشغيل عمليات تحسين المُوجِّهات، وعند ترقية النموذج يجب دفع تكلفة نموذج أقوى في كل خطوة. لذلك تبحث الفرق عن عنق الزجاجة.

الأداة المعتادة هنا هي إسناد الإخفاقات: تحليل التشغيلات الفاشلة لمعرفة أي وكيل أخطأ. ويشير مؤلفو IF-MAP إلى نقطة ضعف في هذا النهج. فتحديد المسؤول عن الإخفاقات لا يكشف مقدار ما سيكسبه النظام إذا جرى تحسين الوكيل. وقد يكون الوكيل الذي يُرصد غالبًا عند نقطة الفشل عالقًا أمام صعوبة المهمة نفسها. في المقابل، قد تكون عقدة قليلة الظهور في منتصف السلسلة هي الرافعة الرئيسية.

كيف تقيس IF-MAP الحساسية دون الوصول إلى الأوزان

يشير الاسم إلى influence functions، وهي طريقة كلاسيكية لتقدير تأثير عنصر ما في نتيجة التدريب. وهنا طُبقت الفكرة على الوكلاء. تُدخل الطريقة لكل وكيل اضطرابات دلالية مضبوطة في المُوجِّه، ثم ترصد كيف يتغير loss الشامل للنظام كله من البداية إلى النهاية. بعد ذلك يُبنى نموذج استجابة محلي منتظَم (regularized) في فضاء جزئي منخفض الأبعاد من تضمينات (embeddings) المُوجِّه. وتصبح norm تقديره أولوية الوكيل: كلما كانت استجابة النظام أقوى للتغيير في هذه العقدة، زادت إمكانات التحسين فيها.

الإجراء بالكامل من نوع الصندوق الأسود. فلا حاجة إلى المعاملات ولا إلى التدرجات، ولذلك تنطبق الطريقة أيضًا على النماذج المتاحة عبر API فقط. والنتيجة ترتيب واحد يُستخدم لأساليب تحسين مختلفة.

أبرز الأرقام من التجارب:

• ستة مسارات عمل متعددة الوكلاء: توليد الشيفرة، والأسئلة والأجوبة (QA)، والرياضيات.
• تحسين المُوجِّهات لدى الوكلاء المختارين: +3,81 نقطة مئوية (macro-average) مقابل +1,85 عند الاختيار المتساوي.
• ترقية الوكلاء المختارين على خمسة نماذج مستهدفة: +7,62–16,42 نقطة مئوية مقابل +3,81–8,62.
• Qwen3-8B: رموز (tokens) أقل بنسبة 74,2% مما يتطلبه تحسين جميع الوكلاء.
• DeepSeek-V3.2: رموز أقل بنسبة 35,2% قياسًا إلى خط الأساس نفسه.
• ترقية النماذج: رموز أقل من النموذج المستهدف بنسبة 63,6–64,9% مقارنة باستبدال جميع الوكلاء.

الاستقصاء (probing) يكلّف رموزًا، لكنه يؤتي ثماره

للطريقة كلفتها الخاصة: يجب تشغيل النظام بمُوجِّهات مضطربة. ويقرّ المؤلفون بذلك، ومع هذا يحتسبون الحصيلة النهائية بالرموز. وحتى مع احتساب الاستقصاء، يبقى خفض النفقات ملحوظًا، من 35,2% إلى 74,2% في تحسين المُوجِّهات. أما في الترقية فالتوفير أكثر ثباتًا: يُوضع النموذج الغالي في العُقد ذات الأولوية العالية فقط، فينخفض استهلاك رموزه بنحو الثلثين.

ويزيد مكسب الجودة في الوقت نفسه بنحو الضعف مقارنة بتوزيع الجهد بالتساوي. وفي الحد الأدنى من نطاق الترقية، يبلغ الفارق الضعف تمامًا: 7,62 مقابل 3,81.

كيف تُطبَّق الطريقة في بيئة الإنتاج

بالنسبة إلى الفرق التي تبني خطوط معالجة وكيلية (agentic pipelines)، الخلاصة عملية. فقبل نقل السلسلة كلها إلى نموذج غالٍ أو تشغيل تحسين المُوجِّهات في كل مكان، من المنطقي قياس حساسية كل عقدة والاستثمار في أعلى الترتيب. ويزداد هذا أهمية في الأنظمة القائمة على نماذج مفتوحة مثل Qwen3-8B وDeepSeek-V3.2، حيث يتحول الفرق في الرموز سريعًا إلى فرق في فاتورة الاستدلال (inference).

كما ينبغي أخذ القيود في الحسبان. فالاستجابة تُقدَّر محليًا، أي بالقرب من المُوجِّهات الحالية، والنتائج معروضة بوصفها macro-average على ستة مسارات عمل. ويجب إعادة حساب الأولويات بعد أي تغييرات جوهرية في بنية النظام أو مجموعة الأدوار أو النموذج الأساسي. لكن بوصفه بديلًا رخيصًا عن الحدس من نوع «لنقوِّ المخطِّط»، يبدو النهج مقنعًا: فهو يوفر مؤشرًا قابلًا للقياس حيث كان الاختيار سابقًا عشوائيًا.