AgentOrch يقارن بين نوعين من الوكلاء: الفجوة بين Global وStep-by-Step تقلّصت بنسبة 79%

يعمل وكلاء المؤسسات عادةً ضمن حلقة متكررة: إجراء، ثم مراقبة النتيجة، ثم استدعاء جديد لنموذج LLM، ثم الإجراء التالي. هذا الأسلوب موثوق لكنه مكلف، لأن النموذج يعمل عند كل خطوة. أما البديل فيُسمّى التنسيق الشامل (Global). فيه يبني النموذج مرة واحدة سير عمل كاملًا قابلًا للتنفيذ، ثم تنفّذه المنظومة دون العودة إلى LLM. أصدر باحثون بقيادة Zijie Liu (تسعة مؤلفين) اختبار AgentOrch، وقاسوا مقدار تأخر النهج الثاني عن الأول. التأخر قائم لدى جميع النماذج التي جرى تقييمها، لكنه تراجع بنحو 79% بين النماذج الأولى وأقوى نموذج حديث.

ما الذي جرت مقارنته تحديدًا

يقوم AgentOrch على 650 إجراءً تشغيليًا قياسيًا (SOP) مؤسسيًا و3220 متغيرًا تشغيليًا (runtime). ويعني المتغير أن الإجراء نفسه يواجه ظروفًا مختلفة أثناء التنفيذ. وثبّت المؤلفون للوضعين الأدوات والبيئات ومنهجية التقييم نفسها. لذلك لا يمكن إرجاع الفرق في الدقة إلى حصول أحد الوكيلين على مجموعة واجهات API أكثر ملاءمة.

النتيجة الرئيسية هي أن التفاعل التدريجي (Step-by-Step) يبقى أدق لدى كل نموذج جرى اختباره. والسبب مفهوم: الوكيل الذي يرى نتيجة كل إجراء يستطيع تصحيح مساره عندما تعيد المنظومة ردًا غير متوقع أو لا تتطابق البيانات مع المتوقع. أما سير العمل الشامل فلا يملك هذه الإمكانية، ولذلك لا يلاحظ الخطأ في الخطة إلا بعد التنفيذ.

ثلاث طرق لتقليص الفجوة

حدّد المؤلفون ثلاثة اتجاهات حسّنت كلٌّ منها أداء التنسيق الشامل:

• البناء التدريجي لسير العمل. بدل توليد الخطة كاملةً دفعة واحدة، يُبنى سير العمل على أجزاء. ومن دون تغذية راجعة من التنفيذ، يمنح هذا Global زيادة في الدقة قدرها +9,98 نقطة مئوية في المتوسط.
• مراجعة سير العمل الجاهز بتغذية راجعة من التنفيذ. تُشغَّل الخطة أولًا، ثم تُصحَّح وفق النتائج. حسّنت هذه الطريقة جميع النماذج التي جرى تقييمها، بما في ذلك +6,13 نقطة مئوية على متغيرات تشغيلية محجوبة لم يرها النموذج أثناء التحسين.
• التدريب الموجّه على سير عمل كامل. تُدرَّب النماذج تدريبًا إضافيًا على خطط كاملة قابلة للتنفيذ تحديدًا. والنتيجة: +12,18 نقطة مئوية في المتوسط لدى النماذج الخمسة المدرَّبة جميعها.

طبيعة هذه المسارات الثلاثة مختلفة. الأول يغيّر طريقة التوليد، والثاني يضيف حلقة تحقق، والثالث يغيّر أوزان النموذج نفسها. ويعرض المؤلفون الأرقام لكل مسار على حدة، لا كحصيلة لمزيجها. لذلك لا يمكن أن نستنتج من الورقة أن هذه الأساليب تتراكم فوائدها، فضلًا عن تحديد الكلفة التي يتطلبها ذلك.

لماذا تهمّ نسبة 79% أكثر من الفجوة المطلقة

تشير نسبة 79% في تقلّص التأخر إلى المسار العام. فكل جيل جديد من النماذج يخطّط لتسلسلات الإجراءات الطويلة بشكل أفضل، وهذا يحسّن Global بما يقارب المجان. أما الوضع التدريجي فيستفيد من تقدّم النماذج بدرجة أقل، لأنه كان يعوّض ضعف التخطيط أصلًا بفحوص مستمرة.

ومع ذلك لم تُغلق الفجوة. ويقول المؤلفون ذلك صراحةً: يقدّم Global «مسارًا واعدًا» نحو وكلاء أعلى دقة بعدد أقل من استدعاءات LLM، لكنه لا يساوي الوضع التدريجي بعد.

كيف يمكن الاستفادة من ذلك عمليًا

تشير النتائج إلى عدة قرارات أمام الفرق التي تبني وكلاء للعمليات الداخلية (الموافقات، ومعالجة الطلبات، والعمليات المنظَّمة بلوائح).

• إذا كانت العملية متكررة وموصوفة جيدًا في SOP، فمن المجدي تجربة سير العمل الشامل: فهو يخفض تكاليف الاستدلال (inference) ويقلّل عدد النقاط التي قد يخطئ عندها LLM أو يتأخر.
• إذا كانت البيئة غير مستقرة وتنحرف ردود الأنظمة كثيرًا عن المعتاد، يبقى الوضع التدريجي أكثر أمانًا.
• قبل اختيار البنية المعمارية، من المفيد تجربة مراجعة سير العمل بالتغذية الراجعة. فقد حسّنت جميع النماذج التي جرى تقييمها، وهي تعمل حتى على المتغيرات غير المتوقعة.
• إذا توفرت سجلات لتنفيذات ناجحة، يمكن تحويلها إلى بيانات تدريب من سير عمل كامل. وعلى خمسة نماذج، منح ذلك أكبر زيادة متوسطة، وهي +12,18 نقطة مئوية.

أما بالنسبة إلى سوق وكلاء المؤسسات، فالخلاصة بسيطة. المنافسة لا تدور حول جودة النموذج وحدها. فعدد المرات التي يجب فيها استدعاء النموذج في عملية أعمال واحدة صار يزداد أهمية. ويوفّر AgentOrch طريقة لقياس هذه المقارنة في ظروف متكافئة.