AgentOrch: الخطة المُعدَّة مسبقاً لوكيل الذكاء الاصطناعي تتراجع بمقدار 8.5 نقطة فقط أمام النهج التدريجي

AgentOrch: الخطة المُعدَّة مسبقاً لوكيل الذكاء الاصطناعي تتراجع بمقدار

8.5 نقطة فقط أمام النهج التدريجي

عند تكليف وكيل ذكاء اصطناعي بمهمة عمل حقيقية — مثل جلب تذكرة من Jira، وإغنائها ببيانات من Salesforce وGoogle Sheets، وإرسال ملخص عبر Slack — تتوفر أمامه طريقتان مختلفتان جوهرياً للتصرف. الأولى: التقدم خطوة بخطوة، ومراقبة النتيجة بعد كل إجراء، واتخاذ القرار بشأن الخطوة التالية. الثانية: وضع خطة كاملة لجميع الإجراءات مرة واحدة ومسبقاً، قبل رؤية بيانات الإدخال الفعلية، ثم تنفيذها من البداية إلى النهاية دون تدخّل من النموذج. قرر القائمون على مشروع AgentOrch (المستودع متاح على GitHub تحت منظمة workato-devs) إجراء مقارنة نزيهة بين هذين النهجين على المهام والأدوات ومعايير التقييم نفسها — وهو أمر لم يكن معتاداً سابقاً، إذ كانت هذه المقارنات تُجرى عادةً في ظروف مختلفة، مما جعل الاستنتاجات محل شك.

كان الفرق في الكلفة هائلاً: ينفّذ النهج التدريجي في المتوسط 23.2 مرة أكثر من استدعاءات النموذج، ويولّد 3.64 مرة أكثر من الرموز (tokens) مقارنةً بنهج «الخطة الكاملة». وكان السؤال المطروح هو إلى أي مدى تتأثر الجودة في المقابل.

ما أظهرته مقارنة النماذج

جمع الباحثون معياراً قياسياً (benchmark) يتكوّن من 650 إجراء عمل حقيقياً من الشركات (SOP) و3220 نسخة تنفيذية بمدخلات وظروف مختلفة — تشعّبات، حلقات تكرار، أخطاء. ولكل إجراء سير عمل مرجعي، تم تسجيله عبر اتصالات حقيقية بخدمات مثل Slack وJira وSalesforce وGoogle Sheets وGoogle Drive وSnowflake وWorkato — أي ما مجموعه 64 نوعاً من الأدوات.

الاستنتاج الرئيسي: النهج التدريجي أكثر دقة من الخطة المُعدَّة مسبقاً لدى جميع النماذج المفحوصة، لكن الفارق يتغير بشكل كبير من جيل إلى آخر:

• لدى GPT-3.5 Turbo، بلغ الفارق في الدقة 40.67 نقطة مئوية.
• لدى GPT-5.6 Sol Thinking، تراجع الفارق إلى 15.12 نقطة.
• لدى Claude Opus 5 Thinking، تراجع إلى 8.53 نقطة — أي أقل بنحو 79% من فارق GPT-3.5 Turbo.

ومع ذلك، فإن مجرد زيادة حجم النموذج لا تضمن أي تحسّن بذاتها. فلدى عائلة Qwen2.5، تراجعت دقة الخطة المسبقة من 16.

18% عند 32 مليار معامل إلى 9.91% عند 72 مليار معامل، وتراجع الفارق مع النهج التدريجي أولاً من 36.33 إلى 27.

87 نقطة (من 0.5 إلى 7 مليارات معامل)، ثم ارتفع مجدداً إلى 36.66 نقطة عند 72 مليار معامل.

وفي المقابل، ازداد الفارق لدى Gemma-3 مع زيادة حجم النموذج — من 26.6 نقطة عند 4 مليارات معامل إلى 32.52 نقطة عند 27 مليار معامل.

كما أن تفعيل «نمط التفكير» (thinking) يُحدث تأثيرات غير متوقعة: فقد ارتفعت دقة الخطة المسبقة لدى أربعة من أصل ثمانية نماذج مفحوصة، بينما تراجعت لدى الأربعة الأخرى، ولم يتراجع الفارق مع النهج التدريجي إلا لدى ثلاثة نماذج من أصل ثمانية.

ثلاث طرق لتقريب الخطة المسبقة من مستوى النهج التدريجي

فحص الباحثون ثلاث طرق، تستخدم كل واحدة منها معلومات أكثر من السابقة:

• بناء الخطة تدريجياً دون تنفيذ. لا يبني النموذج سير العمل دفعة واحدة، بل يضيف الخطوات واحدة تلو الأخرى عبر محرر، وبعد كل خطوة يقوم أداة تحقق (validator) بقبولها أو إعادة خطأ — دون الوصول إلى بيانات الإدخال الفعلية أو نتائج التنفيذ. رفعت هذه الطريقة الدقة بمعدل 9.98 نقطة مئوية.
• مراجعة الخطة بناءً على عمليات تنفيذ سابقة للنموذج نفسه. يحصل النموذج على خطته بالإضافة إلى تقرير حول كيفية عملها فعلياً (الأدوات المستدعاة، المعطيات المستخدمة، الأخطاء، النتيجة النهائية)، ثم يعيد كتابة الخطة — لكن ذلك يحدث مرة واحدة فقط، دون استدعاءات إضافية للنموذج أثناء التنفيذ نفسه. رفعت هذه الطريقة دقة جميع النماذج الثمانية المفحوصة بمعدل 6.18 نقطة مئوية، وبمعدل 6.13 نقطة على نسخ المهام التي لم تُستخدم في المراجعة.
• إعادة تدريب موجّهة. جمع الباحثون مجموعة منفصلة من 3000 سيناريو مرجعي (لا تتداخل مع المعيار القياسي الأساسي)، وأعادوا تدريب خمسة نماذج على توليد سير عمل كامل بناءً على وصف نصي للمهمة، باستخدام التدريب الخاضع للإشراف (SFT) والتعلم التعزيزي (RL عبر خوارزمية GRPO). ولكل نموذج، تم اختيار الأفضل من بين نتيجتين. ارتفعت الدقة في المتوسط بمقدار 12.18 نقطة مئوية (بين 6.84 و19.88 نقطة حسب النموذج).

ما تعنيه هذه النتائج عملياً

بالنسبة للفرق التي تبني وكلاء ذكاء اصطناعي للشركات، فإن الاستنتاج عملي: إذا كانت المهمة تسمح بالتخطيط المسبق (دون الحاجة إلى الاستجابة لمفاجآت في الوقت الفعلي)، فإن الخطة المُعدَّة مسبقاً أرخص بـ23 مرة من حيث استدعاءات النموذج والرموز — ومع أحدث النماذج مثل Claude Opus 5 Thinking أو GPT-5.6 Sol Thinking، لم يعد الفارق في الدقة مع النهج التدريجي كارثياً، إذ يتراوح بين 8 و15 نقطة مئوية تقريباً. لكن النهج التدريجي، مع التحقق من النتيجة في كل خطوة، يبقى الأكثر موثوقية في جميع الحالات المفحوصة، ومجرد استخدام نموذج أكبر أو تفعيل التفكير ليس ضمانة للتحسّن.

أما الطريقة الأقل كلفة والأكثر قابلية للتكرار لتقريب الخطة المسبقة من المستوى المطلوب، فهي السماح للنموذج بمراجعة خطته مرة واحدة بناءً على نتائج عمليات تنفيذ فعلية، دون الحاجة إلى استدعائه باستمرار أثناء التنفيذ.