TAO يسرّع وكلاء الذكاء الاصطناعي: أول توكن أسرع بنسبة تصل إلى 36%، والمهام حتى 27%

عندما يصلح وكيل ذكاء اصطناعي خللًا برمجيًا في مستودع، فهو لا يكتفي بالتفكير. يُصدر النموذج أمرًا، وتنفّذه على معالجات منفصلة أدوات مثل المترجم البرمجي أو الاختبارات أو محرك البحث، ثم تعود النتيجة إلى النموذج، وتتكرر الدورة عشرات المرات. أطلق باحثون من جامعة شанхай جياو تونغ على هذا النمط اسم CGDC: عنقود GPU للاستدلال مع معالجات CPU موزعة عبر الشبكة لتشغيل الأدوات.

واقترحوا مجدوِلًا باسم TAO يقرر أي الوكلاء يُشغَّل على GPU وعلى أي عقدة تحديدًا، مع مراعاة موعد عودة ناتج الأداة لكل وكيل. مقارنةً بأفضل المنافسين في كل مقياس، يخفض TAO زمن تنفيذ المهمة بنسبة تصل إلى 26,8%، ومتوسط الزمن حتى أول توكن بعد استئناف الجلسة (TTFT) بنسبة تصل إلى 36,3%، ويرفع سرعة التوليد (توكن في الثانية) بنسبة تصل إلى 29,5%.

لماذا يتضرر GPU والكاش أثناء انتظار الوكيل للأداة

طوال عمل الأداة لا يحتاج الوكيل إلى GPU. يمكن إيقاف الجلسة مؤقتًا وإتاحة المكان لغيرها. لكن للإيقاف ثمنًا. يحتفظ النموذج في الذاكرة بـ KV-cache، أي التمثيل المحسوب مسبقًا لتاريخ المحادثة. إذا عادت الجلسة إلى العقدة نفسها بسرعة، يُعاد استخدام البادئة (prefix) ولا حاجة إلى تمرير السياق كاملًا من جديد. أما إذا طال التأخير، فيُزاح الكاش، ويستهلك إعادة الحساب جزءًا من السعة.

أظهر المؤلفون ذلك على سجلات تشغيل DeepSeek-V4 Flash من عقدتين بوحدات H100: تنخفض نسبة الكاش المحفوظ بوضوح كلما تقادمت الملاحظة، وقد رُسم المنحنى على فترة تصل إلى 1 800 ثانية.

يرى المؤلفون أن الأنظمة الحالية ترتكب خطأين:

• تستخدم زمن عمل الأداة إشارة غير مباشرة فقط لتخزين الكاش أو احتساب التوكنات، لا مؤشرًا مستقلًا على جاهزية الجلسة.
• تقيّم كل جلسة على حدة بقواعد إرشادية (heuristics). لكن الجلسات تتنافس على السعة نفسها، وقد يزيح الاختيار الجشع لإحداها تركيبة أفضل من الجلسات الأخرى.

ثلاثة أرقام بترتيب صارم ومسألة الحقائب

لكل زوج «جلسة منتظرة — عقدة» يحسب TAO ثلاثية من الأرقام تُقارن بالترتيب، كما تُرتَّب الكلمات في القاموس:

• رصيد الكاش. كم توكن من هذه الجلسة يوجد، بحسب الملاحظات، على هذه العقدة. تتلاشى الملاحظات القديمة أسّيًا بفترة نصف عمر محددة. وإن لم تتوفر بيانات عن العقدة، فالرصيد صفر.
• الجاهزية للعودة. مؤشر ثنائي: هل ستعود الأداة ضمن نافذة الجدولة القريبة. يُبنى التنبؤ من إشارات الأدوات نفسها (في Claude Code توجد أداة Monitor، وفي OpenCode رسالة مهلة Bash)، ومن أوامر sleep المحلَّلة، ومن تاريخ المدد. وإن لم يتوفر شيء، تؤخذ خمس ثوانٍ افتراضيًا. وتُمنح التنبؤات المتأخرة فرصًا تجريبية مؤقتة حتى لا تبقى الجلسة «جاهزة» إلى الأبد.
• عدد التوكنات. عند تساوي الرقمين الأولين تُفضَّل السياقات الأطول.

الترتيب ثابت، أما القيم فتتغير مع الوقت. لذلك لا حاجة إلى أوزان يدوية في مجموع مرجّح.

بعد ذلك تعمل خوارزمية دقيقة للبرمجة الديناميكية. تشبه المسألة مسألة «الحقائب المتعددة» الكلاسيكية: لكل عقدة سعة متبقية، ولكل جلسة كلفة قبول، والمطلوب بلوغ أقصى قيمة إجمالية. الحل دقيق للقطة حالة مجمّدة، مع أن تقريب السعة قد يستبعد خططًا كانت مقبولة قبل التقريب. يعمل المجدوِل في عملية غير متزامنة منفصلة، ويتحقق من الخطة قبل تطبيقها بمقارنتها بالحالة الحية. وبحسب المؤلفين، يستغرق الإعداد والحساب أقل من 0,12% من زمن التشغيل في اختبار بأربع نسخ من النموذج.

ماذا أظهرت القياسات على H100

اختُبرت ثلاثة نماذج: DeepSeek-V4 Flash على عقدتين بوحدات H100، وQwen3-32B على أربع عقد، وGLM-4.7 على عقدة واحدة. أما أحمال العمل فهي: SWE-bench Lite (إصلاح أخطاء حقيقية) عبر mini-SWE-agent، وTerminal-Bench 2.0 مع Claude Code للمهام الطرفية المعقدة، وSWE-verified لنموذج Qwen عند تزامن مرتفع. تحتفظ كل عقدة بنسخة واحدة من النموذج.

جرت المقارنة مع أربعة نهج مسمّاة: مجدوِل vLLM بالتوزيع الدوري (round-robin)، والمجدوِل نفسه مع مراعاة الكاش، وDynamo من NVIDIA (يراعي KV)، وThunderAgent (بحسب عدد التوكنات والتعبئة «بالترتيب التنازلي»).

على SWE-bench Lite، مقارنةً بأفضل منافس في كل عمود:

• زمن المهمة أقل بنسبة 2,4–26,8%؛
• TTFT أقل بنسبة 7,4–36,3%؛
• سرعة التوليد أعلى بنسبة 5,1–29,5%.

على Terminal-Bench يتقدم TAO في زمن التأخير وTTFT عند مستويات التزامن الثلاثة كلها. وعلى Qwen3-32B يحقق أدنى TTFT عند الأعداد الثلاثة للجلسات المتزامنة. أُخذت القيم القصوى من 12 تكوينًا من تركيبات «النموذج — الحمل — التزامن»، لذا يكون المكسب أقل في كل تركيبة بعينها.

ماذا يفعل المهندسون بهذه النتائج

الخلاصة الرئيسية لمن يشغّل بنفسه الاستدلال للوكلاء: ينبغي التعامل مع زمن عمل الأدوات بوصفه بيانات للمجدوِل. وإذا كنتم تقيسون مدة الاستدعاءات أصلًا، فيمكن تحويل جزء من هذه المعلومات إلى أولوية على GPU ونقطة للتوزيع.

يقول المؤلفون إن النهج قابل للنقل إلى المخططات متعددة الوكلاء والوكلاء الدوريين، وكذلك إلى أحمال الدردشة العادية. هذا ادعاؤهم، ولا يتضح من المادة إن كان مدعومًا بقياسات مستقلة. وقد جاءت كل الأرقام من H100 ومن تركيبات محددة من النماذج، لذلك قد تختلف النتيجة على عتاد آخر ومع ملف مختلف للأدوات.