Δτ-Bench: أفضل وكيل ذكاء اصطناعي يحل 42.3% فقط من المهام في عالم متغيّر

قدّم باحثون من University College London وشركاؤهم Δτ-Bench، وهو معيار قابل للتنفيذ لا تبقى فيه مجموعة أدوات وكيل الذكاء الاصطناعي ثابتة. تُمرَّر 1 588 مهمة متعددة الخطوات جرى التحقق منها، موزعة على 42 مجالًا، عبر ست حالات متعاقبة للمنظومة. وأفضل الخيارات التي جرى تقييمها، سواء كان نموذجًا أو إطار وكيل، يحل 42.3% فقط من المهام. وإلى جانب المعيار، يقترح المؤلفون Steward، وهو مدير للمنظومة يحافظ على معدل نجاح أعلى عند تبدّل الحالات، ويستهلك موارد أقل في صيانة المهارات.

اختبار يُعاد فيه كتابة الكتاب الدراسي في منتصف الامتحان

تُصمَّم معظم معايير الوكلاء كامتحان بكتاب دراسي لا يتغير: مجموعة واجهات API ثابتة، ووثائق مرتبة، ومسار صحيح واحد. أما في الأنظمة الحقيقية فالوضع مختلف. فالخدمات تتطور بشكل مستقل عن بعضها. وقد تختفي أداة مألوفة أو يجري استبدالها، وتتداخل وظائف الخدمات المختلفة، وتكون الوثائق مشوشة.

يُدمج Δτ-Bench هذه الديناميكية في الاختبار نفسه. تمر المنظومة بست حالات، وتُبنى الانتقالات بينها عبر capability-preserving transformations، أي تحويلات تحافظ على إمكانية تنفيذ المهمة من حيث المبدأ. وتبقى المهمة قابلة للحل، ولا يتغير سوى المسار المؤدي إليها. ويختبر هذا التصميم مهارتين كانتا تُقاسان سابقًا كلٌّ على حدة:

• البحث الاستباقي عن سلاسل استدعاء أكثر كفاءة، بدلًا من التمسك بأول سلسلة تعمل؛
• المراجعة السريعة للمعرفة الإجرائية المتراكمة عندما تتعطل الوصفات القديمة.

لماذا تتقادم المهارات أسرع مما يتعلم الوكلاء

أكثر نتائج الدراسة إثارة للقلق تتعلق بطرق skill-learning، التي يراكم فيها الوكيل إجراءات قابلة لإعادة الاستخدام. فهذه الطرق تحقق في البداية مكسبًا ملحوظًا، لكن هذا المكسب لا يتحول إلى تكيّف مستقر مع تطور المنظومة. بل تبدأ الخبرة المتراكمة بالعمل ضد الوكيل: فيسلك بثقة مسارًا أُغلق بالفعل، أو يفوّته أداة جديدة تنجز العمل نفسه بخطوات أقل.

كما أن السقف العام ليس مرتفعًا. فأقوى الخيارات التي جرى تقييمها يبلغ 42.3% من المهام الناجحة. وللمقارنة: في المعايير الثابتة يُقيَّم الوكلاء عادةً في بيئة مستقرة، أما هنا فلا استقرار، وتبقى نسبة كبيرة من المهام دون حل.

Steward: بستاني للأدوات والمعرفة

استنادًا إلى هذه الملاحظات، بنى المؤلفون Steward. تقوم الفكرة على أن الأدوات والمعرفة الإجرائية ينبغي إدارتها معًا، لا بوصفهما نظامين فرعيين منفصلين. ويعمل المدير عبر آليتين:

• الصيانة التدريجية للمهارات: يُصحَّح فقط ما تقادم، دون إعادة بناء المكتبة بالكامل؛
• التزويد الديناميكي بالأدوات أثناء تنفيذ المهمة نفسها: يحصل الوكيل على الخيارات المحدّثة عند الحاجة إليها.

وبحسب بيانات التجارب، يحافظ Steward على معدل نجاح أعلى طوال تغيّرات المنظومة، وبتكلفة أقل لصيانة المهارات. كما أنه يستعيد سير العمل المعطّل بشكل أفضل، وينتقل في كثير من الأحيان إلى بدائل أكثر كفاءة.

المعطيات الرئيسية لـ Δτ-Bench

• الصيغة: معيار قابل للتنفيذ للوكلاء يعتمد على حوارات متعددة الخطوات.
• الحجم: 1 588 مهمة جرى التحقق منها.
• النطاق: 42 مجالًا.
• الديناميكية: ست حالات متعاقبة للمنظومة، أُنشئت عبر تحويلات تحافظ على القدرات.
• عوامل التشويش: وظائف متداخلة، ووثائق مشوشة، وأدوات تختفي أو يجري استبدالها.
• أفضل نتيجة: 42.3% من المهام الناجحة.
• الطريقة المقترحة: Steward مع صيانة تدريجية للمهارات وتزويد ديناميكي بالأدوات.
• المؤلفون: Shuofei Qiao, Xuanguang Pan, Yijun Chen, Wendi Feng, Bin Wu, Runnan Fang, Yuqi Zhu, Shumin Deng, Emine Yilmaz.
• المواد: ورقة arXiv 2610.34238 ومستودع zjunlp/delta-tau-bench على GitHub.

ما الذي ينبغي فحصه في منظومة الوكلاء لديك

إذا كنت تبني وكلاء على خوادم MCP أو واجهات API داخلية أو مجموعة من الإضافات، فإن Δτ-Bench يطرح أسئلة محددة على نظامك. ماذا يحدث لمكتبة المهارات عندما تغيّر إحدى الخدمات مخططها أو تختفي؟ هل توجد آلية تلاحظ ظهور مسار أقصر، لا تكتفي برصد تعطل المسار القديم؟ كم تكلّف صيانة الوصفات المتراكمة من حيث التوكنات وساعات العمل البشري؟

الخلاصة العملية بسيطة. لا يكفي تقييم الوكيل بتشغيل واحد على مجموعة أدوات مجمّدة. المطلوب تشغيل منتظم على نسخة «متحركة» من البيئة، وأن تكون لذاكرة الوكيل سياسة للتقادم والتحديث الموضعي. وشيفرة المعيار مفتوحة، ولذلك يمكن بناء اختبار إجهاد كهذا على مجالاتك الخاصة منذ الآن.