LiveMACEBench يختبر خمسة وكلاء LLM في سوق حية على مدى 30 يومًا

قدّم باحثون معيار LiveMACEBench، وهو معيار لا يختبر وكلاء LLM بحسب النتيجة النهائية، بل بحسب الطريقة التي يتخذون بها قراراتهم. واتُّخذت الأسواق المالية الحية ساحةً للاختبار. عملت خمسة نماذج رائدة (frontier) كوكلاء دائمين طوال 30 يومًا متتاليًا، بينما حفظ المؤلفون مسارات القرار الكاملة وحلّلوها بحسب الآليات. النتيجة الرئيسية أن العائد المحقَّق كثيرًا ما يتباين مع القدرات المقاسة، وأن نتائج متشابهة قد تنتج عن أنماط سلوك مختلفة جدًا.

لماذا السوق وليس مجموعة مهام ثابتة

تعمل معايير الوكلاء التقليدية في بيئة مغلقة بشروط ثابتة. يحلّ الوكيل المهمة ويتلقى تقييمه، وينتهي الأمر عند هذا الحد. أما في بيئة متطورة فالصورة مختلفة. فالنتيجة هناك تنشأ من حلقة تغذية راجعة: سلوك الوكيل يؤثر في سير الأمور، بينما تتغير الظروف الخارجية بمعزل عنه. وإذا اكتفينا بالرقم النهائي، يستحيل معرفة سببه: استخدام كفء للأدوات، أم ذاكرة جيدة للخطوات السابقة، أم الالتزام بالقواعد، أم مجرد حظ في مقطع زمني معين من السوق.

يصلح السوق المالي الحي لهذا الاختبار بطبيعته. فهو يتغير باستمرار، ولا يمكن حفظه مسبقًا، ولا يمكن تكييف بياناته أثناء الاختبار لتناسب النموذج. ويصف المؤلفون ذلك بأنه «ساحة اختبار تتطور بصورة طبيعية» للوكلاء الدائمين.

كيف صُمّم LiveMACEBench

يشارك في التجربة خمسة نماذج LLM رائدة (frontier). تعمل هذه النماذج وفق مسارات متواصلة، لا في حلقات منفصلة. ويمر كل نموذج بإعدادات قابلة للمقارنة، تُفعَّل فيها قدرات بعينها أو تُعطَّل.

• Tool Use: استخدام الأدوات الخارجية.
• Persistent Memory: حفظ الذاكرة وتطبيقها بين الخطوات.
• Rule Following: الالتزام بالقيود والقواعد المحددة.
• Multi-Agent Collaboration: تفاعل عدة وكلاء.
• المدة: 30 يومًا من التقييم الحي.
• المقاييس: النتيجة المحقَّقة، إضافةً إلى تشخيص خاص بكل آلية استنادًا إلى مسارات القرار الكاملة.

تشكّل المجموعة الثانية من المقاييس العنصر الأهم هنا. فالمؤلفون لا ينظرون إلى ما ربحه الوكيل فحسب، بل أيضًا إلى كيفية تعامله مع الأدوات، وما استدعاه من الذاكرة، وهل خالف القواعد، وكيف نسّق أفعاله مع الوكلاء الآخرين.

الفجوة بين النتيجة والقدرة

يُسمّى الاكتشاف الرئيسي outcome-capability gap. فالعائد لم يتطابق في أحيان كثيرة مع تقييم القدرات المحددة. وحدث العكس أيضًا: إذ أخفت نتائج نهائية متقاربة أنماطًا مختلفة بوضوح في استخدام الآليات. فقد يصل نموذجان إلى رقم متشابه، أحدهما بفضل عمل دقيق مع الأدوات والذاكرة، والآخر بفضل شيء مختلف تمامًا.

كما كشف تتبّع القرارات عن اختناقات مختلفة. لكل قدرة اختناقاتها الخاصة، ولذلك لا يعكس تقييم واحد عام لـ«جودة الوكيل» الصورة الحقيقية. ويفصل المؤلفون بين ثلاثة أمور كثيرًا ما تُخلط: توفر الآلية، والاستخدام الفعّال للآلية، والنتيجة النهائية. ووفق استنتاجاتهم، لا يمكن استبدال هذه الكميات بعضها ببعض.

لا يذكر الملخص التعريفي أسماء النماذج ولا القيم العددية للعائد، ولذلك لا يمكن المقارنة بين الشركات المطورة استنادًا إليه. وتكمن قيمة العمل في منهجيته: فهو يحوّل السوق الحية من جدول ترتيب إلى بيئة تشخيصية.

ماذا على الفرق التي تبني الوكلاء أن تفعل

الخلاصة العملية بسيطة: سجّلوا في السجلات النتيجة والمسار الكامل المؤدي إليها. سواء كان وكيلكم يتداول أو يكتب الشيفرة أو يدير الدعم أو العمليات، فإن مسارات القرار الكاملة لازمة لتصحيح الأخطاء بقدر مقياس النجاح نفسه.

ثانيًا: اختبروا الآليات كلًّا على حدة. فوجود الذاكرة أو مجموعة أدوات في البنية المعمارية لا يضمن أن الوكيل يستخدمها بصورة مجدية. ومن المفيد وضع مقاييس من نوع «كم مرة ومدى ملاءمة استدعاء الأداة» و«هل تؤثر الذاكرة المسترجعة في القرار».

ثالثًا: لا تثقوا بتشغيل واحد في بيئة متغيرة. فالعائد الجيد في فترة قصيرة قد يكون مجرد ضجيج، والعائد الضعيف قد يخفي قدرات قوية لم تتوافق ببساطة مع مرحلة السوق. ويساعد التشخيص عبر المسارات على التمييز بين الحالتين وعلى معرفة ما ينبغي تحسينه تحديدًا: الذاكرة، أم الانضباط في القواعد، أم التنسيق بين الوكلاء.

وبالنسبة إلى من يختار نموذجًا لمنتج قائم على الوكلاء، فالخلاصة عملية أيضًا: قارنوا المرشحين على مساراتكم أنتم، لا بالاعتماد على لوحة صدارة عامة واحدة.