ApprenticeBench: الوكلاء يتفوقون على المختبِرين البشر، لكن بتكلفة تبلغ 2.5 ضعف

كل من ساعد موظفًا جديدًا على بدء العمل في مشروع يعرف أن الجزء الأصعب ليس المهمة نفسها، بل السياق المحيط بها. أين توجد ملفات الإعدادات؟ وما الأعراف المتبعة لتسمية الفروع؟ ولماذا لا يجوز المساس بهذه الخدمة أيام الجمعة؟ معظم معايير تقييم الوكلاء لا تختبر ذلك. فهي تقدم مهمة محددة بوضوح، ثم تتحقق مما إذا كانت قد أُنجزت. وقد لفت فريق LMSYS Org الانتباه إلى عمل بحثي جديد يحاول سد هذه الفجوة.

ما هو ApprenticeBench؟

يختبر ApprenticeBench الوكلاء في سياق التهيئة للانضمام إلى العمل. فلا يتلقى الوكيل مواصفات متطلبات مصاغة على نحو مثالي، بل عليه، كأي موظف جديد، أن يفهم أعراف الشركة ويتقن أدواتها ويستوعب ما لم يُدوَّن في أي مكان: ما يُعرف بالمعرفة الضمنية. وهذا أقرب إلى العمل الفعلي من الاختبارات التقليدية، مثل «إصلاح خلل في مستودع برمجي معزول».

عرض النتائج Yu Su من NeoCognition. والمصدر منشور على إحدى شبكات التواصل الاجتماعي، وليس تقريرًا كاملًا، لذا لا تتوافر تفاصيل كثيرة. لا نعرف عدد المهام في المعيار، ولا الشركات والأدوات التي يحاكيها تحديدًا، ولا كيفية إجراء التقييم. وينبغي مراجعة هذه التفاصيل في المصدر الأصلي قبل استخلاص النتائج.

ما الذي نعرفه عن الأرقام؟

النتيجة الأساسية المعلنة هي أن النماذج المتقدمة تفوقت على المختبِرين البشر في نسبة المهام المنجزة بنجاح. لكن لهذا التفوق ثمنًا: تكلفة المهمة الواحدة لدى الوكلاء تبلغ 2.5 ضعف التكلفة البشرية.

يجب النظر إلى هاتين الحقيقتين معًا. تشير الأولى إلى أن الوكلاء باتوا قادرين على التعلّم من السياق، وليس مجرد تنفيذ التعليمات. وتذكّر الثانية بأن «الأفضل» لا يعني بالضرورة «الأجدى اقتصاديًا». فإذا كانت تكلفة الإنسان X لكل مهمة، وتكلفة الوكيل 2.5X، فالجدوى الاقتصادية ليست واضحة عند تقارب الجودة. وقد تظهر المكاسب في السرعة وقابلية التوسع والعمل على مدار الساعة، لكن فقط إذا كانت هناك حاجة فعلية إلى ذلك.

وينبغي أيضًا الانتباه إلى طبيعة المقارنة. فـ«المختبِرون البشر» لا يعادلون بالضرورة موظفين ذوي خبرة داخل الشركة. وتفوّق الوكيل على شخص يرى بيئة العمل للمرة الأولى لا يثبت تفوقه على متخصص لديه سنوات من الخبرة. كما لا تزال الطريقة الدقيقة لاحتساب تكلفة العمل البشري غير واضحة.

ما العمل بناءً على ذلك؟

أولًا: إذا كنتم تطورون وكيلًا للعمليات الداخلية، فاختبروه في سياق «فوضوي»، لا على مهام محددة بعناية فقط. زوّدوه بويكي وتعليمات قديمة وتسميات غير مألوفة، وراقبوا كيفية تعامله معها. فهذه تحديدًا هي المواضع التي يتعثر فيها الوكلاء غالبًا في بيئات الإنتاج.

ثانيًا: تتبّعوا تكلفة الوصول إلى نتيجة ناجحة، لا تكلفة الرموز النصية وحدها. فمؤشر «تكلفة إنجاز مهمة واحدة على نحو صحيح» أكثر تعبيرًا عن الواقع، ويُظهر فورًا الحالات التي يكون فيها الوكيل أغلى من الإنسان. وإذا احتاج إلى دورات طويلة من التجربة والخطأ، فسترتفع الفاتورة سريعًا.

ثالثًا: فكّروا في كيفية تراكم المعرفة لدى الوكيل. فمن المفترض ألا تبدأ عملية التهيئة من الصفر عند كل تشغيل. ويمكن للذاكرة والتوثيق المخصص للوكلاء والأعراف المكتوبة بوضوح أن تقلل التكلفة وعدد الأخطاء معًا.

الخلاصة حذرة. يبدو ApprenticeBench خطوة نحو تقييم أكثر واقعية للوكلاء، والنتيجة المعلنة مثيرة للاهتمام. لكن المتاح حتى الآن منشور يعرض الأرقام الرئيسية، وليس تحليلًا تفصيليًا. انتظروا نشر المنهجية والبيانات قبل بناء خطط لاستبدال البشر استنادًا إليها.