ERB: وكلاء الذكاء الاصطناعي يبنون اختبارات للنماذج بأنفسهم ويتفقون مع المرجع في 75% من الأزواج

يصطدم التحسين الذاتي التكراري للذكاء الاصطناعي بمشكلة مملة: لمعرفة ما إذا كان النموذج قد تحسّن، لا بد من تشغيله على معايير ثقيلة، وهذا مكلف ويبطئ دورات التطوير. وعادةً ما يتحايل الناس على ذلك بأخذ مجموعة جزئية من المهام أو بتجميع مجموعة مضغوطة. وتساءل الباحثون عمّا إذا كان الوكيل قادرًا على فعل ذلك بنفسه، فبنَوا لهذا الغرض EvalResearchBench (ERB). وتُرتّب أفضل أدوات التقييم التي أنشأها الوكلاء ضمن الميزانية المحددة أزواج النماذج كما تفعل المعايير المستهدفة في نحو 75% من الحالات. ويحدد السقفَ مدى اتفاق الاختبارات المستهدفة فيما بينها، وهو 91%.

كيف يصبح الوكيل باحثًا في التقييم

في ERB يتلقى الوكيل، الذي يسميه المؤلفون researcher، مواد الهدف ومراجع التطوير وقائمة بواجهات API المرشحة المتاحة وحدودًا ثابتة للوقت وتكاليف API. وبعد ذلك يعمل كمهندس مسؤول عن جودة الاختبارات: يختار مهامَّ جاهزة أو يولّد مهام جديدة، ويكتب المُقيِّمات (graders)، ويجري تشغيلات تجريبية. وفي ضوء نتائجها يعدّل المهام وشيفرة التحقق. وفي النهاية تُجمَّد أداة التقييم بوصفها برنامجًا قابلًا للتنفيذ. والمجالات ثلاثة: البرمجة، وco-work، والاستدلال.

ويقوم التحقق على المقارنة. عمل تسعة وكلاء باحثين مع 13 نموذجًا مرشحًا. وقورنت كل أداة تقييم مجمّدة بـ14 معيارًا مستهدفًا وفق مقياسين: اتساق الدرجات الإجمالية، والاتفاق الزوجي، أي التطابق في تحديد أي النموذجين أفضل.

أين تقصّر الأتمتة

أبرز نتائج الدراسة:

• تحقق أفضل أدوات التقييم نحو 75% من التطابق في أزواج النماذج، مقابل سقف يبلغ 91%؛
• لا يتصدر أي وكيل باحث جميع المقاييس؛
• أفضل أداة تقييم على المعايير المستهدفة المتاحة أثناء التطوير ليست الأفضل على المعايير المغلقة (sealed) التي لم يرها الوكيل؛
• تظل عيّنة المهام العامة التي يختارها الإنسان خيارًا أساسيًا قويًا؛
• حصلت أداة التقييم ذات أدنى تكلفة تنفيذ مسجّلة على أعلى اتفاق زوجي.

يُظهر البند الثاني المشكلة الكلاسيكية المتمثلة في فرط التخصيص للمؤشرات المتاحة. فالوكيل يرى أهداف التطوير (development) ويلائم أداة التقييم معها، لكن الأفضلية تختفي على المعايير المخفية. أما البند الأخير فغير بديهي: زيادة الحوسبة المخصصة للتقييم لا تعني ترتيبًا أدق للنماذج. ويرجَّح أن أداة التقييم الرخيصة أبسط، وتلتزم بالميزانية على نحو أفضل، وتتعطل أقل في منتصف الطريق.

أعطال شائعة: اقتطاع الإجابات ونفاد الميزانية والأسئلة المهيمنة

يستطيع الوكلاء إصلاح مهامهم ومُقيِّماتهم استنادًا إلى ملاحظات التشغيلات التجريبية. ومع ذلك تعاني أدوات التقييم الجاهزة من عيوب محددة. فقد تقتطع إجابات النموذج، فيُحتسب الحل الصحيح خطأً. وقد تستنفد ميزانية التقييم قبل اكتمال التشغيل. وأخيرًا قد تسمح بوضع تحدد فيه بضعة أسئلة الدرجة النهائية لمجال كامل، فيتحول الضجيج في مهمتين أو ثلاث إلى «جودة استدلال».

هذه الأخطاء ليست غريبة أو نادرة. فكل فريق جمع مجموعة تقييم (eval) داخلية واجه حد max_tokens الذي يقتطع الإجابة، أو اختلالًا في أوزان المهام. ويكرر الوكلاء أخطاء البشر نفسها، لكن في وضع آلي لا يوجد فيه من يتحقق.

خلاصة عملية للفرق التي تبني مسارات eval

حتى الآن لا يحلّ الوكيل الباحث محل الإنسان، بل يعمل كمسوّدة لأداة التقييم. وإذا كنتم تؤتمتون اختيار الاختبارات، فاحتفظوا بمجموعة معايير مغلقة لا يراها الوكيل، وإلا فسيكون اختيار أفضل أداة تقييم خداعًا للذات. وينبغي أن تبقى عيّنة المهام العامة التي يختارها الإنسان نقطة مرجعية: فإذا لم تتفوق عليها أداة التقييم التي أنشأها الوكيل في الاتفاق الزوجي مع المعايير المستهدفة، فإن أتمتتها لا تقدّم شيئًا.

وقبل تجميد أداة التقييم، يُستحسن إضافة فحوص بسيطة: هل تُقتطع الإجابات، وهل يتسع التشغيل للميزانية، وهل تهيمن بضعة أسئلة على المجال. وأخيرًا، اعدّوا التكلفة مقياسًا: وفق ERB قد ترتّب أداة التقييم الرخيصة النماذج بكفاءة لا تقل عن الغالية، بل أحيانًا أفضل منها. وبالنسبة إلى صناعة تصطدم فيها الأنظمة ذاتية التحسين بكلفة التغذية الراجعة، فهذا مؤشر ملموس: 75% مقابل 91% يبيّن كم بقي من الطريق نحو دورات مستقلة يبني فيها الذكاء الاصطناعي بنفسه مسطرة القياس الخاصة به.