مقياس Seq@K على 7 اختبارات معيارية و16 نموذجًا يغيّر ترتيب نماذج الذكاء الاصطناعي عند توفر التغذية الراجعة

اقترح باحثون من Columbia Business School وجامعة كاليفورنيا في سانتا باربرا مقياس Seq@K. يقيس هذا المقياس ما إذا كان النموذج اللغوي سيحل المهمة في موعد أقصاه المحاولة رقم K، إذا حصل بعد كل إخفاق على تغذية راجعة وأمكنه تصحيح إجابته. شغّل المؤلفون البروتوكول على 7 صيغ من الاختبارات المعيارية و16 نموذجًا متقدمًا. والخلاصة: الترتيب المعتاد وفق pass@K، حيث المحاولات مستقلة ولا يرى النموذج أي نقد، ضعيف في التنبؤ بسلوك النموذج داخل حلقة وكيلية فعلية «إجابة — ملاحظة — تصحيح».

الفرق بين Seq@K وpass@K

يعدّ pass@K المهمة محلولة إذا اجتازت التحقق إجابة واحدة على الأقل من K إجابات مستقلة. وتُولَّد كل إجابة مرشحة من الموجّه (prompt) الأصلي نفسه. أما في Seq@K فترى كل محاولة تالية الإجابات السابقة والتعليقات عليها. وإذا نجحت المحاولة، تتوقف الحلقة.

ويؤكد المؤلفون صراحةً أن المقياس ليس بديلًا عن اختبارات الوكلاء مثل SWE-bench وWebArena وMINT. فالنجاح فيها يعتمد على التخطيط والعمل مع الأدوات وتتبّع الحالة. أما Seq@K فيعزل مهارة واحدة: مدى جودة تصحيح النموذج لعمله استنادًا إلى الملاحظات.

يتوقف البروتوكول على نمط التغذية الراجعة، وهي ثلاثة أنماط: حكم فقط بصيغة «نجح/فشل»؛ وتشخيص خام من نظام التحقق (تتبّعات الأخطاء، والاختبارات الفاشلة، وتحليل بنود دليل التقييم rubric)؛ ونقد يكتبه نموذج لغوي، هو نفسه أو نموذج آخر، مع إتاحة دليل التقييم أو دون إتاحته.

تشمل مجموعة المهام البرمجة (MBPP Pro وHumanEval Pro)، واتباع التعليمات المعقدة (AdvancedIF)، والاستدلال في مجال معرفي محدد (CLBench DKR)، والإجابات الطبية المقيَّمة وفق أدلة تقييم rubrics (HealthBench).

الترتيب واختيار النموذج والتكلفة

يتغير ترتيب النماذج فعلًا عند الانتقال إلى Seq@K. ففي AdvancedIF يرتفع Sonnet من المركز الأخير في المحاولات المستقلة إلى المجموعة العليا، وتُلاحَظ تبدّلات مشابهة في CLBench DKR.

واختبر المؤلفون النتيجة العملية في مهمة اختيار النموذج. يأخذ المهندس عدة مهام معايرة، ويختار نموذجًا، ثم ينشره مع تغذية راجعة تسلسلية على مهام جديدة. وتبيّن أن المعايرة القصيرة وفق Seq@K تختار أفضل نموذج لهذا السيناريو بتكلفة مماثلة أو أقل. أُجريت التجربة على MBPP Pro وHumanEval Pro، حيث قُسّمت المهام إلى مجموعتين: معايرة على إحداهما وتقييم على الأخرى، ثم العكس. وكان أكبر مكسب على HumanEval Pro.

وتعتمد الفجوة بين النماذج أيضًا على المقياس. ففي AdvancedIF مع التغذية الراجعة الخام تتقلص الفجوة بين أفضل نموذج وأسوأ نموذج. أما في HumanEval Pro وMBPP Pro فتتسع على العكس، إذ تستفيد النماذج بطرق مختلفة من تفاصيل الاختبارات الفاشلة. ومعنى ذلك أن pass@K قد يقلّل من الفروق بينها وقد يضخّمها.

وللأمر أثر في التكاليف أيضًا. فالمحاولات المتتابعة تجرّ سياقًا متزايدًا، لكن النجاح يحدث غالبًا في وقت أبكر. وفي اختبارين معياريين يكون حد باريتو (مجموعة الخيارات التي لا يمكن تحسينها من حيث السعر دون خسارة في الجودة) أفضل مع Seq@K منه مع المحاولات المستقلة. ويظهر ذلك بأوضح صورة في DKR: فأخذ العينات المستقل يحل نسبة محدودة فقط من المهام، بينما ترتفع التغذية الراجعة التسلسلية إلى مستوى أعلى بوضوح. وأفضل نتيجة هناك حققها Opus 4.7.

كيف تصحح النماذج إجاباتها وأي نقد يفيد

تكشف مسارات المحاولات سلوكًا لا يظهر في النسبة النهائية. فبعض النماذج تكسب في أول محاولة إعادة، وبعضها في المحاولات المتأخرة. وتتجاهل بعض النماذج الملاحظات وترسل الإجابة نفسها دون تغيير. كما أن تصحيحًا يعالج جميع الملاحظات قد يكسر متطلبات كانت متحققة سابقًا.

وتبيّن أن جودة التغذية الراجعة نفسها متغيّر أيضًا. ففائدة النقد المفيد تعتمد على الاختبار المعياري وعلى قدرة النموذج معًا. والنقد المكتوب مع مراعاة دليل التقييم يساعد على تصحيح عدد أكبر بكثير من المتطلبات الفاشلة. أما إذا ضُغط تاريخ المحاولات السابقة في ملخص موجز، فقد تنخفض نسبة النجاح، ولذلك ينصح المؤلفون بذكر طريقة تخزين التاريخ إلى جانب نتيجة Seq@K.

الحدود والقيود

يفترض Seq@K تغذية راجعة متميزة (privileged): فالناقد أو المتحقق يعرف الإجابة الصحيحة أو معايير التقييم. يحدث هذا حين يشرح المستخدم للوكيل ما الخطأ تحديدًا، لكن في السيناريوهات المستقلة التي لا يوجد فيها متحقق لا يمكن إعادة إنتاج هذا المقياس. إضافة إلى ذلك، لا تُعرَّف قيمة Seq@K إلا مقترنة بنمط التغذية الراجعة والمتحقق ومعلمات فك الترميز وميزانية المحاولات، ولذلك لا يمكن مقارنة أرقام من تكوينات مختلفة.

والخلاصة العملية للفرق التي تبني وكلاء: إذا كان المنتج يعمل في حلقة تصحيح، فينبغي معايرة النموذج في الحلقة نفسها. أما التغذية الراجعة ذاتها فيجب تصميمها واختبارها بشكل منفصل، بوصفها جزءًا من النظام.