AdaPRA يرفع أداء Qwen 80B بمقدار 24,5 نقطة في لوحات صدارة علم البيانات

تستطيع وكلاء علم البيانات (data science) إنجاز دورة تعلم الآلة كاملة بصورة مستقلة، لكنها لا تزال متأخرة كثيرًا عن البشر في لوحات الصدارة التي يتنافس عليها الناس. اقترح فريق بحثي يضم Atharva Naik وVivek Chari وPol Llado وDaniel Fried وCarolyn Rosé وBenjamin Van Durme وSam Thomson وJustin Svegliato نظام AdaPRA، الذي يعالج عملية عمل الوكيل نفسها. عند خمس محاولات لكل مهمة، رفع النظام المئين الذي يحققه نموذج Qwen ذو 80B معامل بمقدار 24,5 نقطة في اختبار DSPredict-Easy وبمقدار 14,8 نقطة في DSPredict-Hard، وقلّص في الوقت نفسه عدد أخطاء العملية. ظهرت النسخة الأولية من الورقة على arXiv في 23 أكتوبر 2026، ونشر المؤلفون الشيفرة المصدرية لإعادة إنتاج النتائج.

أين تخسر وكلاء علم البيانات نقاطها

ينطلق المؤلفون من ملاحظة مفادها أن المشكلة لا تقتصر على ضعف النموذج في كتابة الشيفرة. فالوكلاء يخطئون بصورة منهجية في مسار العمل ذاته. ويحدد الباحثون أربعة أنواع من الإخفاقات:

• استكشاف غير كافٍ للبيانات؛
• تحقق غير سليم يجعل تقييم الجودة غير نزيه؛
• أخطاء برمجية اعتيادية في الشيفرة؛
• استخدام غير فعّال للميزانية الثابتة: ففي كل محاولة جديدة يعيد الوكيل تشغيل التحليل الاستكشافي للبيانات نفسه والنماذج الأساسية نفسها.

والنقطة الأخيرة هي الأكثر دلالة. فإذا كان لدى الوكيل خمس محاولات لكل مهمة وأنفق كل واحدة منها في تكرار الشيء نفسه، تنكمش الميزانية الفعلية المتاحة للبحث عن حل قوي إلى أضعاف أقل.

إطار عمل دائم ووكيل مدقِّق

يتألف AdaPRA من جزأين. الأول إطار عمل دائم لوكيل البرمجة (persistent coding agent harness): يراكم المعرفة بين المحاولات على المهمة نفسها، فلا تُعاد حسابات الاستكشاف والنماذج الأساسية من الصفر.

أما الجزء الثاني فهو process reward agent، أي وكيل المكافأة على العملية. تقيّم نماذج المكافأة على العملية التقليدية خطوات الاستدلال. أما المدقِّق هنا فيذهب أبعد من ذلك: يحلل مسار الوكيل ومساحة عمله، وينفذ اختبارات تحقق، ويطابق العمل مع معايير التقييم (rubrics). وهذه المعايير هي مقاييس لجودة العملية، وتتكيف مع المهمة المحددة. وفي ختام التدقيق يتلقى الوكيل توجيهات بالأخطاء التي ينبغي تصحيحها.

وتتعلق نتيجة مستقلة بالمعايير نفسها. فالمعايير التي جرى زرعها أولًا على مهام سهلة تنتقل إلى مهام أكثر صعوبة، كما أن التكييف اللاحق للمعايير يمنح مكسبًا إضافيًا.

الأرقام وقابلية النقل

• النموذج الأساسي: Qwen بحجم 80B معامل.
• DSPredict-Easy: +24,5 نقطة في المئين على لوحة الصدارة.
• DSPredict-Hard: +14,8 نقطة في المئين.
• الشروط: خمس محاولات لكل مهمة.
• أثر جانبي: أخطاء أقل في العملية.
• النقل بين النماذج: المعايير المستخرجة من تشغيلات نموذج أساسي واحد حسّنت نتائج DeepSeek-V3.2.
• المقارنة مع المنافس: تفوق AdaPRA على DataPRM، وهو نموذج قوي للمكافأة على العملية في علم البيانات.

المكسب على المجموعة السهلة يقارب ضعف المكسب على المجموعة الصعبة، وهذه إشارة صريحة إلى حدود المنهج. فالإشراف يصحح انضباط العمل: التحقق والتكرار والتحقق من صحة التقييم. لكنه لا يحل محل قدرة النموذج على ابتكار حل غير بديهي لمهمة صعبة.

ما الذي يمكن أخذه إلى الممارسة

بالنسبة إلى الفرق التي تبني وكلاء على نماذج مفتوحة، فإن الخلاصة الرئيسية عملية. يمكن تحسين النتيجة دون إعادة تدريب الأوزان: يكفي إضافة طبقة تدقيق مع اختبارات تحقق قابلة للتنفيذ وذاكرة تمتد بين المحاولات. والمعايير المتراكمة من تشغيلات نموذج واحد تعمل مع نموذج آخر، ما يعني أنه يمكن اعتبارها أصلًا قابلًا لإعادة الاستخدام، لا إعدادًا يُستخدم مرة واحدة لتركيبة بعينها.

أما من يشغّلون وكلاء على مهام شبيهة بمهام Kaggle، فيجدر بهم فحص خطوط المعالجة (pipelines) لديهم بحثًا عن استكشاف متكرر للبيانات وتحقق ضعيف: فبحسب المؤلفين، هذه الأخطاء تحديدًا هي ما يستنزف ميزانية المحاولات. ويتيح الكود المفتوح مقارنة AdaPRA بحلّك الخاص على مجموعات DSPredict نفسها، ومعرفة حجم الفجوة مع البشر التي يسدّها الإشراف على العملية وحده.