AdaPRA ترفع أداء Qwen بحجم 80B على لوحات صدارة بنمط Kaggle بمقدار 24.5 نقطة

تستطيع وكلاء علوم البيانات إنجاز دورة تعلّم الآلة كاملة بأنفسهم، من تحميل البيانات حتى تقديم التنبؤات. لكنها ما زالت تتخلف بوضوح عن المشاركين من البشر على لوحات الصدارة البشرية. يقترح باحثون من Carnegie Mellon University (Atharva Naik وVivek Chari وPol Llado وDaniel Fried وCarolyn Rosé وBenjamin Van Durme وSam Thomson وJustin Svegliato) إصلاح العملية لا النموذج. فقد رفع نظامهم AdaPRA، بخمس محاولات لكل مهمة، أداء نموذج Qwen بحجم 80B بمقدار 24.5 نقطة مئينية على DSPredict-Easy وبمقدار 14.8 نقطة على DSPredict-Hard، وخفّض في الوقت نفسه عدد أخطاء العملية.

أين يخسر الوكلاء نقاطهم

يبدأ المؤلفون بالتشخيص. فضعف نتائج الوكلاء لا يعود إلى نقص «الذكاء» وحده. إذ يخطئون في الغالب في مسار العمل نفسه، وهي أخطاء عملية إلى حد بعيد:

• استكشاف غير كافٍ للبيانات: يندفع الوكيل إلى بناء النموذج قبل أن يفهم ما في الجدول؛
• تحقق غير موثوق: يعطي مخطط الفحص أرقامًا جميلة لا تنتقل إلى الاختبار؛
• أخطاء برمجية تفسد خط المعالجة (pipeline) بصمت؛
• استخدام سيئ للميزانية الثابتة: في كل محاولة يعيد الوكيل إجراء EDA نفسه وتدريب النماذج الأساسية نفسها، بدل أن يتقدم إلى الأمام.

والنقطة الأخيرة هي الأكثر دلالة. فإذا كان لدى الوكيل خمس محاولات على مهمة واحدة، فمن المنطقي أن تبني كل محاولة على سابقتها. لكنه عمليًا يبدأ من الصفر.

مدقق بقائمة تحقق وذاكرة بين المحاولات

يتكون AdaPRA من جزأين. الأول إطار تشغيل دائم (persistent harness) لوكيل البرمجة، يراكم المعرفة بين المحاولات على المهمة نفسها. فما جرى استكشافه، والنماذج الأساسية التي دُرّبت، وما نجح منها، كل ذلك يبقى في الذاكرة ولا يُعاد حسابه.

والجزء الثاني هو process reward agent، أي الوكيل المدقق. فنماذج المكافأة التقليدية للعمليات تقيّم خطوات الاستدلال بعد وقوعها اعتمادًا على النص. أما المدقق هنا فيعمل بطريقة مختلفة: يفحص مسار الوكيل ومجلد عمله، ويشغّل فحوصًا بدل الاكتفاء بقراءة السجلات. ويمكنه أن يتحقق مما إذا كان التحقق مبنيًا فعلًا بصورة صحيحة، وهل ثمة تسرب للبيانات، وهل أُنجز ما ادّعى الوكيل إنجازه.

ويقيّم المدقق وفق معايير (rubrics)، أي قوائم تحقق منظمة من المعايير. وتكمن الخاصية الأساسية في كلمة «التكيفية»: إذ تُعاد معايرة المعايير لكل مهمة بعينها، ولا تبقى قالبًا عامًا موحدًا. ويشير المؤلفون إلى أثرين. الأول أن المعايير المبذورة على المهام السهلة تُعمَّم على الصعبة. والثاني أن التكيف الإضافي مع المهمة يحسّن النتيجة أكثر.

الأرقام وقابلية النقل

النتائج الرئيسية عند خمس محاولات لكل مهمة:

• Qwen (80B): +24.5 نقطة مئينية على DSPredict-Easy؛
• Qwen (80B): +14.8 نقطة على DSPredict-Hard؛
• ينخفض عدد أخطاء العملية على المجموعتين كلتيهما؛
• المعايير المستخلصة من تشغيلات نموذج أساسي واحد تحسّن أداء نموذج آخر هو DeepSeek-V3.2؛
• تتفوق AdaPRA على DataPRM، وهو نموذج PRM قوي لعلوم البيانات اقتُرح سابقًا.

ولعل النقل بين النماذج هو التفصيل الأكثر إثارة للاهتمام هنا. فإذا كانت المعايير المجمّعة من أخطاء Qwen تساعد DeepSeek-V3.2، فهذا يعني أنها ترصد الإخفاقات النموذجية للمهمة والمنهج نفسيهما، لا نزوات نموذج بعينه. ويمكن تراكم المعرفة بكيفية إجراء التحقق والاستكشاف الصحيحين بوصفها أصلًا مستقلًا غير مرتبط بالأوزان.

والمكسب على DSPredict-Hard أقل بمقدار النصف مما هو على Easy، وهذا مؤشر صريح: فبفضل قوائم التحقق يصل الوكيل إلى منتصف الجدول بسهولة أكبر بكثير من وصوله إلى القمة في المسابقات الصعبة.

الشيفرة منشورة، وللمشروع صفحة على atharva-naik.github.io/AdaPRA، ولذلك يمكن إعادة إنتاج النتائج.

وتقدم هذه الدراسة وصفة واضحة للفرق التي تبني وكلاء للتحليلات وأتمتة ML. فقبل تغيير النموذج الأساسي، يستحق الأمر النظر في المسارات: إذا كان الوكيل يكرر EDA في كل محاولة أو يختبر نفسه على تحقق يتسرب إليه، فإن حفظ الحالة بين التشغيلات ووجود مدقق مستقل ينفذ الفحوص سيساعدان. ويمكن جمع المعايير على المهام السهلة وإعادة استخدامها مع نماذج مختلفة، أي الاستثمار مرة واحدة في مجموعة المعايير هذه وتطبيقها عند تغيير المزوّد.