NVIDIA تتنبأ بأفضل وكيل برمجة قبل الضبط الدقيق: الترتيب تطابق بنسبة 96%

تخيّل أنك تختار النموذج الذي ستبني عليه وكيل ذكاء اصطناعي للبرمجة. المرشحون عدة، والضبط الدقيق لكل واحد منهم يكلف مئات الآلاف من الدولارات، لذا لا بد من الاختيار مسبقًا. الاختبارات المعتادة لا تساعد كثيرًا هنا: فجزء من مهام HumanEval وSWE-bench تسرّب إلى بيانات التدريب، وفي SWE-Bench Pro نسبة ملحوظة من المهام صيغت بأخطاء.

اقترح باحثو NVIDIA طريقًا مختلفًا: بدلًا من إجبار النموذج الأساسي على حل المهمة، يعرضون عليه سجل عمل وكيل قوي ويختبرون هل يتعرف على التعديل الحاسم في الكود. تطابق ترتيب عشرة نماذج وفق هذا الاختبار مع ترتيبها بعد الضبط الدقيق بنسبة 96%: معامل ارتباط سبيرمان يساوي 0,964، حيث تعني القيمة 1 تطابقًا كاملًا في الترتيب، وتعني −1 ترتيبًا معكوسًا. أما في HumanEval فالمؤشر −0,394، أي أن الترتيب أقرب إلى المعكوس.

المغزى العملي بسيط: يمكن استبعاد المرشحين الضعفاء قبل إنفاق المال على الضبط الدقيق.

لماذا لا تنجح الاختبارات القديمة

صدر HumanEval عام 2021 مع Codex: 164 مهمة صغيرة بلغة Python، بمستوى صعوبة أسئلة المقابلات الموجهة للمبرمج المبتدئ. ومع الوقت تبيّن أن المهام متاحة للعموم وتصل إلى مجموعات التدريب. وجد باحثون من بيركلي ما بين 8 و18% من مهام HumanEval في RedPajama وStarCoder-Data، وعثر فريق Allen AI على مجموعة بيانات مفتوحة تتطابق معه بنسبة 70,7%.

ثم انتقلت الصناعة إلى SWE-bench Verified. في 23 فبراير 2026 توقفت OpenAI عن نشر نتائجه: فمن بين 138 مهمة لم يحلها نموذجها o3 بشكل ثابت، وُجدت أخطاء في الاختبارات أو في صياغة المهمة في 59,4% منها. وإضافة إلى ذلك، أعادت GPT-5.2 وClaude Opus 4.5 وGemini 3 Flash إنتاج الإصلاح المرجعي انطلاقًا من رقم المهمة فقط، أي كأنها اطلعت على الإجابات مسبقًا. أما SWE-Bench Pro، الذي أوصت به OpenAI بديلًا، فقد فحصته بعد أقل من خمسة أشهر وأقرّت بأن نحو 30% من مهامه معطوبة. في إحدى المهام تنص الصياغة على مسافة بادئة من فراغ واحد، بينما تتوقع الاختبارات المخفية فراغين، فيفشل في المهمة من ينفذ الشرط بأمانة.

ما الذي اقترحته NVIDIA

هل يمكن ببساطة تكليف النموذج الأساسي بمهمة حقيقية؟ جرّب الفريق ذلك: شغّل ستة نماذج أساسية وكلاء على SWE-bench Verified. لم تحل خمسة منها أي مهمة، مع أن النماذج نفسها تحل بعد الضبط الدقيق ما بين 39 و81%. فالنموذج الأساسي لا يجيد سوى إكمال النص. وبدلًا من استدعاء الأداة، كثيرًا ما يكمل الحوار بنفسه، حتى أنه يختلق نتيجة تنفيذ الأمر.

لذلك لا تطلب ورقة Before They Can Solve (22 مؤلفًا، 7 أكتوبر 2026) من النموذج حل المهمة. بل يُعرض عليه سجل عمل وكيل قوي (GPT-5.6-Sol وClaude Opus 5 وKimi-K3) ويُختبر في اللحظة الحاسمة فقط. يُعاد تشغيل السجل خطوة بخطوة، وبعد كل تعديل تُشغَّل اختبارات المشروع للعثور على أول تعديل تنجح بعده. بعد ذلك تأتي ثلاث طرق للفحص:

• مدى «طبيعية» الخطوة الصحيحة في نظر النموذج. يقيسون BPB، أي عدد البتات اللازمة لترميز بايت واحد من الإجابة الصحيحة. وكلما قلّ الرقم كان ذلك أفضل.
• الاختيار من أربعة خيارات للخطوة التالية: خيار واحد صحيح وثلاثة معقولة لكنها لم تجتز الاختبارات. تُبدَّل مواضع الخيارات لإزالة ميل النموذج إلى اختيار الحرف A.
• إكمال عمل الغير: يتلقى النموذج السجل حتى الخطوة الحاسمة، ثم يتصرف بنفسه حتى ثلاث خطوات، مع عدة محاولات.

وفي جميع الحالات تحدد اختبارات المشروع نفسه الإجابة الصحيحة، لا إنسان ولا شبكة عصبية أخرى.

النتائج وموضع الإشكال

فُحصت عشرة نماذج أساسية: ثلاثة من Nemotron-3، وQwen-3.5-35B-A3B، وDeepSeek-V4 بنسختيه Flash وPro، وKimi-K2، وGLM-4.5-Air، وHy3، وGemma-4-26B. قورن الترتيب وفق الفحوص بترتيب النسخ المضبوطة دقيقًا على SWE-bench Verified. أعطى BPB عند الخطوة الحاسمة 0,964 (وعلى جميع خطوات السجل 0,915 فقط). وعند استخدام سجلات من SWE-bench Verified نفسه بلغ إكمال عمل الغير 0,988. أما ارتباط HumanEval فهو −0,394: فالنماذج ذات النتيجة الأفضل كانت في المتوسط أضعف كوكلاء.

أحد الأسباب ضيق نطاق التباين. ففي MBPP انحصرت نتائج النماذج العشرة بين 67 و86%، بينما تباعدت نتائج الوكلاء النهائيين من 38,8 إلى 80,6%. مثل هذا الاختبار لا يميّز جيدًا بين المرشح القوي والضعيف. ولتقدير حجم التكاليف: أنفقت DeepSeek على الضبط الدقيق لنموذج R1 نحو 147 000 ساعة GPU على H800، أي نحو 294 ألف دولار بحسب تقديرها الخاص، وهذا مجرد تشغيل ناجح دون احتساب التجارب.

وشمل تدقيق NVIDIA أيضًا APTBench من Tencent: من أصل 1682 سؤالًا تبيّن أن 727 (43,2%) غير صحيحة، وفي قسم معالجة الأخطاء بلغت النسبة 90,5%. وقد أعدّت نماذج لغوية خياراتها الخاطئة. تحفظ: التدقيق نفسه جرى بمساعدة وكيل ذكاء اصطناعي وفق معايير محددة، ومع ذلك تترابط النتيجة الإجمالية لـ APTBench مع الترتيب بمعامل 0,88–0,90.

وللطريقة نفسها حدود. ففي التجربة الخاضعة للتحكم ضُبطت دقيقًا ثلاثة نماذج فقط، وتطابق الترتيب مع الرسمي، لكن المؤلفين أنفسهم يصفون ذلك بأنه امتداد لاتجاه، لا إثبات. وعلى سجلات من اختبارات معيارية أخرى كان التطابق أضعف. والطريقة بحثية حتى الآن، ولا توجد أداة جاهزة.

الخلاصة العملية للفرق التي تختار نموذجًا أساسيًا لوكيل: لا تعتمدوا على HumanEval وMBPP، بل استخدموا فحوصًا مرتبطة بتعديلات حقيقية في المستودع، وحددوا الإجابة الصحيحة باختبارات المشروع. المنطق نفسه في التوظيف: المقابلة المنظمة حول العمل الفعلي تتنبأ بالنتيجة أفضل من اختبار عام للمعلومات.