من بين 1 598 ورقة بحثية في RL، وصلت 37 فقط إلى الأطر: تدقيق في سبعة أطر مفتوحة المصدر

يبيّن تحليل جديد لسبعة أطر مفتوحة المصدر للتدريب اللاحق للنماذج اللغوية بالتعلم المعزز (RL) مدى ضيق الطريق بين الورقة البحثية والشيفرة العاملة. فقد راجع المؤلفون تاريخ الإيداعات (commits) وربطوه بـ 6 939 ورقة مختارة على arXiv، نُشرت بين يناير 2025 ويونيو 2026. ومن بين 1 598 ورقة تقترح طريقة عامة للتدريب بالتعلم المعزز، لم تظهر في أي إطار على الأقل سوى 37 ورقة، أي نحو 2,3%.

وتكمن أهمية ذلك للممارسين في سبب بسيط: إذا كانت الطريقة موجودة في الإطار، فهي متاحة بسطر واحد في ملف الإعدادات. أما إذا لم تكن موجودة، فعليك إعادة كتابتها بنفسك، وهو أمر مكلف ومحفوف بالمخاطر على نطاق عشرات المليارات من المعاملات.

تدفق الأوراق يتزايد، وطابور الإدراج لا يتحرك

قسّم المؤلفون الأوراق إلى خمس دفعات فصلية. ارتفع حجم الدفعة من 72 إلى 386 ورقة، أي بمقدار 5,4 مرة. وفي المقابل، ظل عدد الطرق التي أدرجتها الأطر خلال 180 يومًا ضمن نطاق يتراوح بين 5 و7. وبحسب تقدير تقريبي استنادًا إلى حدّي هذا النطاق، يمثل ذلك في البداية نحو 7–10% من الدفعة، وفي نهاية الفترة 1,3–1,8% فقط.

ويبدو أن عنق الزجاجة لا يكمن في توليد الأفكار، بل في موارد القائمين على صيانة الأطر (maintainers). فكل تنفيذ جديد يتطلب اختبارات ودعمًا وتوافقًا مع بقية الشيفرة.

ما الذي يجتاز الانتقاء

تختلف الأوراق المُدرجة بوضوح عن بقية الأوراق المنشورة في الفصول نفسها:

• سياسات (policies) من 30B معامل فما فوق: 41% لدى الأوراق المُدرجة مقابل 10% لدى البقية.
• تعديل المعامل أو clip أو الأقنعة أو الأوزان في دالة خسارة قائمة: 29% مقابل 9%.
• نشر الشيفرة: بالتكرار نفسه في المجموعتين، أي أن وجود مستودع مفتوح لا يمنح أفضلية.
• يبقى الفارقان قائمين حتى بعد استبعاد أوراق الشركات التي تدعم الأطر بنفسها.

ويردّ البند الأخير على الاعتراض البديهي بأن الأطر تتبنى أعمالها «الخاصة» فحسب. فالصورة أوسع: تمرّ الطرق التي جُرّبت على نماذج كبيرة والتي يمكن دمجها بتعديل صغير. أما إذا كانت الورقة تتطلب مكوّنًا جديدًا أو إعادة بناء خط المعالجة (pipeline)، فإن فرصها أقل.

الرفض بالكاد يظهر

تتعلق الملاحظة الأكثر غرابة بالنقاشات العامة. ففي issues وpull requests نادرًا ما تُرفض الطرق علنًا. وفي أكثر من تسع طرق عامة من كل عشر لم تدخل أي إطار، لا يوجد هناك أي خيط نقاش يستشهد بها أو يذكرها بالاسم. وكثير من الاقتراحات التي تظهر فعلًا تبقى مفتوحة بلا رد. فالطريقة لا تُرفض، بل لا تدخل ببساطة في دائرة الاهتمام.

ويكمل الصورة فحصان إضافيان. فالمستخدمون نادرًا ما يبلّغون علنًا عن إخفاقات التدريب، ولذلك لا تتوافر لدى القائمين على الصيانة إشارات كافية عن الطرق المطلوبة فعلًا. كما أن التقارير التقنية لـ 13 نموذجًا كبيرًا مفتوح الأوزان (open-weight) ذكرت 8 طرق من أصل 13 طريقة أُدرجت على نطاق واسع. ويتضح من ذلك أن ممارسات المختبرات الكبرى هي رافعة قوية، وليست جودة الورقة نفسها وحدها.

متتبّع لمن يختار الطريقة

ينشر المؤلفون البيانات على هيئة متتبّع (tracker). فهو يربط إخفاقات التدريب بالتنفيذات في الأطر، ويسرد كذلك قواعد المساهمة في كل مشروع والاقتراحات السابقة للطرق.

وتخلص الفرق التي تدرّب النماذج من ذلك إلى عدة استنتاجات. فقبل اعتماد طريقة من ورقة حديثة، ينبغي التحقق مما إذا كانت موجودة في الإطار، وما حالة الـ issue الخاصة بها. وغياب التنفيذ لا يدل على ضعف الطريقة، لكنه يعني أنك ستختبرها بمفردك. أما الباحثون الذين يريدون أن يروا أفكارهم في هذه الأطر، فمن المفيد أن يصوغوا الطريقة على هيئة تعديل صغير في المعامل أو clip أو القناع داخل دالة خسارة قائمة، وأن يختبروها على نماذج من 30B فما فوق. وعلى مستخدمي الأطر أن يصفوا الإخفاقات علنًا بوتيرة أكبر: فهذا لا يكاد يحدث اليوم، ولذلك يختار القائمون على الصيانة الطرق دون بيانات كافية.