التدريب الموحّد يرفع نتيجة HumanEval+ إلى 24.96% في pass@1

يشبه تدريب النموذج اللغوي اليوم مصنعاً بعدة خطوط منفصلة. يقرأ النموذج أولاً مدونة نصوص ضخمة، ثم يتعلم بيانات أكثر تخصصاً، وبعد ذلك يتعلم تنفيذ التعليمات، وفي النهاية فقط يتلقى تغذية راجعة عبر RL. عند كل انتقال تتغير البيانات والشيفرة والبنية التحتية والفريق. ومعها تظهر مشكلة مألوفة: عند تحسين مهارة واحدة قد ينسى النموذج جزئياً مهارة أخرى.

فحص مؤلفو ورقة Training Foundation Models with a Single Algorithm إمكانية تحويل سباق التتابع هذا إلى عملية واحدة مستمرة. جوابهم: يمكن تمثيل المراحل المختلفة على أنها تعلّم على توزيعات بيانات مستهدفة، ومزج الأمثلة في تدفق مشترك، وتحسين دالة خسارة واحدة للأرجحية العظمى موزونة بحسب الرموز (tokens). وحتى تحديثات السياسة في RL تُختزل هنا إلى ضبط احتمالات الإجابات مع مراعاة المكافأة المتلقاة.

كيف يبدو ذلك في مثال بسيط

تخيّل نموذجاً صغيراً يُدرَّب أولاً على اللغة العادية، ثم على ألغاز منطقية، ثم على البرمجة. المسار الكلاسيكي يشغّل ثلاث جولات تدريب متتالية. أما في Unified Training فيمكن لخادم التدريب أن يتلقى أمثلة من الأنواع الثلاثة في وقت واحد، لكن بنسب مختلفة: كثير من البيانات اللغوية العامة، وأقل من الألغاز، وحصة صغيرة من المهام التي تمنح مكافأة على الشيفرة الصحيحة.

يحدد وزن كل تدفق ما يوليه النموذج اهتماماً أكبر في اللحظة الراهنة. ولا تختفي البيانات القديمة تماماً، ولذلك يفقد النموذج قدراته المكتسبة بوتيرة أقل. وهذا أقرب إلى مختص يواصل مراجعة الأساسيات شيئاً فشيئاً أثناء الممارسة، لا إلى خريج أغلق كتابه بعد الامتحان.

في المهام المنطقية اعتمدت النتيجة بشدة على تركيبة الخليط: من نحو 4% إلى 39% في pass@1 على مهام بحجم مألوف. وأظهرت الصيغ المرحلية نتائج من 12.24% إلى 24.54%. وعلى مهام جديدة بـ12 شخصية أعطى النهج الموحّد نحو 1–13%، في حين حققت الصيغة المرحلية المختارة 5.58%. والتفاوت هنا أهم من الحد الأقصى اللافت: فالخوارزمية نفسها لا تغني عن ضبط نسب البيانات.

وفي تجربة على نموذج بحجم 0.76 مليار معامل، أعطى RL على الرياضيات ثم على الشيفرة 23.67–24.96% في pass@1 على HumanEval+ بحصة بيانات ممزوجة من 0.5% إلى 5%. أما التدريب المتتابع المعتاد فحصل على 22.94%. الفارق صغير، لكنه يبيّن أن الإبقاء على تدفق البيانات السابق قد يساعد مرحلة التكيّف التالية.

أين ينتهي الدليل

القيد الرئيس لهذا العمل هو النطاق. أُجريت جميع التجارب على نماذج أقل من مليار معامل. والأهم أن الدمج في نموذج 0.76B استُخدم فقط أثناء RL النهائي، وليس على امتداد المسار كله من التدريب المسبق إلى المساعد الجاهز. لذلك من السابق لأوانه القول إن المسارات المنفصلة لم تعد ضرورية.

كما لم يُعثر على جدول خلط شامل. نسبة تحل الألغاز المألوفة بشكل أفضل، وأخرى تناسب المهام الجديدة، وثالثة تناسب الشيفرة. وفي المنتج الحقيقي ستضاف تكلفة الحوسبة، وجودة تصفية البيانات، وتأخيرات النظام غير المتزامن، وأهداف السلامة المتعارضة.

ماذا تفعل الفرق

على مطوّري النماذج الخاصة التعامل مع Unified Training بوصفه فرضية هندسية قابلة للاختبار. لا حاجة إلى إعادة كتابة المنظومة بأكملها فوراً. يمكن البدء بتجربة ضيقة: في مرحلة SFT أو RL يُبقى على حصة صغيرة من بيانات المرحلة السابقة، ثم تُقارَن جودة المهارات الجديدة ودرجة النسيان على مجموعة اختبارات ثابتة.

أما فرق المنتجات فتفيدها فكرة أخرى: قد تكون الحدود بين التدريب المسبق والتدريب اللاحق وRL مجرد تيسير تنظيمي، لا خاصية جوهرية للتعلّم. وإذا تكررت النتيجة على نماذج أكبر، فسيبسّط تدفق واحد غير متزامن نقل البيانات بين المراحل ويتيح تغيير الأولويات بسرعة أكبر. أما الآن فقيمة العمل لا تكمن في وعد «خوارزمية واحدة لكل شيء»، بل في الشيفرة والنموذج والتصميم التجريبي الملموس الذي يمكن اختباره على مجموعة مهامك الخاصة.