تصحيح DLC يُبقي انحراف KL عن التدريب on-policy ضمن عتبتَي ضوضاء على نموذجي Qwen3

في تدريب النماذج اللغوية بالتعلم المعزز (RL)، يولّد محرك استدلال واحد الإجابات، مثل vLLM، بينما يحسب مدرِّب منفصل التدرجات. من الناحية الرسمية يُعدّ التدريب on-policy، أي إن الإجابات يجب أن تُسحب من السياسة الحالية. أما عمليًا فتختلف احتمالات الرموز (tokens) بين النظامين، فتصبح البيانات off-policy. وتشرح ورقة جديدة على arXiv مصدر هذا التباين وكيف يتطور خلال التدريب. ويقترح المؤلفون تصحيح DLC (discrepancy-lag correction). وعندما تكون أوزان الـ sampler متأخرة، يُبقي هذا التصحيح انحراف KL عن التدريب on-policy ضمن عتبتَي ضوضاء. وعتبة الضوضاء هنا هي قيمة KL بين تدريبين مستقلين on-policy. وقد تحققت هذه النتيجة على Qwen3-0.6B وQwen3-1.7B.

مصدران لعدم التطابق

المصدر الأول هو عدم الدقة العددية في المحرك. فله نوى حوسبة (kernels) ودقة حسابية خاصة به، ولذلك يُخرج توزيعًا مختلفًا عن توزيع المدرِّب حتى مع الأوزان نفسها. وتزيد الـ samplers المكمَّمة هذه الفجوة اتساعًا. أما المصدر الثاني فهو الأوزان المتقادمة في التوليد غير المتزامن. إذ يحتفظ الـ sampler بأوزان آخر مزامنة بينما يمضي المدرِّب قدمًا. وهذا ما يحدث مثلًا في الأنظمة غير المتزامنة مثل AReaL.

يشغّل المؤلفون المدرِّب على أوزان الـ sampler، فيحصلون على تحليل دقيق للخطأ على مستوى الرمز إلى حدّين: التباين العددي وتأخر السياسة (policy lag). ويبقى التباين العددي ثابتًا تقريبًا، ولذلك يزيح التحديثات بمقدار شبه ثابت. وتؤدي مركزة score (score centering) على كل بادئة (prefix) إلى إزالة الجزء الأكبر منه.

أما التأخر فالأمر معه أعقد. إذ تولّده تحديثات المدرِّب نفسها. فالانحياز المتبقي بعد التصحيح ينتقل إلى التحديث التالي، وهذا التحديث يزيد التأخر التالي، فتتشكل حلقة تغذية راجعة. ولا يكسر الترجيح بالأهمية (importance weighting) هذه الحلقة إلا ما دامت نسبة الاحتمالات متركزة. ويحدد الحدَّ حجمُ العينة الفعّال (ESS) لهذه النسبة: فعندما ينخفض عن 0.5 تتوقف الطريقة عن العمل. وعلى Qwen3-1.7B، وبسبب الذيل الثقيل للنسبة، يتجاوز ESS العتبة عند الخطوة 11، أي قبل ثلاث خطوات من التنبؤ الغاوسي. وعند هذه الخطوة تحديدًا يخرج importance sampling من مستوى الضوضاء. إضافة إلى ذلك، فإن معيار التحديث الزائد في مركزة score مقارنةً بـ importance sampling يتضمن حدًّا تربيعيًا موجبًا في حاصل ضرب معدل التعلم وعدد الخطوات.

كيف يعمل DLC

يحاكي هذا التصحيح التحليل المذكور ويتكون من ثلاثة أجزاء:

• يُمركِز التباين العددي؛
• يقصّ (clipping) نسبة التأخر بالنسبة إلى أوزان الـ sampler؛
• يعيد مزامنة الـ sampler عندما ينخفض ESS لنسبة التأخر عن 0.5.

وعندما يكون الـ sampler متأخرًا، يُبقي DLC نموذج Qwen3-1.7B عند مستوى الضوضاء حتى الخطوة 40. وفي ثلاث تشغيلات لـ DLC، جرت المزامنة عند تحقق شرط ESS أقل من 0.5. أما في importance sampling فيبقى ESS بعد الخطوة 11 أقل من 0.5. وعلى النموذجين معًا لا يتجاوز الانحراف عن التدريب on-policy عتبتَي ضوضاء. وتمنع المزامنة القسرية الانهيارات التي تبقى قائمة مع التصحيحات على مستوى الرموز المنفردة. أما KL المعتاد، المقاس على بادئات الـ sampler نفسه، فلا يكشف هذه الانهيارات.

لماذا تتصرف التصحيحات السابقة بشكل مختلف

تفسّر الورقة التباين في نتائج الدراسات السابقة. فـ importance sampling المقتطع يرجّح كل رمز بنسبة احتمالات مقتطعة. وتطرح مركزة score متوسط score الخاص بالـ sampler على البادئة. ويقصّ PPO نسبة المدرِّب إلى السياسة المرجعية. وتعمل المركزة بثبات مع الـ sampler المكمَّم، لكنها تتخلف عن importance sampling عندما يكون الـ sampler متأخرًا، إذ كانت المزامنة في التجارب السابقة تجري كل 64 خطوة. ويتحمل PPO التقادم، لكنه يفشل مع التكميم وضوضاء الأوزان الاصطناعية. ويزداد انهيار GRPO غير المتزامن عند التقادم مع حاصل ضرب التقادم ومعدل التعلم.

ويفصل المؤلفون أيضًا طبقة البنية التحتية. فأخذ العينات بـ Top-p، وإعادة ترميز النص إلى رموز، وتصفية الإجابات حسب المكافأة، والإجابات الطويلة المؤجلة، كلها تولّد عدم تطابق أيضًا. وتُزال هذه العوامل على مستوى البنية التحتية: يبلّغ الـ sampler عن التوزيع المستخدم فعليًا، وتُمرَّر إلى المدرِّب معرّفات الرموز، وتُشكَّل الدفعات (batches) بشكل مستقل عن النتيجة. وبعد ذلك لا يصل إلى الخوارزمية سوى إصدار الأوزان والجانب العددي للمحرك. ويعالج تأخر الأوزان كلٌّ من decoupled PPO وM2PO وVCPO الذي يضبط معدل التعلم بحسب ESS. أما التباين العددي فيصححه importance sampling المقتطع ومركزة score.

والخلاصة العملية أن اختيار التصحيح يتوقف على ما إذا كان الخطأ ينمو مع التحديثات. ولا يوجد علاج شامل. وفي RL غير المتزامن يفيد تتبع ESS لنسبة الأوزان واعتباره إشارة للمزامنة. وتقتصر التجارب على نموذجي Qwen3-0.6B وQwen3-1.7B، ولذلك يجب التحقق من انطباق النتائج على النماذج الأكبر بشكل منفصل.