S2T-RLHF: لماذا تكون المكافأة على مستوى الجملة أكثر استقرارًا من المكافأة على مستوى الرمز في RLHF

في يوليو 2026 ظهرت على arXiv ورقة بحثية تصف S2T-RLHF، وهي طريقة لتدريب النماذج اللغوية على التفضيلات البشرية. توزّع الطريقة المكافأة أولًا على جمل الإجابة ثم على الرموز المنفردة، بهدف جعل عملية RLHF غير المستقرة أكثر ثباتًا بصورة ملحوظة.

لماذا يعاني RLHF من عدم الاستقرار

يعاني RLHF القياسي من عدم الاستقرار لأن النموذج يتلقى مكافأة عددية واحدة (scalar) عن الإجابة كاملة، ثم «تُوزَّع» هذه القيمة على تحديثات السياسة (policy) على مستوى الرموز المنفردة. ونتيجة لذلك يبقى غير واضح أي جزء من الإجابة استحق التقييم المرتفع أو المنخفض، إذ تظل مسألة توزيع «الفضل» (credit assignment) داخل الإجابة غامضة.

ويقيّم نموذج التفضيلات (preference model)، المدرَّب على مقارنات زوجية بين الإجابات، الإجابة ككل لا كلمة كلمة. فإشارة التفضيل محددة على مستوى الإجابة بأكملها (response level) فحسب، ولذلك فإن نقلها آليًا إلى الرموز المنفردة يُدخل ضجيجًا إضافيًا ويُربك التدريب.

ماذا تقترح S2T-RLHF

تضيف S2T-RLHF (sentence-to-token) مستوى وسيطًا بين الإجابة الكاملة والرمز المنفرد، هو الجملة. تقسّم الطريقة أولًا مكافأة الإجابة كلها على الجمل، ثم تُجري داخل كل جملة تعديلًا محدودًا (bounded) على مستوى الرموز. وثمة تفصيل مهم: لا تحتاج الطريقة إلى إعادة تدريب نموذج المكافأة، ولا إلى إعداد تسميات مكافآت منفصلة على مستوى الرموز.

• ثلاثة مستويات من التفصيل: الإجابة كاملة ← الجملة ← الرمز
• تُقسَّم المكافأة أولًا على الجمل، ثم تُصقَّل بصورة محدودة على مستوى الرموز
• لا تتطلب إعادة تدريب نموذج المكافأة
• لا تتطلب إشرافًا على مستوى الرموز (token-level supervision)، أي تسميات مكافآت منفصلة لكل رمز
• جرى اختبارها على عدة مجموعات بيانات وفي إعدادات تحسين مختلفة

وبحسب المؤلفين، يصبح التدريب بهذا النهج أكثر استقرارًا وثباتًا، فيما تبقى جودة المواءمة مع التفضيلات (preference alignment) تنافسية، أي أن الاستقرار لا يأتي على حساب الدقة.

لماذا الجملة وليس الرمز

اختيرت الجملة مقياسًا وسيطًا لأنها تحافظ على التماسك الدلالي، وهي في الوقت نفسه أقل تأثرًا بالضجيج من الرمز المنفرد. ويتحدى المؤلفون صراحةً الافتراض الشائع بأن تجزئة المكافأة إلى وحدات أدق تعني تحسينًا أفضل.

«عندما تكون إشارات التفضيل مشوَّشة ومحددة على مستوى الإجابة فقط، فإن

الإفراط في تدقيق المكافأة قد يضخّم عدم اليقين ويزعزع استقرار التدريب»، كما تقول الورقة على arXiv.

وبدلًا من السعي وراء مكافأة بأدق تجزئة ممكنة، يصوغ المؤلفون مبدأً واعيًا بالتفصيل (granularity-aware): يجب أن يستهدف تصميم المكافأة الاستقرار لا أقصى دقة في التوزيع. ويوازن مستوى الجملة بين التماسك الدلالي والمتانة أمام الضجيج على مستوى الرموز (token-level).

ماذا يعني ذلك

لا يزال RLHF الطريقة الرئيسية لمواءمة النماذج اللغوية الكبيرة مع التفضيلات البشرية، لكن عدم استقراره مصدر صداع دائم للمهندسين. وتقدّم S2T-RLHF وصفة منخفضة التكلفة: عدم مطاردة المكافأة الأدق تجزئة، واختيار مقياس وسيط معقول هو الجملة. وإذا تكررت النتائج على مهام ونماذج أخرى، فقد يترسّخ «مستوى الجملة» كدرجة التفصيل الافتراضية في التدريب على التفضيلات.

أسئلة شائعة

ما هو RLHF؟

RLHF (reinforcement learning from human feedback) هو التعلم المعزز من التغذية الراجعة البشرية. يُضبط النموذج وفق تفضيلات الناس: إذ يمنح نموذج المكافأة، المدرَّب على مقارنات بين الإجابات، مكافأةً تُعدَّل بموجبها سياسة التوليد.

هل تحتاج S2T-RLHF إلى تسميات إضافية؟

لا. بحسب وصف الطريقة، تعمل S2T-RLHF دون إعادة تدريب نموذج المكافأة ودون إشراف على مستوى الرموز. أي أنها لا تحتاج إلى تسميات تدريب جديدة للمكافآت على مستوى الرموز، ولا إلى تدريب منفصل للمقيِّم، إذ تعيد استخدام إشارة التفضيلات المتوافرة أصلًا.