Alibaba Qwen تكشف عن TRACE: مرحلة Rollout بصيغة FP4 تتسارع حتى 5,4 مرة

قدّم فريق Alibaba Qwen منهج TRACE لتدريب النماذج الكبيرة بالتعلم المعزز، وهو ينقل مرحلة Rollout إلى صيغة FP4 للأوزان والتنشيطات (W/A) وKV-cache معًا. وبحسب المؤلفين، تتسارع Rollout حتى 5,4 مرة مقارنة بـ BF16، ويبقى التدريب مستقرًا. والنقطة الأخيرة أهم من السرعة هنا، فكثيرون قادرون على تشغيل التوليد بأربع بتات، لكن قلّة فقط تنجح في منع RL من الانهيار عند ذلك.

لماذا أصبحت Rollout أكثر أجزاء RL استهلاكًا للموارد

تسير دورة RL في النماذج اللغوية على النحو التالي: يولّد النموذج عددًا كبيرًا من الإجابات، وغالبًا سلاسل استدلال طويلة، ثم تُقيَّم هذه الإجابات، وتُحدَّث الأوزان استنادًا إلى هذه المسارات. يجري التوليد رمزًا بعد رمز، ويصطدم بحدود عرض نطاق الذاكرة، بينما ينمو KV-cache مع طول الإجابة. وكلما طال الاستدلال (reasoning) وزاد عدد العينات لكل prompt، زاد الوقت والذاكرة المخصصة للرسوميات التي تستهلكها Rollout، لا خطوة الانحدار التدرجي.

ومن هنا تنشأ الرغبة المنطقية في ضغط هذه المرحلة. فالانتقال من BF16 إلى FP4 يخفّض نظريًا حجم العمليات الحسابية واستهلاك الذاكرة معًا. وانخفاض عدد البايتات لكل وزن ولكل عنصر في الـ cache يعني طلبات متوازية أكثر على البطاقة الواحدة، وانتظارًا أقل للبيانات.

أين تفسد FP4 عملية التدريب

ثمن هذا الضغط هو خشونة الشبكة العددية. تتسع أربع بتات لـ 16 قيمة فقط، ولذلك قد تقع قيمتان متقاربتان جدًا على جانبي حدّ التكميم، فتسقطان في نقطتي ترميز مختلفتين. وإذا حسب المُدرِّب ومحرك Rollout بدقتين مختلفتين، فإنهما يصلان إلى نتائج مختلفة بوضوح رغم أن المدخلات متطابقة تقريبًا. ويتحول الفرق الضئيل على مستوى العدد إلى تباعد بين ما «ولّده» النموذج وما «يفكر فيه» لحظة تحديث الأوزان.

وهذا أمر خطير على RL. فالخوارزمية تفترض أن المسارات صادرة عن سياسة قريبة من السياسة قيد التدريب. وعندما يتباعد المُولِّد والمُدرِّب، يبدأ التدرج بالاعتماد على بيانات كان النموذج الحالي سينتجها بصورة مختلفة. ويظهر ذلك عادةً في صورة ضجيج وانجراف (drift) وعدم استقرار في التدريب. وتبدو المشكلة مع FP4 أشد منها مع FP8، لأن التأثيرات الحدّية أكثر وهامش الدقة أضيق. وهذه بالتحديد هي المشكلة التي يحاول TRACE معالجتها.

ما المعروف عن TRACE

أبرز معطيات العمل:

• المطوِّر: فريق Qwen (Alibaba).
• مجال التطبيق: مرحلة Rollout في تدريب النماذج الكبيرة بـ RL.
• الصيغة: FP4 للأوزان والتنشيطات (W/A) إضافةً إلى FP4 لـ KV-cache.
• خط الأساس: BF16.
• الأثر المعلن: تسريع Rollout حتى 5,4 مرة.
• الهدف: الحفاظ على استقرار التدريب مع توليد منخفض الدقة.

عبارة «حتى 5,4 مرة» تعني الحد الأقصى، لا النتيجة المتوسطة. فالمكسب الفعلي يتوقف على طول التوليد وحجم الدفعة (batch) ومعمارية النموذج والعتاد. وكلما طال السياق وثقل KV-cache، ظهر أثر تكميم الـ cache بوضوح أكبر، لأنه كثيرًا ما يصبح عنق الزجاجة في الاستدلالات الطويلة.

ما الذي يجب أن تتحقق منه الفرق التي تشغّل RL على عناقيدها الخاصة

بالنسبة إلى من يدرّبون نماذج الاستدلال (reasoning) بأنفسهم، الاستنتاج الرئيسي هو أن Rollout ينبغي التعامل معها كمسألة تحسين مستقلة، لا كعملية جانبية. فإذا كان التوليد يستغرق معظم زمن الخطوة، فإن خفض الدقة يعطي مكسبًا أكبر من ضبط المُحسِّن (optimizer).

قبل الانتقال إلى FP4 ينبغي قياس التباعد بين احتمالات الرموز لدى المُدرِّب ومحرك Rollout. فإذا كان هذا التباعد ملحوظًا أصلًا مع BF16 أو FP8، فسيزداد مع أربع بتات. ومن الضروري كذلك فحص الجودة على المسارات الطويلة، لأن خطأ KV-cache يتراكم مع طول الإجابة.

وأخيرًا، يرتبط المكسب بدعم العتاد. فصيغة FP4 الأصلية (native) متوفرة في الأجيال الحديثة من المسرّعات، مثل معمارية Blackwell، أما على البطاقات الأقدم فلن يحقق مسار الـ 4 بتات هذا التسريع. وبالنسبة إلى المختبرات ذات الأسطول المحدود من GPU، تكمن أهمية أعمال مثل TRACE في أنها تتيح إنجاز عدد أكبر من تكرارات RL على العتاد نفسه. أما السؤال التالي فهو: إلى أي حد تتكرر النتيجة على نماذج بأحجام أخرى وفي مهام أخرى، من الرياضيات إلى البرمجة؟