miniTE يسرّع RL بصيغة NVFP4 على B300: 1,39× مقارنةً بـBF16 على Qwen3-30B-A3B

قدّم فريق InfiX.ai إطار miniTE، وهو إطار مفتوح لتدريب النماذج اللغوية الكبيرة بالتعلّم المعزَّز بصيغة NVFP4 الأصلية (W4A4، أي أوزان وتنشيطات بدقة 4 بت). وعلى عقدة واحدة من NVIDIA B300، يعالج الـ learner المحسَّن 33 540 توكن في الثانية. وهذا أسرع بمقدار 1,39 مرة من BF16، وأسرع بمقدار 1,47 مرة من التنفيذ الساذج لـ NVFP4 على Transformer Engine. ويبقى RL الطويل على Qwen3-30B-A3B مستقرًا، فيما تظل نتائج الاختبارات المعيارية قريبة من BF16.

الأوزان نفسها، سياسة مختلفة

يعتمد RL في نماذج LLM عادةً على محرّكين. الأول يولّد الإجابات (rollout)، والثاني يحسب التدرجات (learner). وتفترض الخوارزمية أن المحرّكين يريان السياسة نفسها. لكن احتمالات التوكنات المحسوبة في المحرّكين تتباعد عمليًا حتى مع أوزان متطابقة. وكلما انخفضت الدقة اتسعت الفجوة، وقد ينهار التدريب في النهاية.

وأظهر المؤلفون نتيجة غير مريحة: تطابق الأوزان والصيغة العددية لا يكفي. فحتى لو عمل الـ learner ومحرّك الـ rollout كلاهما بصيغة NVFP4، تبقى السياستان مختلفتين إذا اختلف ترتيب العمليات الحسابية ومخطط التحجيم وبنية النوى (kernels) بينهما. والنتيجة فجوة كبيرة بين التدريب والاستدلال. ويتراكم الخطأ من خطوة إلى أخرى، فيزعزع استقرار RL على الأفق الطويل.

يعالج miniTE المشكلة من جهتين: العددية والنظامية. ولا تتغير دالة الهدف في RL. فالإطار يوائم التنفيذ نفسه، ولا يعدّل خوارزمية التدريب.

التشخيص والمواءمة والنوى السريعة

الجزء الأول من miniTE هو مجموعة أدوات تشخيص. وهي تحدد المواضع التي يحسب فيها المحرّكان بطريقتين مختلفتين. وبعد المواءمة تنخفض الفجوة في لوغاريتم الاحتمال (log-probability) بين التدريب والاستدلال إلى نحو 1e-8 في الوضع الصارم (strict-alignment). وهذا مستوى يمكن عنده اعتبار التنفيذين سياسة واحدة عمليًا.

الجزء الثاني هو السرعة. فصيغة W4A4 الأصلية لا تكون مجدية إلا إذا كانت الحسابات بدقة 4 بت أسرع فعلًا. وقد حسّن المؤلفون نوى NVFP4 ومخطط التحجيم وعمليات GEMM المجمّعة. وهذه الأخيرة مهمة لمعماريات MoE مثل Qwen3-30B-A3B، حيث تتوزع الحسابات على عدد كبير من الخبراء. وبسبب الكلفة الإضافية لهذه العمليات تحديدًا، كثيرًا ما لا يحقق FP4 الساذج المكسب المتوقع. وهنا تبيّن أنه أبطأ حتى من BF16: يتفوق miniTE على TE NVFP4 بمقدار 1,47 مرة، وعلى BF16 بمقدار 1,39 مرة.

أبرز معطيات العمل:

• الإطار: miniTE، مفتوح، من فريق InfiX.ai (المؤلفون: Zhen Li, Mingfa Feng, Yiming Zhang, Yang Yu, Changhai Zhou, Pengxiang Li, Dongkuan Wu, Congkai Xie, Hongxia Yang)
• الصيغة: NVFP4 الأصلية، W4A4 (أوزان وتنشيطات بدقة 4 بت)
• النموذج المستخدم في الاختبار: Qwen3-30B-A3B، في تجارب RL طويلة
• العتاد: عقدة واحدة من NVIDIA B300 (ويُذكر في الإعلان تكوين 8×B300)
• معدل إنتاجية الـ learner: 33 540 توكن/ث عند التحديث الكامل
• التسارع مقارنةً بـ BF16: 1,39×
• التسارع مقارنةً بـ TE NVFP4: 1,47×
• الفجوة في log-prob بين التدريب والاستدلال: نحو 1e-8 في وضع strict-alignment
• الجودة: تدريب مستقر، ونتائج اختبارات معيارية قريبة من BF16 وأفضل من TE NVFP4 الساذج
• المتاح بالكود المفتوح: الإطار والنوى وأدوات التشخيص وإعدادات التدريب

ما يمكن الاستفادة منه في منظومتك

تهمّ أهم نتيجة عملية كل من يشغّل خط RL بـ learner وsampler منفصلين، حتى لو لم يكن يعمل بـ FP4. فإذا كنت تخفّض الدقة، فلا تكتفِ بفحص الأوزان، بل افحص أيضًا طريقة حساب كل محرّك. ويستحق مقياس تباعد log-prob بين المحرّكين موقعًا في المراقبة إلى جانب reward وKL.

وبالنسبة إلى الفرق التي تملك B300، يقدّم miniTE نقطة انطلاق جاهزة: يمكن أخذ النوى وأدوات التشخيص ووصفات التدريب وإعادة إنتاج النتائج على العتاد الخاص بها. ولم يُقَس هذا المكسب البالغ 1,39× مقارنةً بـBF16 حتى الآن إلا على عقدة واحدة ونموذج واحد. أما على العناقيد الأكبر ومع معماريات أخرى فسيلزم التحقق منه بشكل منفصل. لكن الاتجاه واضح: القيد أمام RL منخفض الدقة صار اتساق الحسابات بين المحرّكين، لا صيغة البيانات.

الورقة البحثية متاحة على arXiv (2610.23928)، والتفاصيل والمواد على صفحة المشروع infix.io/research/miniTE.