NVIDIA Transformer Engine: نوى GPU المدمجة وصيغتا FP8 وBF16 لتدريب نماذج Transformer

NVIDIA Transformer Engine مكتبة لتسريع تدريب نماذج Transformer على وحدات GPU من جيل Ampere وما بعده. يوضح دليل تعليمي نُشر في 1 أغسطس 2026 على MarkTechPost كيفية ربط TE بنموذج شبيه بـ GPT، وضبط التكميم بصيغة FP8، وقياس المكسب في السرعة والذاكرة.

ما هي NVIDIA Transformer Engine

NVIDIA Transformer Engine مكتبة رسمية لتحسين نماذج Transformer على وحدات GPU من جيل Ampere وما بعده. وتوفّر بدائل جاهزة (drop-in) لطبقات PyTorch القياسية: `te.Linear` و`te.LayerNorm` و`te.LayerNormLinear` و`te.LayerNormMLP`، إضافة إلى كتلة `te.TransformerLayer` الكاملة. تعمل جميع المكونات بصيغة BF16 افتراضيًا، وتتوفر نوى FP8 tensor cores على البطاقات ذات compute capability ≥ 8.9.

أبرز مكونات المكتبة:

• `te.Linear` — طبقة خطية تدعم FP8 tensor cores
• `te.LayerNormLinear` — تجمع LayerNorm والإسقاط الخطي في نواة واحدة
• `te.LayerNormMLP` — كتلة MLP مدمجة (fused) مع التطبيع
• `te.TransformerLayer` — كتلة Transformer كاملة: الانتباه وFFN والتطبيع
• عودة تلقائية إلى PyTorch الصرف عند استخدام GPU لا تدعم TE

كيف يعمل FP8 وDelayedScaling

يُفعَّل وضع FP8 عبر وصفة `DelayedScaling` من `transformer_engine.common.recipe`. تتحكم هذه الوصفة في سجل القيم القصوى للتنسورات (`amax_history_len=16`) وفي خوارزمية الحساب (`amax_compute_algo="max"`) وفي الصيغة الهجينة E4M3/E5M2: توفّر الصيغة الأولى الدقة اللازمة للتنشيطات، بينما توفّر الثانية نطاقًا ديناميكيًا أوسع للتدرجات.

وتتمثل الميزة الأساسية للتحجيم المؤجَّل في تجميع الإحصاءات على مدى 16 تكرارًا قبل تحديث مقياس التنسور. ويُثبّت ذلك التدريب في الخطوات الأولى، حين لا يكون توزيع التنشيطات قد استقر بعد.

«تجمع

Transformer Engine بين النوى المدمجة وتحجيم FP8 ومسارات التنفيذ المحسّنة لـ Ampere، مما يجعلها خيارًا عمليًا لتدريب النماذج الكبيرة»، وفق ما ورد في وثائق NVIDIA الرسمية.

يبني مؤلفو الدليل نموذجًا مصغّرًا شبيهًا بـ GPT باسم `MiniGPT_TE`: أربع كتل `te.TransformerLayer`، وفضاء بأبعاد 768، و12 رأس انتباه، ومفردات من 96 رمزًا، وطول تسلسل 256. ويُدرَّب النموذج على بيانات اصطناعية حتمية. وتُظهر القياسات أن وضع FP8 على وحدات GPU من فئة H100 يخفض ذروة استهلاك VRAM وزمن الخطوة الواحدة مقارنةً بـ BF16، مع بقاء الدقة قابلة للمقارنة، إذ يتحقق المؤلفون منها عبر التوليد ذاتي الانحدار بعد انتهاء التدريب.

متطلبات GPU

تعمل Transformer Engine فقط على وحدات GPU ذات compute capability ≥ 8.0 (معمارية Ampere). وتتوفر FP8 tensor cores ابتداءً من CC ≥ 8.9، أي معماريتي Ada Lovelace (RTX 40xx) وHopper (H100/H200). أما على بطاقات T4 وما قبلها، فتعود المكتبة إلى PyTorch الصرف دون نوى مدمجة.

• الحد الأدنى لنوى TE: Ampere، CC ≥ 8.0 — A10 وA100 وRTX 30xx
• الحد الأدنى لـ FP8: Ada Lovelace / Hopper، CC ≥ 8.9
• التثبيت: `pip install transformer_engine[pytorch]`
• الاعتماديات: CUDA 11.8+ وPyTorch 2.0+

ووفق مؤلفي الدليل، تكفي وحدة GPU من طراز A100 أو L4 في Google Colab لإعادة إنتاج التجربة كاملة؛ أما على T4 فيتوفر وضع العودة إلى PyTorch وحده دون نوى مدمجة.

ماذا يعني ذلك

تخفّض NVIDIA Transformer Engine عتبة الدخول إلى التدريب منخفض الدقة: فبدلًا من تنفيذ تكميم FP8 يدويًا، يكفي استبدال طبقات PyTorch القياسية بنظيراتها في TE. وبالنسبة إلى الفرق التي تدرّب نماذج كبيرة على عناقيد GPU، فهذه طريقة عملية لخفض استهلاك الذاكرة وزمن التكرار دون إعادة تصميم المعمارية.

الأسئلة الشائعة

هل أحتاج إلى H100 لاستخدام Transformer Engine؟

لا. تعمل NVIDIA Transformer Engine على أي GPU ذات compute capability ≥ 8.0، بما في ذلك A100 وRTX 3090. أما FP8 tensor cores فلا تتوفر إلا مع CC ≥ 8.9، أي على H100 وRTX 4090؛ وعلى البطاقات الأخرى تنتقل المكتبة تلقائيًا إلى BF16.

كيف أثبّت Transformer Engine؟

يتم التثبيت عبر pip: `pip install transformer_engine[pytorch]`. ويتطلب ذلك CUDA 11.8 أو أحدث وPyTorch 2.0+.