ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةتحليل · على الرادارNVIDIA Developer Blog→ المصدر

NVIDIA تشرح كيفية تدريب نماذج Transformer بدقة منخفضة دون خسارة في الجودة

نشرت NVIDIA دليلًا تقنيًا لتدريب نماذج Transformer بدقة حسابية منخفضة، هي FP8 وBF16. وكلما كبر النموذج، ارتفعت تكلفة كل تجربة. ويتيح التدريب منخفض الدقة خفض استهلاك ذاكرة GPU إلى النصف وتسريع عمليات التشغيل التدريبية. ويتناول الدليل الدقة المختلطة وتحجيم الخسارة (loss scaling) ومكتبة TransformerEngine الخاصة بمعمارية Hopper.

معالج بواسطة الذكاء الاصطناعي من NVIDIA Developer Blog؛ بتحرير Hamidun News
NVIDIA تشرح كيفية تدريب نماذج Transformer بدقة منخفضة دون خسارة في الجودة
المصدر: NVIDIA Developer Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليNVIDIA Developer Blog ↗
رئيس التحرير
حقيقة رئيسية #1FP16 — أعداد عشرية ذات 16 بت؛ تدعمها معظم وحدات GPU الحديثة
حقيقة رئيسية #2BF16 — Brain Float 16؛ مدى ديناميكي أوسع، وهي أنسب لتدريب النماذج الكبيرة غير المستقر
حقيقة رئيسية #3FP8 — صيغة بثمانية بتات متاحة على معمارية Hopper (H100 وH200)؛ توفر ضعف معدل إنجاز العمليات المصفوفية مقارنة بـ BF16

نشرت NVIDIA في مدونة المطورين (Developer Blog) دليلًا مفصلًا لتحسين معماريات Transformer من أجل التدريب بدقة حسابية منخفضة، هي FP8 وBF16. والمقال موجّه إلى المهندسين الراغبين في خفض تكلفة عمليات التدريب دون الإضرار بجودة النموذج.

لماذا يهم هذا الفرق الهندسية

تشكّل نماذج Transformer أساس معظم النماذج اللغوية والتوليدية الحديثة. ومع نمو حجمها، من مليارات المعاملات إلى عشرات المليارات، ترتفع تكلفة عملية التدريب الواحدة ارتفاعًا أسيًّا. فكل تكرار للتجربة يستهلك ساعات GPU أكثر، ما يبطئ التطوير ويزيد كلفته.

عمليًا، لا يُعدّ بطء التدريب مجرد إزعاج تقني، بل قيدًا على عدد الفرضيات التي يستطيع الفريق اختبارها خلال ربع سنة، وعلى حجم النموذج الذي يمكنه تحمّل كلفته. وتصف NVIDIA تسريع نماذج Transformer بأنه شرط للقدرة التنافسية، لا مجرد تحسين.

ما المقصود بالتدريب منخفض الدقة

يجري التدريب القياسي للشبكات العصبية بصيغة 32 بت (FP32)، وهي تمنح دقة عددية عالية لكنها تستهلك ذاكرة كبيرة وتعمل أبطأ على وحدات GPU الحديثة. ويتيح خفض عدد البتات استيعاب بيانات أكثر في ذاكرة الفيديو وتسريع العمليات المصفوفية:

  • FP16 — أعداد عشرية ذات 16 بت؛ تدعمها معظم وحدات GPU الحديثة
  • BF16 — Brain Float 16؛ مدى ديناميكي أوسع، وهي أنسب لتدريب النماذج الكبيرة غير المستقر
  • FP8 — صيغة بثمانية بتات متاحة على معمارية Hopper (H100 وH200)؛ توفر ضعف معدل إنجاز العمليات المصفوفية مقارنة بـ BF16
  • INT8 — أعداد صحيحة بثمانية بتات؛ تُستخدم غالبًا في الاستدلال (inference) أكثر من التدريب

يكمن التحدي الرئيسي في الحفاظ على الاستقرار العددي عند خفض الدقة بهذا الشكل. فالانتقال الساذج من FP32 إلى FP8 يؤدي إلى تباعد التدرجات (gradients) وعدم استقرار التدريب.

التقنيات التي توصي بها NVIDIA

لا يكفي استبدال الصيغة ببساطة، لذلك تصف NVIDIA عدة أساليب مجرَّبة.

الدقة المختلطة (mixed precision). تُخزَّن الأوزان بصيغة FP32، بينما تُنفَّذ المرحلتان الأمامية والخلفية بصيغة FP16 أو BF16. وهذا يجمع بين سرعة الحساب منخفض الدقة وموثوقية تخزين المعاملات بدقة كاملة، وهو المعيار الفعلي لمعظم مسارات التدريب الحديثة.

تحجيم الخسارة (loss scaling). تمثّل صيغة FP16 الأعداد الصغيرة جدًا تمثيلًا ضعيفًا، وقد تتحول تدرجات الطبقات المتأخرة إلى أصفار. يضخّم تحجيم الخسارة قيمة دالة الخسارة اصطناعيًا قبل المرحلة الخلفية، ثم يعيد تحجيم التدرجات إلى قيمها الأصلية. وتنفّذ التطبيقات الحديثة ذلك تلقائيًا وبصورة تكيفية.

TransformerEngine. مكتبة متخصصة من NVIDIA تدير الدقة تلقائيًا على مستوى كل طبقة من طبقات Transformer. وتدعم FP8 على Hopper، وتتكامل مع PyTorch وJAX وMegatron-LM. فبدلًا من إعادة كتابة كامل شيفرة التدريب، يضيف المهندس TransformerEngine ويحصل على تسريع FP8 بأقل قدر من التعديلات.

«مع نمو النماذج، تستهلك عمليات التدريب ساعات GPU ووقتًا هندسيًا متزايدين. وهذا يؤثر مباشرة في مدى سرعة تجريب الفرق وفي حجم النموذج الذي تستطيع تحمّل كلفته»، — NVIDIA

Developer Blog.

ماذا يعني ذلك

يصدر الدليل في وقت صارت فيه كفاءة التدريب بأهمية دقة النموذج نفسها. فالفرق التي تعمل على H100 أو H200 تحصل على تعليمات محددة: FP8 عبر TransformerEngine هو أحد أيسر السبل لخفض ميزانية GPU دون إعادة تصميم المعمارية. وبالنسبة إلى المختبرات الصغيرة، قد يعني ذلك الفرق بين تدريب نموذج بـ 70 مليار معامل والتخلي عنه بسبب كلفته.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا يهم هذا الفرق الهندسية؟

تشكّل نماذج Transformer أساس معظم النماذج اللغوية والتوليدية الحديثة. ومع نمو حجمها، من مليارات المعاملات إلى عشرات المليارات، ترتفع تكلفة عملية التدريب الواحدة ارتفاعًا أسيًّا. فكل تكرار للتجربة يستهلك ساعات GPU أكثر، ما يبطئ التطوير ويزيد كلفته. عمليًا، لا يُعدّ بطء التدريب مجرد إزعاج تقني، بل قيدًا على عدد الفرضيات التي يستطيع الفريق اختبارها خلال ربع سنة، وعلى حجم النموذج الذي يمكنه تحمّل كلفته. وتصف NVIDIA تسريع نماذج Transformer بأنه شرط للقدرة التنافسية، لا مجرد تحسين.

ما أبرز التفاصيل حول ما المقصود بالتدريب منخفض الدقة؟

يجري التدريب القياسي للشبكات العصبية بصيغة 32 بت (FP32)، وهي تمنح دقة عددية عالية لكنها تستهلك ذاكرة كبيرة وتعمل أبطأ على وحدات GPU الحديثة. ويتيح خفض عدد البتات استيعاب بيانات أكثر في ذاكرة الفيديو وتسريع العمليات المصفوفية: FP16 — أعداد عشرية ذات 16 بت؛ تدعمها معظم وحدات GPU الحديثة BF16 — Brain Float 16؛ مدى ديناميكي أوسع، وهي أنسب لتدريب النماذج الكبيرة غير المستقر FP8 — صيغة بثمانية بتات متاحة على معمارية Hopper (H100 وH200)؛ توفر ضعف معدل إنجاز العمليات المصفوفية مقارنة بـ BF16 INT8 —…

ما أبرز التفاصيل حول التقنيات التي توصي بها NVIDIA؟

لا يكفي استبدال الصيغة ببساطة، لذلك تصف NVIDIA عدة أساليب مجرَّبة. الدقة المختلطة (mixed precision). تُخزَّن الأوزان بصيغة FP32، بينما تُنفَّذ المرحلتان الأمامية والخلفية بصيغة FP16 أو BF16. وهذا يجمع بين سرعة الحساب منخفض الدقة وموثوقية تخزين المعاملات بدقة كاملة، وهو المعيار الفعلي لمعظم مسارات التدريب الحديثة. تحجيم الخسارة (loss scaling). تمثّل صيغة FP16 الأعداد الصغيرة جدًا تمثيلًا ضعيفًا، وقد تتحول تدرجات الطبقات المتأخرة إلى أصفار.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…