NVIDIA TensorRT يحوّل نقاط FP8 المحفوظة إلى محرّكات للاستدلال السريع

نشرت NVIDIA دليلًا مفصّلًا لتحويل نقاط FP8 المحفوظة المكمّمة إلى محرّكات TensorRT، وهي الخطوة الأخيرة التي تحدد السرعة الفعلية وتكلفة الاستدلال في بيئة الإنتاج.

لماذا هذه الخطوة ضرورية

تكميم النموذج ليس سوى نصف العمل. فبعد ضغط الأوزان من دقة 16 بت إلى 8 بت، يُخزَّن ملف النقطة المحفوظة (checkpoint) بصيغة محسَّنة، لكن وحدة GPU لا تستطيع التعامل معه مباشرة. وتلزم مرحلة إضافية هي التجميع (compilation) في محرّك متخصص.

يأخذ TensorRT مخطط الحسابات المكمّم ويعيد هيكلته ليناسب العتاد المحدد. فهو يدمج العمليات المتوافقة (layer fusion)، ويختار أكفأ نوى CUDA لكل عملية، ويوزّع الذاكرة مسبقًا. والنتيجة ملف `.engine` واحد مدمج، مصمَّم لوحدة GPU معينة وإصدار CUDA محدد.

ما الذي تقدمه حزمة FP8 + TensorRT

أصبحت FP8، وهي صيغة ثمانية بت بفاصلة عائمة، المعيار الفعلي للتكميم على بطاقات معماريتي Hopper (H100) وAda Lovelace (RTX 4090). مزاياها مقارنةً بـ FP16:

• نصف حجم الذاكرة المرئية المطلوبة لأوزان النموذج
• ضعف الإنتاجية في العمليات المصفوفية على tensor cores
• خسارة أقل بكثير في الدقة مقارنةً بـ INT8
• دعم على مستوى العتاد، دون محاكاة برمجية

عند تجميع نموذج FP8 في محرّك TensorRT، تتراكم هذه التأثيرات. ويسجّل مهندسو NVIDIA تسارعًا في الاستدلال من 2 إلى 4 مرات مقارنةً بخط الأساس FP16 على PyTorch، مع مؤشرات دقة مماثلة.

CLIP مثالًا تعليميًا

يعتمد الدليل على نموذج CLIP (Contrastive Language-Image Pretraining)، وهو مرمِّز مزدوج (dual encoder) يربط الأوصاف النصية بالصور. ويدخل CLIP في معظم مسارات النماذج الانتشارية، ومنها Stable Diffusion وFLUX وما يماثلها. وتؤثر سرعة عمله مباشرة في زمن توليد كل صورة.

«ننتج نقطة محفوظة عالية الجودة لنموذج CLIP مكمّمة بصيغة FP8 باستخدام

TensorRT Model Optimizer، ثم نحوّلها إلى محرّك استدلال متكامل»، هكذا يصف مهندسو NVIDIA هدف الدليل.

من الناحية التقنية، تسير العملية على النحو التالي: تحميل النقطة المحفوظة عبر واجهة TensorRT Model Optimizer API، ثم تتبّع مخطط ONNX، ثم التجميع عبر أداة `trtexec` أو عبر روابط Python. ويجرّب TensorRT تلقائيًا التكتيكات المتاحة لكل طبقة ويختار أسرعها. وتستغرق هذه العملية بضع دقائق، لكن نتيجتها تُخزَّن مؤقتًا ولا يُعاد حسابها.

ثمة قيد مهم: ملف `.engine` مرتبط بوحدة GPU محددة وإصدار CUDA محدد. فالمحرّك المبني لـ H100 لن يعمل على A100 أو RTX 4090. وفي العناقيد غير المتجانسة يجب بناء محرّك منفصل لكل نوع من المسرِّعات، ولا بد من إدراج ذلك في مسار CI/CD الخاص بالنشر.

ماذا يعني هذا

أصبحت حزمة TensorRT + FP8 معيارًا للنشر الإنتاجي للنماذج الكبيرة. فالتسارع من 2 إلى 4 أضعاف على وحدة GPU واحدة يعني إما توفيرًا مباشرًا في تكلفة العنقود، وإما القدرة على خدمة ضعف عدد المستخدمين على العتاد نفسه.

ويخفّض دليل NVIDIA عتبة الدخول: فلم يعد الأمر غرابة تقنية يتقنها الخبراء وحدهم، بل عملية موثّقة مع شيفرة جاهزة.