ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارX: @crazyMLguy→ المصدر

NVIDIA تسرّع توليد النصوص بنسبة 42,5% في نموذج بحجم 124B على حاسوب DGX Spark المكتبي

لا يعود بطء الشبكة العصبية إلى ضعف الحوسبة وحده: فهي مضطرة عند كل كلمة إلى قراءة حجم هائل من الأوزان من الذاكرة. سرّعت NVIDIA على حاسوب DGX Spark المكتبي نموذج Ling-3.0-Flash من نوع MoE بحجم 124 مليار معامل بثلاثة أساليب: ارتفعت سرعة التوليد في اختبار GSM8K بنسبة 42,5%، وانخفض متوسط التأخير بنسبة 24,5%، ولم تتغير الدقة. قبل شراء عتاد جديد، تحقق من النوى (kernels) والتكميم (quantization) وطريقة فك الترميز.

معالج بواسطة الذكاء الاصطناعي من X: @crazyMLguy؛ بتحرير Hamidun News
NVIDIA تسرّع توليد النصوص بنسبة 42,5% في نموذج بحجم 124B على حاسوب DGX Spark المكتبي
المصدر: X: @crazyMLguy. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليX: @crazyMLguy ↗
رئيس التحرير
حقيقة رئيسية #1نوى Humming kernels أضافت 9,3% إلى معدل الإنتاجية
حقيقة رئيسية #2FP8 يضغط أوزان الطبقة الأخيرة، فيُقرأ من الذاكرة قدر أقل من البيانات
حقيقة رئيسية #3فك الترميز التخميني (speculative decoding) يتحقق من عدة رموز (tokens) دفعة واحدة في كل جولة

عندما تكتب الشبكة العصبية إجابتها ببطء، يكون أول ما يخطر على البال أننا بحاجة إلى بطاقة رسوميات أقوى. لكن NVIDIA بيّنت في مدونتها التقنية أن الحل كثيرًا ما يكون في مكان آخر: على العتاد نفسه يمكن استخلاص أداء أعلى بكثير إذا جرى العمل على الجانب البرمجي. شغّل الفريق على حاسوب DGX Spark المكتبي نموذج Ling-3.0-Flash، وهو نموذج MoE بحجم 124 مليار معامل. وبعد ثلاثة تحسينات ارتفعت سرعة توليد النص (ما يُعرف بمعدل إنتاجية فك الترميز، أي عدد الرموز في الثانية التي يخرجها النموذج) بنسبة 42,5%. وانخفض متوسط زمن التأخير في الاستجابة بنسبة 24,5%. أُجريت الاختبارات على معيار GSM8K الذي يضم مسائل رياضيات مدرسية، وبقيت الدقة تقريبًا كما كانت.

ما الذي جرى تسريعه بالضبط

MoE (mixture of experts) بنية يعمل فيها عند كل رمز جزء فقط من «خبراء» النموذج. تقل الحسابات بذلك، لكن عدد الأوزان يظل ضخمًا جدًا، ويتعين قراءتها من الذاكرة باستمرار. وفي الأجهزة المدمجة مثل DGX Spark تكون الذاكرة في الغالب عنق الزجاجة عند توليد النص. لذلك تناولت NVIDIA ثلاث نقاط في وقت واحد.

الأولى نوى حسابية محسّنة تُسمى في المادة Humming kernels. وحدها أضافت نحو 9,3% إلى معدل الإنتاجية. الزيادة متواضعة، لكنها تحققت دون أي تغيير في النموذج نفسه.

الثانية التكميم بصيغة FP8 للطبقة الأخيرة. في كل خطوة تلجأ هذه الطبقة إلى جدول كبير من الأوزان لاختيار الكلمة التالية. وإذا خُزّن الجدول بصيغة أكثر إحكامًا، فإن قدرًا أقل من البيانات يُقرأ من الذاكرة في كل خطوة. الأمر أشبه بساعٍ ينقل الطرود نفسها، لكن في علب أخف.

الثالثة فك الترميز التخميني (speculative decoding). النموذج المعتاد يخرج رمزًا واحدًا في كل مرور. أما في النهج التخميني فتُقترح أولًا عدة رموز مرشحة دفعة واحدة، ثم يتحقق منها النموذج الرئيسي في جولة واحدة. تُقبل المرشحات الصحيحة كحزمة، فيُنتَج نص أكثر في الوقت نفسه. يشبه ذلك الإكمال التلقائي في الهاتف: بدل أن تتحقق من كل حرف، تراجع عبارة كاملة دفعة واحدة.

ما النتيجة الإجمالية

التحسينات الثلاثة مجتمعة حققت على GSM8K النتائج التالية:

  • سرعة فك الترميز أعلى بنسبة 42,5%؛
  • متوسط التأخير أقل بنسبة 24,5%؛
  • الدقة لم تتغير عمليًا.

النقطة الأخيرة لا تقل أهمية عن الأوليين. فعادةً ما يُطرح سؤال بشأن التكميم والمخططات التخمينية: هل دفعتَ ثمن السرعة من جودة الإجابات؟ وبحسب بيانات NVIDIA، بقيت الجودة على GSM8K عند مستواها السابق. ومع ذلك فإن نسبة 42,5% حصيلة مزيج من الأساليب، وهي لا تساوي مجموع المساهمات المنفردة، أما 9,3% الآتية من النوى فليست سوى جزء من الصورة العامة.

ماذا يفعل الممارس

لمن يشغّلون النماذج الكبيرة محليًا أو على خوادم صغيرة، الخلاصة بسيطة: قبل البحث عن عتاد أغلى، تحقق من ثلاثة أمور.

  • أي نوى يستخدمها محرك الاستدلال (inference) لديك.
  • هل يمكن ضغط أكثر أجزاء النموذج «استهلاكًا» لقراءة الذاكرة دون خسارة في الجودة.
  • هل تدعم حزمتك البرمجية فك الترميز التخميني لنموذجك.

يكتسب هذا أهمية خاصة للفرق التي تبني مساعدين خاصين ووكلاء محليين ونماذج أولية على محطات العمل المكتبية. فبالنسبة إليها، كل نسبة مئوية من السرعة تعني تأخيرًا أقل في الحوار وقدرة على خدمة طلبات أكثر بالميزانية نفسها.

القيود

هذا مثال واحد: نموذج واحد، ونوع واحد من العتاد، ومعيار اختبار واحد. يقيس GSM8K الاستدلال الحسابي، وفي الحوارات الطويلة أو الشيفرة البرمجية أو المهام متعددة اللغات قد يتصرف التكميم وفك الترميز التخميني على نحو مختلف. كما أن الأرقام مأخوذة من المدونة التقنية لـNVIDIA نفسها، ولا توجد حتى الآن قياسات مستقلة. وقبل اعتماد هذه الأساليب في بيئة الإنتاج، ينبغي اختبارها على بياناتك الخاصة وبمقاييس الجودة التي تعتمدها.

ومع ذلك فالخلاصة العامة واضحة: في الاستدلال، يعود جزء معتبر من المكسب إلى العمل الهندسي على الذاكرة وفك الترميز، لا إلى شراء مسرّع جديد.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي جرى تسريعه بالضبط؟

MoE (mixture of experts) بنية يعمل فيها عند كل رمز جزء فقط من «خبراء» النموذج. تقل الحسابات بذلك، لكن عدد الأوزان يظل ضخمًا جدًا، ويتعين قراءتها من الذاكرة باستمرار. وفي الأجهزة المدمجة مثل DGX Spark تكون الذاكرة في الغالب عنق الزجاجة عند توليد النص. لذلك تناولت NVIDIA ثلاث نقاط في وقت واحد. الأولى نوى حسابية محسّنة تُسمى في المادة Humming kernels. وحدها أضافت نحو 9,3% إلى معدل الإنتاجية. الزيادة متواضعة، لكنها تحققت دون أي تغيير في النموذج نفسه. الثانية التكميم بصيغة FP8 للطبقة الأخيرة.

ما أبرز التفاصيل حول ما النتيجة الإجمالية؟

التحسينات الثلاثة مجتمعة حققت على GSM8K النتائج التالية: سرعة فك الترميز أعلى بنسبة 42,5%؛ متوسط التأخير أقل بنسبة 24,5%؛ الدقة لم تتغير عمليًا. النقطة الأخيرة لا تقل أهمية عن الأوليين. فعادةً ما يُطرح سؤال بشأن التكميم والمخططات التخمينية: هل دفعتَ ثمن السرعة من جودة الإجابات؟ وبحسب بيانات NVIDIA، بقيت الجودة على GSM8K عند مستواها السابق. ومع ذلك فإن نسبة 42,5% حصيلة مزيج من الأساليب، وهي لا تساوي مجموع المساهمات المنفردة، أما 9,3% الآتية من النوى فليست سوى جزء من الصورة العامة.

ما أبرز التفاصيل حول ماذا يفعل الممارس؟

لمن يشغّلون النماذج الكبيرة محليًا أو على خوادم صغيرة، الخلاصة بسيطة: قبل البحث عن عتاد أغلى، تحقق من ثلاثة أمور. أي نوى يستخدمها محرك الاستدلال (inference) لديك. هل يمكن ضغط أكثر أجزاء النموذج «استهلاكًا» لقراءة الذاكرة دون خسارة في الجودة. هل تدعم حزمتك البرمجية فك الترميز التخميني لنموذجك. يكتسب هذا أهمية خاصة للفرق التي تبني مساعدين خاصين ووكلاء محليين ونماذج أولية على محطات العمل المكتبية. فبالنسبة إليها، كل نسبة مئوية من السرعة تعني تأخيرًا أقل في الحوار وقدرة على خدمة طلبات أكثر بالميزانية نفسها.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…