Qwen3.6-35B-A3B يحقق 109 رموز/ث على RTX 5080 مع RTX 3060 عبر PCIe Gen2 x4

شغّل أحد كتّاب Habr النموذج Qwen3.6-35B-A3B على بطاقتي RTX 5080 وRTX 3060، وحصل على 109 رموز في الثانية أثناء التوليد. تقع البطاقة الثانية في فتحة PCIe Gen2 x4، أي نحو 2 غيغابايت/ث نظريًا، وهذا أقل مما يوفره أي مشغّل NVMe منخفض التكلفة. ومع ذلك لم تؤثر هذه القناة في سرعة التوليد.

تقتصر النسخة المنشورة في RSS من المقال الأصلي على Habr على إعلان مقتضب، ولم يُكشف فيها عن إعدادات بيئة التشغيل (runtime) ولا عن التكميم. لذلك نشرح أدناه الآلية التي تفسّر النتيجة، ونميّز التقديرات التقريبية بشكل منفصل.

لماذا لا تخنق الفتحة الضيقة عملية التوليد؟

يسهل حساب عرض نطاق Gen2: يوفّر الخط الواحد 5 GT/s، ومع ترميز 8b/10b يتبقى نحو 500 ميغابايت/ث. وتمنح أربعة خطوط نحو 2 غيغابايت/ث. هذا رقم متواضع على الورق، وتمرير أوزان النموذج كاملة عبر قناة كهذه سيستغرق وقتًا طويلًا ومرهقًا.

لكن عند توزيع النموذج على البطاقات بحسب الطبقات لا تنتقل الأوزان بين البطاقات. تُحمَّل مرة واحدة في ذاكرة الفيديو وتبقى فيها. وفي كل خطوة لا ينتقل بين وحدتي GPU سوى متجه الحالة المخفية للرمز الحالي. حجمه يُقاس بالكيلوبايت، أي أن حركة البيانات لكل رمز ضئيلة جدًا. وفي حمل كهذا يكون زمن الاستجابة أهم من عرض القناة، وزمن الاستجابة في Gen2 لا يُذكر مقارنة بزمن العمليات الحسابية داخل الطبقات.

ماذا تضيف بنية MoE؟

يشير الرمز A3B في اسم النموذج إلى أنه من بين نحو 35 مليار معامل يُفعَّل نحو 3 مليارات لكل رمز، بينما تبقى بقية الخبراء في الذاكرة دون استخدام. ويعني ذلك في فك الترميز قراءة أوزان أقل لكل رمز، وسرعة التوليد عادةً ما تتحدد بعرض نطاق الذاكرة تحديدًا.

تقدير تقريبي: إذا كانت الأوزان بتكميم 4 بت، فتُقرأ نحو 1.5–2 غيغابايت لكل رمز. وعند 109 رموز/ث يصبح معدل القراءة الفعلي نحو 160–220 غيغابايت/ث. يبلغ عرض النطاق الأقصى لبطاقة RTX 5080 بذاكرة 16 غيغابايت من نوع GDDR7 نحو 960 غيغابايت/ث، ولبطاقة RTX 3060 بذاكرة 12 غيغابايت من نوع GDDR6 نحو 360 غيغابايت/ث. تنسجم الأرقام مع هذا التصور دون أي أمر استثنائي. وهذا تقديرنا نحن وليس بيانات من المؤلف.

يبلغ إجمالي ذاكرة الفيديو في هذا الثنائي 28 غيغابايت. وهي تكفي لنموذج 35B بتكميم 4 بت: تشغل الأوزان نحو 18–20 غيغابايت، ويبقى هامش لذاكرة KV-cache.

المعطيات الرئيسية

• النموذج: Qwen3.6-35B-A3B، MoE، نحو 35 مليار معامل، منها نحو 3 مليارات نشطة لكل رمز
• البطاقة الرئيسية: RTX 5080، بذاكرة 16 غيغابايت من نوع GDDR7
• البطاقة الثانية: RTX 3060، بذاكرة 12 غيغابايت من نوع GDDR6
• قناة البطاقة الثانية: PCIe Gen2 x4، نحو 2 غيغابايت/ث نظريًا
• سرعة التوليد: 109 رموز/ث

كيف تستفيد من ذلك عمليًا؟

الخلاصة الأهم لأصحاب العتاد القديم: البطاقة الثانية في فتحة «سيئة» ليست عديمة الفائدة. إذا كانت لديك بطاقة 3060 قديمة أو مشابهة، يمكنك توصيلها عبر فتحة x4 تابعة لمجموعة الشرائح (chipset) والحصول على غيغابايتات إضافية من ذاكرة الفيديو لتشغيل نموذج MoE كبير.

هناك عدة تحفظات، وهي تخص حالات لا يصفها الإعلان.

• وضع التوزيع مهم. التوزيع بحسب الطبقات (layer split) لا يحمّل الناقل إلا قليلًا. أما التوازي التنسوري (tensor parallelism) فيمرر البيانات بين البطاقات في كل طبقة، وسينخفض الأداء بوضوح على Gen2 x4.
• معالجة الموجّه (prefill) تحمّل الناقل أكثر من التوليد. إذا كنت تغذّي النماذج بسياقات طويلة، فقِس الزمن حتى أول رمز بمعزل عن رموز/ث.
• وزّع الطبقات بشكل غير متساوٍ. ينبغي إعطاء البطاقة الأسرع طبقات أكثر، وإعطاء البطاقة الأبطأ ما لا يتسع في 16 غيغابايت فقط.
• تحقق من العرض الفعلي للوصلة في GPU-Z أو عبر lspci. بعض الفتحات المكتوب عليها x16 تعمل في الواقع بنمط x4 أو حتى x1.

والخلاصة بسيطة: في فك ترميز النماذج المتناثرة (sparse)، يحسم حجم ذاكرة الفيديو وسرعتها الأمر أكثر من عرض الناقل بين البطاقات. وقبل شراء بطاقة ثانية لمنصة من الفئة العليا، يجدر التحقق مما إذا كانت الفتحة الموجودة لديك كافية.