Strata تشغّل Qwen3.8-Flash-Next على RTX 5070 بذاكرة 12 غيغابايت: 94 رمزًا في الثانية بتكميم Q2_0

يشغّل مشروع Strata نموذج MoE المسمى Qwen3.8-Flash-Next على بطاقة الرسوميات RTX 5070 بذاكرة سعتها 12 غيغابايت، ويحقق 94 رمزًا في الثانية. وتأتي هذه النتيجة من التكميم Q2_0 (أي ضغط الأوزان إلى نحو بتين) مع معالج Ryzen 5 7600 وذاكرة وصول عشوائي سعتها 64 غيغابايت. وسرّ ذلك تسلسل هرمي للذاكرة يشبه ذاكرات التخزين المؤقت في المعالج: تؤدي VRAM وRAM وSSD أدوار المستويات L1 وL2 وL3. وينشّط Mixture of Experts مع كل رمز نحو عشرة خبراء فقط من أصل 24 576، لكن لا بد من تخزين جميع الأوزان، وهذه هي المشكلة التي تعالجها Strata.

ثلاثة مستويات للذاكرة بدل VRAM واحدة

يقلّص تباعد MoE الحسابات لكل رمز، لكنه لا يقلّص البايتات التي يجب الاحتفاظ بها لتشغيل النموذج. فالنموذج الكثيف (Dense) بالحجم نفسه يقرأ من الذاكرة جميع الأوزان في كل خطوة، بينما يقرأ MoE جزءًا صغيرًا منها فقط. وتوزّع Strata البيانات على النحو التالي:

• L1، ذاكرة الفيديو. طبقات الانتباه وDeltaNet والموجّهات (routers) والخبراء الأكثر طلبًا وطبقة MTP وذاكرة KV-cache وذاكرة مؤقتة للخبراء الشائعين.
• L2، ذاكرة الوصول العشوائي. جميع الخبراء البالغ عددهم 24 576، ويعمل معهم المعالج بالتوازي مع GPU.
• L3، القرص. جدول n-gram بحجم عدة عشرات من الغيغابايت. يقرأ النظام منه لكل رمز عددًا قليلًا من الصفوف، ولذلك تكفي سرعات SSD.

جُرّبت حلول هجينة من قبل، لكنها اصطدمت بحدود عرض نطاق PCIe. وتتجاوز Strata هذا القيد: إذا لم يكن الخبير المطلوب في VRAM، فلا تنسخه عبر الناقل، بل يحسبه CPU مباشرة في ذاكرة الوصول العشوائي. لذلك تبقى سعة ذاكرة الفيديو أهم من قدرة GPU: فكل غيغابايت من VRAM يضيف إلى الذاكرة المؤقتة السريعة نحو 700 خبير. وتعمل التحسينات المعتادة أيضًا: MTP (التنبؤ بعدة رموز في الخطوة الواحدة) وتحميل خبراء الطبقة التالية أثناء حساب الانتباه في الطبقة الحالية.

النماذج والتكميمات والسرعة

يدعم المشروع حاليًا Qwen3.8-Flash-Next وQwen3.6-35B-A3B وDeepSeekV4.1-Flash-1017. وتصدر أفضل التكميمات عن مختبر الخوارزميات والأنظمة الموزعة في معهد العلوم والتكنولوجيا النمساوي، وهو يطوّر طرق التكميم GSQ/RCO وينشر نتائجه على HuggingFace. وأصبح اختيار التكميم مرتبطًا بمجموع RAM وVRAM. وبالنسبة إلى Qwen3.8-Flash-Next (يذكر المصدر 125 مليار و180 مليار معامل معًا) فالحدود الدنيا كالتالي: Q2_0 — نحو 38 غيغابايت، وIQ2_XS — نحو 40، وIQ3_XXS — نحو 47، وIQ3_S — نحو 55 غيغابايت. وبالنسبة إلى DeepSeekV4.1-Flash-1017 (763 مليار معامل): IQ1_M — نحو 46 غيغابايت، وIQ2_XXS — 54، وIQ2_XS — 64 غيغابايت.

نسبة الاحتفاظ بالجودة مقارنةً بالنموذج الأساسي BF16: IQ3_S — 90,0%، وIQ3_XXS — 87,3%، وIQ2_XS — 85,0%، وQ2_0 — 84,1%، بينما يبلغ UD-Q4_K_XL نسبة 94,1%.

تتفاوت السرعات التي جمعها المؤلف من الإنترنت بحسب التهيئة. فعلى RTX 5070 بسعة 12 غيغابايت تقابل التكميمات Q2_0 وIQ2_XS وIQ3_S السرعات 94 و79 و53 رمزًا في الثانية. ويحقق RTX 4070 مع 32 غيغابايت من RAM وتكميم IQ2_XS سرعة 48، وStrix Halo مع UD-IQ4_XS سرعة 40، ووحدة الرسوميات المدمجة Radeon 780M مع Q2_0 وMTP سرعة 14. أما القياس الذي أجراه المؤلف بنفسه: IQ3_S على RTX A6000 بسعة 48 غيغابايت مع 128 غيغابايت من RAM ومعالج Threadripper 3970X وسياق 256K فيحقق 150 رمزًا في الثانية.

ويعمل DeepSeekV4.1-Flash-1017 بسرعة أبطأ بوضوح: من 5 رموز في الثانية على RTX 5070 مع IQ2_XXS إلى 25 على RTX 4090 مع IQ2_XS. وسجّل قياس المؤلف على A6000 مع IQ2_XS سرعة 30 رمزًا في الثانية.

Project Maya وثمن الاختراق

أدّى التحسين المكثف للمحرك لخدمة التكميمات إلى إغلاق الطريق أمام نماذج العائلات الأخرى، فظهر تفرّع باسم Project Maya. وهو يشغّل GLM-5.3-Flash (321 مليار) وDeepSeek-V4.1-Flash-1017 (748 مليار) وMiniMax-M3.1-Flash (428 مليار). ويتوافر GLM-5.3-Flash بنسخة abliterated بلا رقابة، وهو أمر مفيد للهندسة العكسية، كما يتيح السياق الذي يصل إلى 1M إجراء جلسات طويلة دون ضغط.

أصدر المطورون أربعة تكميمات، والدقة معطاة نسبةً إلى FP8:

• Maya-S، 96,5 غيغابايت، للبطاقات حتى 16 غيغابايت، 97,9%؛
• Maya-S24، 94,7 غيغابايت، للبطاقات من 16 إلى 24 غيغابايت، 97,7%؛
• Maya-M، 116 غيغابايت، للبطاقات من 24 إلى 48 غيغابايت، 97,9%؛
• Maya-L، 156,3 غيغابايت، للبطاقات من 48 غيغابايت فأكثر، 99,2%.

الحد الأدنى للتشغيل هو 32 غيغابايت من RAM. وعلى بطاقتي H100 بسعة 80 غيغابايت يحقق Maya-L مع سياق 1M سرعة 122–124 رمزًا في الثانية. ويحقق S24 على RTX 3090 مع 128 غيغابايت من RAM سرعة 26,0، وعلى RTX 5090 سرعة 23,0، وعلى RTX 4090 مع سياق 32K سرعة 16,6. وسجّل قياس المؤلف لـ Maya-M على A6000 مع سياق 1M سرعة 28 رمزًا في الثانية.

لهذا الاختراق ثمن: تكميم إلى 2–3 بت، و64–128 غيغابايت من ذاكرة الوصول العشوائي السريعة، ومحركات NVMe سريعة. وقد جُمع معظم الأرقام من مصادر مفتوحة ولم يُقَس بمنهجية موحدة، لذا يحسن التعامل بحذر عند مقارنة صفوف الجداول. وتحوّل السؤال من «هل سيتسع النموذج؟» إلى «كم بتًا من التكميم أنت مستعد للتخلي عنه مقابل السرعة؟»، وتعتمد الإجابة على طبيعة المهمة.