Qwen3.8-27B بتكميم IQ3 على RTX 5070 Ti يحقق 91,1% ويولّد 68,3 tok/s

شغّل كاتب المادة على Habr نموذج Qwen3.8-27B بتكميم IQ3 على بطاقة رسوميات واحدة من طراز RTX 5070 Ti، وحصل على نسبة نجاح بلغت 91,1% من المهام التي حُلّت من مجموعته الخاصة. بلغ المؤشر الإجمالي 82,3، وبلغت سرعة التوليد 68,3 توكن في الثانية في مسار واحد عند سياق 131K. هذا هو الجزء الأول من سلسلة: ستُقارَن لاحقًا نتائج التشغيل المحلي بمزوّدي الخدمات السحابية الروس من حيث الجودة والسعر بالروبل.

ماذا قيس؟

ربط الإعلان الأرقام بعبارة «مهامي». أي أن ما أمامنا اختبار خاص بالكاتب، وليس اختبارًا عامًا من النوع الذي تجريه المختبرات. وهذا أنفع عمليًا في الواقع، فالمهام الخاصة تبيّن بدقة أكبر ما إذا كان النموذج يصلح لعمل محدد. لكن لا يمكن مقارنة النتيجة مباشرة بجداول لوحات المتصدرين.

المعطيات النهائية للتجربة:

• النموذج: Qwen3.8-27B، بتكميم IQ3
• العتاد: بطاقة RTX 5070 Ti واحدة
• نسبة المهام المحلولة بنجاح: 91,1%
• المؤشر الإجمالي: 82,3
• السرعة: 68,3 tok/s، في مسار واحد
• السياق: 131K توكن

لماذا يثير IQ3 وسياق 131K الجدل؟

يذكر الكاتب أنه سمع آراء كثيرة من قبيل «131K قليل» و«IQ3 غبي». والاعتراضات مفهومة. فـ IQ3 يضغط الأوزان إلى نحو ثلاث بتات لكل معامل، ويُعرف هذا النوع من التكميم بتراجع الجودة. كما يبدو سياق 131K متواضعًا أمام نماذج تبلغ نافذتها مئات الآلاف من التوكنات أو ملايينها.

والتفسير يكمن في العتاد. تملك RTX 5070 Ti ذاكرة فيديو سعتها 16 ГБ من نوع GDDR7. وفي تقدير تقريبي، فإن 27 млрд معامل بواقع 3–3,5 بت للوزن الواحد تحتاج إلى نحو 10–11 ГБ للأوزان وحدها. ويذهب الباقي إلى KV-cache الذي ينمو مع حجم السياق. وهذا تقديري الشخصي، أما الرقم الدقيق فيعتمد على معمارية النموذج وعلى ما إذا كان الكاش مكمَّمًا. لكنه يوضح لماذا لا تبدو معادلة «IQ3 مع 131K» عشوائية. فتكميم أكبر حجمًا كان سيُخرج السياق الطويل من الذاكرة.

وسرعة 68,3 توكن في الثانية أعلى من وتيرة القراءة، وتكفي للعمل التفاعلي: المحادثة، وتعديلات الكود، وحلقات الوكلاء القصيرة.

ما الذي ينقص الإعلان؟

ننتقل الآن إلى نقاط الضعف. من المقطع التشويقي لا يُعرف ما الذي تتضمنه مجموعة المهام، ولا كيف يُحسب المؤشر 82,3، ولا بماذا يختلف عن نسبة النجاح 91,1%. ولم يُذكر وقت التشغيل (runtime) ولا معاملات أخذ العينات (sampling) ولا طريقة التحقق من الإجابات. كما أنه غير واضح كيف يتصرف النموذج عندما يكون السياق ممتلئًا، لا مع الطلبات القصيرة. وأخيرًا، فإن 68,3 tok/s تخص مسارًا واحدًا. وبالنسبة إلى فريق تصل طلباته بالتوازي، قد تتفوق السحابة من حيث الإنتاجية.

ولهذا تحديدًا يبدو الجزء الثاني أكثر إثارة للاهتمام. فقد وُعد فيه بمقارنة مع سحابة روسية، أي الجودة مضافًا إليها التكلفة بالروبل.

كيف تستفيد من هذه البيانات؟

الأفضل التعامل مع أرقام الكاتب الجاهزة بوصفها منهجية، لا حكمًا نهائيًا.

• اجمع 30–50 مهمة من عملك الفعلي: كتابة الكود، وتحليل المستندات، واستخراج البيانات. وحدّد مسبقًا ما يُعدّ نجاحًا.
• شغّل نموذجًا واحدًا بعدة مستويات تكميم، مثل IQ3 ومستوى أثقل منه، وكذلك في السحابة. وسجّل نسبة النجاح والسرعة.
• اختبر السياق الطويل على حدة: املأ النافذة حتى 100K وأكثر، وتحقق من مدى تراجع الجودة.
• احسب التكاليف بأمانة. فمن جهة هناك سعر البطاقة والكهرباء ووقتك المخصص للصيانة. ومن جهة أخرى هناك الروبلات لكل مليون توكن وحجم الحركة الفعلي.

إذا كان لديك مستخدم واحد وتتسع مهامك لسياق 131K، فقد تغطي بطاقة محلية بسعة 16 ГБ، بحسب هذه البيانات، الجزء الأكبر من العمل. أما مع عدة مسارات متوازية، فلا ينبغي استخلاص نتيجة إلا بعد الاطلاع على أرقام السحابة في الجزء الثاني.