ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

أربع بطاقات V100 من عام 2017 تشغّل نموذجًا بـ27 مليار معامل: 218 رمزًا في الثانية

شغّلت خدمة ZuBrIQ في مينسك نموذج Qwen3.8-27B (27 مليار معامل) في بيئة الإنتاج على أربع بطاقات Tesla V100 من عام 2017، مع أن vLLM الرسمي لا يشغّل النماذج ذات 4 بت عليها. وبفضل نسخة مشتقة (fork) باسم 1Cat-vLLM يبلغ حجم النموذج المضغوط نحو 21 غيغابايت، ويقرأ سياقًا يصل إلى 262 ألف رمز (مئات الصفحات من النص)، ويكتب نحو 218 رمزًا في الثانية مع 24 طلبًا في الوقت نفسه. تصلح البطاقات القديمة للإنتاج إذا حُسبت الذاكرة يدويًا. النموذج الكثيف 27B أسرع من نموذج MoE-35B: 218,5 مقابل 200,2 رمز في الثانية. لكن الثمن يظهر في الرمز الأول: الوسيط 1,31 ثانية مقابل 0,59 ثانية لدى MoE. وهناك درس آخر في التسمية: عندما أُزيل اسم النموذج القديم، تلقّى بوت الدعم خطأ 404 وبدأ يحوّل كل عميل إلى موظف بشري.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
أربع بطاقات V100 من عام 2017 تشغّل نموذجًا بـ27 مليار معامل: 218 رمزًا في الثانية
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
النموذج الكثيف 27B أسرع من MoE-35B218,5 مقابل 200,2 رمز في الثانية
الثمن هو الرمز الأولالوسيط 1,31 ثانية مقابل 0,59 ثانية لدى MoE
حقيقة رئيسية #3بعد تغيير اسم النموذج تلقّى بوت الدعم خطأ 404 وبدأ يستدعي الموظف

لدى كثير من الفرق لا توجد بطاقات H100 حديثة، لكن في الرفوف بطاقات «شُطبت من الدفاتر». وقد أظهر مهندسو خدمة ZuBrIQ البيلاروسية أن أربع بطاقات Nvidia Tesla V100 (بطاقات خوادم من عام 2017 بذاكرة 16 غيغابايت لكل منها) لا تزال قادرة على تشغيل النموذج الكثيف Qwen3.8-27B. الرمز «27B» يعني 27 مليار معامل. ونافذة السياق فيه 262K، أي نحو 262 ألف رمز: مئات الصفحات من النص في طلب واحد. وسرعة التوليد نحو 218 رمزًا في الثانية إجمالًا مع 24 طلبًا متزامنًا (الرمز هو كلمة تقريبًا أو جزء منها). وجاء تقرير الفريق عمليًا: فيه أوامر التشغيل والأرقام والأخطاء التي يسهل الوقوع فيها.

لماذا V100 تحديدًا

نموذج zubr هو الوحيد في ZuBrIQ الذي لا تغادر طلباته أراضي بيلاروس. فالمُوجِّه (prompt) والمستند والإجابة تبقى كلها على خوادم في مينسك. وبالنسبة إلى البنوك والقطاع الحكومي والشركات التي تتعامل مع بيانات شخصية، هذا شرط لا يعملون من دونه. ومن الصعب والمكلف إدخال البطاقات الجديدة إلى البلاد، لذلك يستخرج الفريق أقصى ما يمكن من المتاح: أربع بطاقات V100 SXM2 بسعة 16 غيغابايت لكل منها، أي 64 غيغابايت في المجموع.

تكمن الصعوبة في معمارية Volta (SM70). فهي لا تدعم bfloat16 الذي توزَّع به معظم النماذج الحديثة، ولا FP8، كما أن vLLM الرسمي يرفض تشغيل النماذج ذات 4 بت على البطاقات التي يقل مؤشرها عن 75. والمخرج هو النسخة المشتقة 1Cat-vLLM بترخيص Apache-2.0، وفيها نوى 4 بت لمعمارية Volta وخلفية انتباه (attention backend) خاصة بـV100 ودعم CUDA Graph. ويشغّلونها أصليًا عبر systemd داخل حاوية LXC على Proxmox، دون Docker.

اختار الفريق النموذج بصيغة INT4 (تُخزَّن الأوزان بـ4 بتات بدل 16): نموذج Qwen3.8-27B من cyankiwi يزن نحو 21 غيغابايت، أي ما يقارب 5,3 غيغابايت لكل بطاقة. وهنا تنبيهان. فالتكميم محفوظ بصيغة compressed-tensors، ويلزم لتشغيله تفعيل المتغير VLLM_SM70_COMPRESSED_TENSORS_TURBOMIND=1. وإضافة إلى ذلك، الراية --dtype float16 إلزامية، لأن bfloat16 غير موجود في Volta.

أين تذهب الذاكرة

الفخ الأول: في هذه النسخة المشتقة لا يُخصم وزن النموذج تقريبًا من ميزانية KV-cache (الذاكرة التي يحتفظ فيها النموذج بالسياق الذي قرأه). ولهذا استهلكت العملية عند ضبط القيمة 0,50 قرابة 14 غيغابايت لكل بطاقة بدل 8. فحدّد الفريق حجم الذاكرة المخبأة صراحةً عبر --kv-cache-memory-bytes. والحساب دقيق: أبلغ المحرك أن نافذة 131 072 رمزًا تحتاج 2,08 غيغابايت (GiB)، أي نحو 17 كيلوبايت لكل رمز. ولنافذة 262 144 رمزًا يكفي 4,6 غيغابايت مع هامش صغير. ويجب الحساب على أكثر البطاقات ازدحامًا: فإذا كانت إحدى وحدات GPU تستضيف أيضًا خدمة التضمينات (embeddings)، فإن الذاكرة المخبأة تُقيَّد بما تبقّى لها من ذاكرة حرة.

الفخ الثاني: تُلتقط رسوم CUDA البيانية (CUDA Graphs) لكل حجم دفعة (batch)، وتقع خارج الميزانية. فعند max-num-seqs بقيمة 96 شغلت نحو 5 غيغابايت فوق الخطة. وبعد خفضها إلى 24 لم يتراجع الإنتاجية تقريبًا، وعادت الذاكرة.

الفخ الثالث: نسختان على البطاقات نفسها. فقد كان نموذج Qwen3-VL-4B منفصل للرؤية يعمل بجانب النموذج الرئيسي، وعند إعادة تشغيل العمليتين معًا تجاوز ذروة التهيئة 16 غيغابايت، فواجه أحد العمال خطأ OOM، وعلقت العملية الرئيسية عند NCCL watchdog: أظهر systemd الحالة active بينما كان المنفذ مغلقًا. وفي سبتمبر اختفت المشكلة: فقد صار Qwen3.8-27B يقرأ الصور بنفسه ونجح في اختبار الجداول في 3 حالات من 4، بينما نجح نموذج 4B المنفصل في 0 من 3. فعطّلوه، وحرّروا نحو 8 غيغابايت، ورفعوا النافذة من 131 072 إلى 262 144 رمزًا.

MoE مقابل النموذج الكثيف وقاعدة الاسم

حتى سبتمبر كان نموذج MoE باسم Qwen3.6-35B-A3B يعمل في الإنتاج: 35 مليار معامل، يعمل منها لكل رمز نحو 3 مليارات. واختُبر النموذجان بالسكربت نفسه: 300 طلب و24 عميلًا و512 رمزًا في المُدخَل و256 في المُخرَج. وحقق النموذج الكثيف 27B (dense، أي أن جميع المعاملات تعمل دائمًا) 218,5 رمز في الثانية مقابل 200,2 (بزيادة 9%)، وكُتب كل رمز أسرع بنسبة 14%. ويرجّح المؤلفون أن نوى MoE على SM70 غير محسَّنة بما يكفي ببساطة.

ودُفع الثمن في الرمز الأول: وسيط الانتظار 1,31 ثانية مقابل 0,59 ثانية، وعند أبطأ 1% من الطلبات (P99) كان 14,2 ثانية مقابل 2,3 ثانية. فالنموذج الكثيف يستخدم عند معالجة المُوجِّه جميع معاملاته الـ27 مليارًا، بينما كان MoE يحسب نحو 3 مليارات. وتحفّظ الفريق: ما قورن هو السرعة لا الجودة، التي فُحصت باستعلامات اختبار سريعة (smoke) فقط.

ويتعلق درس منفصل بالتسمية. فحين أُزيل الاسم القديم qwen3.6-35b عند تبديل الأوزان، تلقّى بوت الدعم، الذي كان يتصل بـvLLM مباشرة، خطأ 404 وبدأ يحيل كل عميل إلى موظف بشري. والآن لا يتغير أبدًا الاسم الأول في --served-model-name (وهو zubr)، أما الأسماء ذات الإصدارات مثل zubr-2 فتصف أوزانًا محددة. وتظهر حقيقة الأوزان في الحقل root ضمن /v1/models، لأن vLLM يعيد في الاستجابة الاسم المستعار المطلوب.

ما يستحق التدوين

  • على البطاقات القديمة التي تفتقر إلى bfloat16 وFP8، يبقى التكميم بـ4 بت مع نسخة vLLM مشتقة طريقًا عمليًا، لكنه يتطلب float16 ومتغيرات البيئة الصحيحة.
  • حدِّدوا KV-cache صراحةً واحسبوا الذاكرة المخصصة لرسوم CUDA البيانية.
  • لا تشغّلوا عمليتين ثقيلتين على وحدات GPU نفسها في وقت واحد.
  • افصلوا الاسم العام للنموذج عن إصدار الأوزان.

والقيود واضحة أيضًا: النتائج مأخوذة من إعداد واحد، ولم تُقارَن جودة النماذج، والنسخة المشتقة ليست فرعًا رسميًا من vLLM، ولذلك سيتعين على الفريق تحمّل أعباء دعمها بنفسه.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا V100 تحديدًا؟

نموذج zubr هو الوحيد في ZuBrIQ الذي لا تغادر طلباته أراضي بيلاروس. فالمُوجِّه (prompt) والمستند والإجابة تبقى كلها على خوادم في مينسك. وبالنسبة إلى البنوك والقطاع الحكومي والشركات التي تتعامل مع بيانات شخصية، هذا شرط لا يعملون من دونه. ومن الصعب والمكلف إدخال البطاقات الجديدة إلى البلاد، لذلك يستخرج الفريق أقصى ما يمكن من المتاح: أربع بطاقات V100 SXM2 بسعة 16 غيغابايت لكل منها، أي 64 غيغابايت في المجموع. تكمن الصعوبة في معمارية Volta (SM70).

ما أبرز التفاصيل حول أين تذهب الذاكرة؟

الفخ الأول: في هذه النسخة المشتقة لا يُخصم وزن النموذج تقريبًا من ميزانية KV-cache (الذاكرة التي يحتفظ فيها النموذج بالسياق الذي قرأه). ولهذا استهلكت العملية عند ضبط القيمة 0,50 قرابة 14 غيغابايت لكل بطاقة بدل 8. فحدّد الفريق حجم الذاكرة المخبأة صراحةً عبر --kv-cache-memory-bytes. والحساب دقيق: أبلغ المحرك أن نافذة 131 072 رمزًا تحتاج 2,08 غيغابايت (GiB)، أي نحو 17 كيلوبايت لكل رمز. ولنافذة 262 144 رمزًا يكفي 4,6 غيغابايت مع هامش صغير.

ما أبرز التفاصيل حول MoE مقابل النموذج الكثيف وقاعدة الاسم؟

حتى سبتمبر كان نموذج MoE باسم Qwen3.6-35B-A3B يعمل في الإنتاج: 35 مليار معامل، يعمل منها لكل رمز نحو 3 مليارات. واختُبر النموذجان بالسكربت نفسه: 300 طلب و24 عميلًا و512 رمزًا في المُدخَل و256 في المُخرَج. وحقق النموذج الكثيف 27B (dense، أي أن جميع المعاملات تعمل دائمًا) 218,5 رمز في الثانية مقابل 200,2 (بزيادة 9%)، وكُتب كل رمز أسرع بنسبة 14%. ويرجّح المؤلفون أن نوى MoE على SM70 غير محسَّنة بما يكفي ببساطة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…