ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارX: @raiharsh88→ المصدر

مهندس يقدّر خدمة 10 ملايين توكن/ثانية: 130 تيرابايت من الكاش و700 عقدة لنموذج MoE

لكي يكتب روبوت دردشة ردوده لـ200 ألف شخص في وقت واحد بسرعة 50 توكن في الثانية، عليه أن يولّد 10 ملايين توكن في الثانية. والعائق هنا هو الذاكرة: فكاش المحادثات لنموذج 70B بسياق قدره 4 آلاف توكن سيشغل نحو 130 تيرابايت. وبحسب تقدير المهندس @raiharsh88، يمكن لنموذج MoE من فئة DeepSeek-V3 أن يتحمل هذا الحمل على 700 عقدة لمرحلة decode، بينما يحتاج نموذج كثيف 70B إلى 3–4 آلاف H100. احسبوا الميزانية انطلاقًا من الذاكرة لا من عدد المعاملات.

معالج بواسطة الذكاء الاصطناعي من X: @raiharsh88؛ بتحرير Hamidun News
مهندس يقدّر خدمة 10 ملايين توكن/ثانية: 130 تيرابايت من الكاش و700 عقدة لنموذج MoE
المصدر: X: @raiharsh88. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليX: @raiharsh88 ↗
رئيس التحرير
حقيقة رئيسية #1يُفصل prefill عن decode في مجمّعَي GPU مستقلَّين، ويُنقل الكاش بينهما عبر RDMA
حقيقة رئيسية #2يتيح فك الترميز التخميني ورؤوس MTP تسريعًا يقارب 2× على كل GPU
حقيقة رئيسية #3التوجيه إلى النسخة التي تحتفظ بالبادئة الجاهزة يتيح تجاوز معظم مرحلة prefill

تخيّلوا روبوت دردشة يعمل على نموذج مفتوح، ويكتب له 200 ألف شخص في وقت واحد، ويطبع لكل منهم ردًّا بسرعة نحو 50 توكن في الثانية (التوكن هو تقريبًا كلمة أو جزء منها). المجموع هو 10 ملايين توكن إخراج في الثانية. نشر المهندس @raiharsh88 تحليلًا يشرح فيه كيف كان سيبني نظامًا كهذا، وخلاصته الرئيسية غير متوقعة: الأصعب ليس النموذج نفسه بل الذاكرة. فكل محادثة من المحادثات الـ200 ألف تحتاج إلى حفظ ما قيل فيها، أي ما يسمى KV-cache، وتشغل هذه الكاشات معًا نحو 130 تيرابايت. وهذا تقدير «على ظهر منديل» وليس قياسًا في اختبار معياري، لكن حسابه مفيد لكل من يخطط لتشغيل استدلال خاص به.

الحساب أولًا: كل شيء يتوقف على الذاكرة

التقدير الأولي بسيط. قسمة 10 ملايين توكن في الثانية على 50 توكن في الثانية لكل مستخدم تعطي نحو 200 ألف مسار متزامن.

لكل مسار KV-cache، وهو «الذاكرة العاملة» للنموذج عمّا جرى في المحادثة. وبالنسبة إلى نموذج 70B يعتمد الانتباه الجماعي (GQA) ويخزّن الكاش بصيغة fp8، يبلغ هذا الكاش نحو 160 كيلوبايت لكل توكن. ومع سياق قدره 4 آلاف توكن يصل الحجم إلى نحو 640 ميغابايت للمحادثة الواحدة، وإلى نحو 130 تيرابايت للمحادثات الـ200 ألف كلها. ويخلص المؤلف إلى أن الجزء الأكبر من مهمة التصميم يتعلق بالذاكرة لا بالحوسبة.

كيف كان المؤلف سيبني النظام

فصل المرحلتين. تعتمد مرحلة prefill (يقرأ فيها النموذج طلبكم) على الحوسبة، أما مرحلة decode (يكتب فيها الرد توكنًا بعد توكن) فتعتمد على عرض نطاق الذاكرة. وإذا شُغّلتا على وحدات GPU نفسها تضررت المرحلتان معًا. لذلك يقترح المؤلف مجمّعَين منفصلَين من وحدات GPU، ويُنقل الكاش الجاهز بينهما عبر RDMA، وهي شبكة سريعة تتيح الوصول المباشر إلى الذاكرة. وهكذا تعمل DistServe وMooncake.

داخل كل GPU. يُستخدم التجميع المستمر للطلبات (continuous batching) الذي تُضاف فيه الطلبات الجديدة إلى الدفعة أثناء التشغيل، وKV-cache مقسّم إلى صفحات، وأوزان بصيغة fp8، وعلى Blackwell بصيغة fp4. ويجب أن يكون حجم الدفعة أكبر ما يسمح به زمن الاستجابة المستهدف. وفوق ذلك يُضاف فك الترميز التخميني أو رؤوس MTP (يخمّن النموذج عدة توكنات مقدّمًا ثم يتحقق من تخمينه)، ويعطي ذلك معًا تسريعًا يقارب الضعف.

اختيار المعمارية. يراهن المؤلف على MoE: ففي هذا النموذج لا يعمل لكل توكن سوى جزء من المعاملات، ولذلك تُنتَج توكنات أكثر من كل GPU. وبحسب تقديره، سيحتاج نموذج بحجم DeepSeek-V3 مع توازٍ واسع على مستوى الخبراء إلى نحو 700 عقدة decode. أما النموذج الكثيف 70B فيحتاج للتدفق نفسه إلى 3–4 آلاف H100.

التوجيه. يرى المؤلف أنه أهم مما يبدو. فموجهات النظام والمحادثات الطويلة تتكرر كثيرًا. افترضوا أن لجميع الطلبات موجّه نظام طويلًا واحدًا: إذا أُرسل الطلب الجديد إلى نسخة يوجد فيها هذا الموجّه أصلًا في الكاش، فسيُتجاوز معظم prefill. ويمكن نقل الكاش الخامل إلى ذاكرة CPU العشوائية أو إلى NVMe، وهذا أرخص من إعادة حسابه.

التشغيل والتحفظات

يجب، بحسب نصيحة المؤلف، أن يكون التوسع التلقائي مبنيًا على عمق الطابور وامتلاء KV-cache، لا على حمل CPU. ويستغرق تحميل النموذج دقائق، ولذلك لا بد من نسخ احتياطية جاهزة ومسخّنة. ويُستحسن العمل في عدة مناطق، وملء «الفجوات» الحرة في الحمل بمهام دفعية لا تحتاج إلى ردّ سريع.

ما ينبغي أن نضعه في الحسبان: كل الأرقام هي تقديرات مهندس واحد. فالعدد 700 عقدة و3–4 آلاف H100 يتوقفان على طول الردود ونسبة إصابات الكاش وزمن الاستجابة المستهدف والعتاد، ولم يكشف المؤلف عن جميع الافتراضات. وتواجه الأنظمة الحقيقية حركة غير متساوية وذروات وأعطالًا لم تدخل في هذا التقدير. كما أن سياقًا قدره 4 آلاف توكن متواضع: ففي السيناريوهات الوكيلية ذات المحادثات الطويلة والأدوات سيكون الكاش أكبر بكثير.

ما الذي نستخلصه من هذا

بالنسبة إلى الفرق التي تبني استدلالها الخاص، الخلاصة العملية هي التالية. يجب حساب الميزانية انطلاقًا من الذاكرة المخصصة لـKV-cache لا من عدد المعاملات. واختيار نموذج MoE قادر على تقليص أسطول GPU عدة مرات. أما تخزين البادئات مؤقتًا والتوجيه الذكي فيوفران التكاليف دون شراء عتاد جديد. وفصل prefill عن decode لم يعد أمرًا غريبًا، بل أصبح مخططًا عمليًا تستخدمه مشاريع مفتوحة المصدر.

وبالنسبة إلى مديري المنتجات والمؤسسين، العبرة أبسط: لسعر التوكن على النطاق الكبير أساس هندسي. وما يحدده ليس الاختبارات المعيارية اللافتة للنموذج، بل مدى إتقان النظام في إدارة الذاكرة والدفعات والكاش.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول الحساب أولًا: كل شيء يتوقف على الذاكرة؟

التقدير الأولي بسيط. قسمة 10 ملايين توكن في الثانية على 50 توكن في الثانية لكل مستخدم تعطي نحو 200 ألف مسار متزامن. لكل مسار KV-cache، وهو «الذاكرة العاملة» للنموذج عمّا جرى في المحادثة. وبالنسبة إلى نموذج 70B يعتمد الانتباه الجماعي (GQA) ويخزّن الكاش بصيغة fp8، يبلغ هذا الكاش نحو 160 كيلوبايت لكل توكن. ومع سياق قدره 4 آلاف توكن يصل الحجم إلى نحو 640 ميغابايت للمحادثة الواحدة، وإلى نحو 130 تيرابايت للمحادثات الـ200 ألف كلها. ويخلص المؤلف إلى أن الجزء الأكبر من مهمة التصميم يتعلق بالذاكرة لا بالحوسبة.

ما أبرز التفاصيل حول كيف كان المؤلف سيبني النظام؟

فصل المرحلتين. تعتمد مرحلة prefill (يقرأ فيها النموذج طلبكم) على الحوسبة، أما مرحلة decode (يكتب فيها الرد توكنًا بعد توكن) فتعتمد على عرض نطاق الذاكرة. وإذا شُغّلتا على وحدات GPU نفسها تضررت المرحلتان معًا. لذلك يقترح المؤلف مجمّعَين منفصلَين من وحدات GPU، ويُنقل الكاش الجاهز بينهما عبر RDMA، وهي شبكة سريعة تتيح الوصول المباشر إلى الذاكرة. وهكذا تعمل DistServe وMooncake. داخل كل GPU.

ما أبرز التفاصيل حول التشغيل والتحفظات؟

يجب، بحسب نصيحة المؤلف، أن يكون التوسع التلقائي مبنيًا على عمق الطابور وامتلاء KV-cache، لا على حمل CPU. ويستغرق تحميل النموذج دقائق، ولذلك لا بد من نسخ احتياطية جاهزة ومسخّنة. ويُستحسن العمل في عدة مناطق، وملء «الفجوات» الحرة في الحمل بمهام دفعية لا تحتاج إلى ردّ سريع. ما ينبغي أن نضعه في الحسبان: كل الأرقام هي تقديرات مهندس واحد. فالعدد 700 عقدة و3–4 آلاف H100 يتوقفان على طول الردود ونسبة إصابات الكاش وزمن الاستجابة المستهدف والعتاد، ولم يكشف المؤلف عن جميع الافتراضات.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…