ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHacker News AI→ المصدر

Cerebras توزّع نموذجًا بـ3 تريليونات معامل على 59 شريحة: 1000–2000+ رمز في الثانية

يزن نموذج بـ3 تريليونات معامل نحو 1,5 تيرابايت حتى بعد الضغط إلى 4 بت، بينما لا تحتوي رقاقة Cerebras WSE-3T الواحدة إلا على 44 غيغابايت من الذاكرة السريعة. لذلك قُسِّم نموذج Kimi K3 المفتوح إلى 93 طبقة بحجم نحو 16 غيغابايت لكل منها، ووُزِّعت على 59 رقاقة كما تُوزَّع الآلات على خط إنتاج: تبقى الأوزان في أماكنها، ولا تنتقل بين الشرائح سوى النتائج الوسيطة. وتقول Cerebras إن هذه النماذج تبلغ 1000–2000+ رمز في الثانية. وعند اختيار المزوّد، قارنوا عدد الرموز في الثانية لكل ميغاواط.

معالج بواسطة الذكاء الاصطناعي من Hacker News AI؛ بتحرير Hamidun News
Cerebras توزّع نموذجًا بـ3 تريليونات معامل على 59 شريحة: 1000–2000+ رمز في الثانية
المصدر: Hacker News AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHacker News AI ↗
رئيس التحرير
حقيقة رئيسية #135 رقاقة لـ69 طبقة خطية (طبقتان لكل رقاقة)، و24 رقاقة للطبقات الكثيفة (طبقة واحدة لكل رقاقة)
لا تنتقل بين الرقاقات سوى البيانات الوسيطةنحو 2 ميكروثانية لكل انتقال
حقيقة رئيسية #3يتبقى للرقاقات الكثيفة 28 غيغابايت لذاكرة التخزين المؤقت للطلبات (44 ناقص 16)

لا يتسع نموذج بـ3 تريليونات معامل في ذاكرة شريحة واحدة: فحتى بعد الضغط إلى 4 بت تشغل أوزانه نحو 1,5 تيرابايت، بينما تضم رقاقة Cerebras WSE-3T الواحدة 44 غيغابايت من الذاكرة. وقد عرضت Cerebras، مستخدمةً نموذج Kimi K3 المفتوح، كيف يُقسَّم مثل هذا النموذج إلى 93 طبقة ويُوزَّع على 59 رقاقة (35 + 24) للوصول إلى 1000–2000+ رمز في الثانية. وبالنسبة للمطوّر، هذا يجيب عن سؤال لماذا يتوقف سعر الخدمة وسرعتها على بنية النموذج، لا على عدد معاملاته وحده.

لماذا لا تكفي رقاقة واحدة

رقاقة WSE-3T شريحة بحجم قرص سيليكون كامل. ذاكرتها SRAM سريعة جدًا لكنها صغيرة: 44 غيغابايت. أما أوزان النماذج المتقدمة فتبلغ تيرابايتات. في هذا المثال تعتمد Cerebras التكميم إلى 4 بت، كما في النسخة المنشورة على Hugging Face: 3 تريليونات معامل بواقع 4 بت لكل معامل تعني نحو 1,5 تيرابايت للأوزان وحدها.

يتألف Kimi K3 من 93 طبقة: 69 طبقة ذات انتباه خطي و24 طبقة كثيفة، أي ذات انتباه كامل. وبقسمة 1,5 تيرابايت على 93 طبقة يخصّ كل طبقة نحو 16 غيغابايت. وهو رقم مناسب: فالطبقة كاملةً تتسع في 44 غيغابايت من الرقاقة، فلا حاجة إلى تجزئتها بين الشرائح.

وبحسب بيانات Cerebras نفسها، يحقق Kimi K3 نسبة 88,3% في Terminal-Bench 2.1 (مقابل 88,8% لـGPT-5.6 Sol)، و91,2% في BrowseComp (مقابل 90,4% لـGPT-5.6 Sol). هذه أرقام وردت في منشور الشركة المصنِّعة، ولا يتضمن المقال أي تحقق مستقل منها.

كيف تُوزَّع الطبقات على الشرائح

تتوقف المساحة المطلوبة على الرقاقة على نوع الطبقة. فالطبقة الكثيفة تخزّن المفاتيح والقيم لكل رمز في كل طلب نشط. يسمى هذا KV-cache، وهو أشبه بدفتر ملاحظات عن المحادثة كلها، ويكبر مع طول السياق. لذلك تُوضع طبقة كثيفة واحدة على الرقاقة، وتُخصَّص بقية الذاكرة للذاكرة المؤقتة.

أما الطبقة الخطية فتكتفي بحالة صغيرة ثابتة الحجم لكل طلب، ولا تنمو مع السياق. وتتسع الرقاقة الواحدة لطبقتين من هذا النوع (2 × 16 غيغابايت = 32 غيغابايت).

والنتيجة: 35 رقاقة لـ69 طبقة خطية و24 رقاقة للطبقات الكثيفة، أي 59 رقاقة في المجموع. ويتبقى على الرقاقات الكثيفة 28 غيغابايت للذاكرة المؤقتة: 44 غيغابايت ناقص 16 غيغابايت للطبقة.

بعد ذلك يعمل خط الإنتاج. يوزّع مُصرِّف Cerebras الطبقات على مناطق الرقاقات، ويرسم وقت التشغيل مسار الرموز. تبقى الأوزان في مكانها، ولا تنتقل بين الرقاقات سوى التنشيطات، أي النتائج الوسيطة للحساب. وتسير عبر RDMA فوق Ethernet، بنحو 2 ميكروثانية لكل انتقال. وإذا شبّهناها بمصنع، فالآلات ثابتة في أماكنها، والقطع الأولية هي التي تتنقل في أرجاء الورشة.

كيف يخدم خط الإنتاج طلبات كثيرة

الاعتراض البديهي: ما دام الرمز يمر عبر جميع الرقاقات، فبقية الرقاقات عاطلة، وبالتالي يعمل النظام بدفعة من طلب واحد. تردّ Cerebras بأن الأمر ليس كذلك. فخط الإنتاج يُملأ بطلبات مختلفة: بينما تعالج المرحلة الثالثة رمز الطلب A، تنشغل الثانية بالطلب B والأولى بالطلب C. ويمكن لكل مرحلة أن تأخذ مجموعة صغيرة من الطلبات لا طلبًا واحدًا، وهي ما يُسمى الدفعة الصغرى (microbatch). ويساوي عدد الطلبات قيد التنفيذ تقريبًا عدد المراحل مضروبًا في حجم الدفعة الصغرى.

وهنا مفاضلة. فالدفعات الصغرى الصغيرة تسرّع كل طلب على حدة، والكبيرة ترفع الإنتاجية الإجمالية. وفي بيئة الإنتاج، بحسب الشركة، تكون المراحل أصغر بكثير من طبقة كاملة، وأكثر عددًا.

ويحدد سقف الطلبات المتوازية حجمُ الذاكرة المخصصة لـKV-cache: فكل طلب قيد التنفيذ يحتفظ بذاكرته المؤقتة على كل رقاقة تحمل طبقة كثيفة. ولتقدير الحد الأقصى، تُقسَّم الـ28 غيغابايت الحرة على حجم الذاكرة المؤقتة لطلب واحد؛ وقد أُخذ في المثال طلب متوسط بطول 256 ألف رمز. وعلى عكس الدفعات على GPU، لا ينتظر كل طلب غيره هنا، بل تتدفق الطلبات باستمرار عبر خط الإنتاج.

ما الذي يعنيه هذا للممارسين

أولًا، تؤثر بنية النموذج في تكلفة الخدمة. فالانتباه الخطي لا يكاد يحتاج إلى ذاكرة للتخزين المؤقت، ولذلك تُرصّ هذه الطبقات بكثافة مضاعفة. وإذا كنتم تختارون نموذجًا مفتوحًا لسياق طويل، فإن نسبة الطبقات الكثيفة لا تقل أهمية عن عدد المعاملات.

ثانيًا، تقترح Cerebras مقارنة أنظمة الاستدلال لا بحجم الدفعة، بل بإجمالي الرموز في الثانية لكل ميغاواط عند سرعة توليد واحدة لكل إجابة. وهذا مقياس يجدر طلبه من أي مزوّد، بما في ذلك سحابات GPU.

ثالثًا، يتوسع النهج: تحسبون الذاكرة اللازمة للأوزان ولحالة الطلبات، وتوزعون النموذج على الرقاقات، وتربطونها في خط إنتاج. وكل رقاقة جديدة تضيف حوسبة وذاكرة.

وثمة قيود كذلك. فهذا حساب توضيحي من الشركة المصنِّعة نفسها، لا اختبار مرجعي مستقل. أما الرقم المعلن 1000–2000+ رمز في الثانية فيخص النماذج ذات عدة تريليونات من المعاملات عمومًا، لا قياسًا منفردًا لـKimi K3. ولا يتضمن المقال أي أسعار، بل روابط إلى واجهة API مجانية وإلى قسم المبيعات فقط. وللتحقق من هذه الادعاءات، جرّبوا واجهة API المجانية وشغّلوا عليها طلباتكم الطويلة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا لا تكفي رقاقة واحدة؟

رقاقة WSE-3T شريحة بحجم قرص سيليكون كامل. ذاكرتها SRAM سريعة جدًا لكنها صغيرة: 44 غيغابايت. أما أوزان النماذج المتقدمة فتبلغ تيرابايتات. في هذا المثال تعتمد Cerebras التكميم إلى 4 بت، كما في النسخة المنشورة على Hugging Face: 3 تريليونات معامل بواقع 4 بت لكل معامل تعني نحو 1,5 تيرابايت للأوزان وحدها. يتألف Kimi K3 من 93 طبقة: 69 طبقة ذات انتباه خطي و24 طبقة كثيفة، أي ذات انتباه كامل. وبقسمة 1,5 تيرابايت على 93 طبقة يخصّ كل طبقة نحو 16 غيغابايت.

ما أبرز التفاصيل حول كيف تُوزَّع الطبقات على الشرائح؟

تتوقف المساحة المطلوبة على الرقاقة على نوع الطبقة. فالطبقة الكثيفة تخزّن المفاتيح والقيم لكل رمز في كل طلب نشط. يسمى هذا KV-cache، وهو أشبه بدفتر ملاحظات عن المحادثة كلها، ويكبر مع طول السياق. لذلك تُوضع طبقة كثيفة واحدة على الرقاقة، وتُخصَّص بقية الذاكرة للذاكرة المؤقتة. أما الطبقة الخطية فتكتفي بحالة صغيرة ثابتة الحجم لكل طلب، ولا تنمو مع السياق. وتتسع الرقاقة الواحدة لطبقتين من هذا النوع (2 × 16 غيغابايت = 32 غيغابايت). والنتيجة: 35 رقاقة لـ69 طبقة خطية و24 رقاقة للطبقات الكثيفة، أي 59 رقاقة في المجموع.

ما أبرز التفاصيل حول كيف يخدم خط الإنتاج طلبات كثيرة؟

الاعتراض البديهي: ما دام الرمز يمر عبر جميع الرقاقات، فبقية الرقاقات عاطلة، وبالتالي يعمل النظام بدفعة من طلب واحد. تردّ Cerebras بأن الأمر ليس كذلك. فخط الإنتاج يُملأ بطلبات مختلفة: بينما تعالج المرحلة الثالثة رمز الطلب A، تنشغل الثانية بالطلب B والأولى بالطلب C. ويمكن لكل مرحلة أن تأخذ مجموعة صغيرة من الطلبات لا طلبًا واحدًا، وهي ما يُسمى الدفعة الصغرى (microbatch). ويساوي عدد الطلبات قيد التنفيذ تقريبًا عدد المراحل مضروبًا في حجم الدفعة الصغرى. وهنا مفاضلة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…