ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصداركود / SDK · جاهز للعملHacker News AI→ المصدر

مطوّر يكتب DeepSeek V3 في 190 سطرًا بلغة JAX ويدرّبه على MacBook Air خلال 2.6 ساعة

يصعب قراءة التقرير التقني لنموذج DeepSeek V3، أما الشيفرة الفعلية للنموذج فتمتد على آلاف الأسطر. اختصر مطوّر المعمارية في 190 سطرًا بلغة JAX (مكتبة غوغل للشبكات العصبية)، ودرّب نسخة مصغّرة بـ 36.2 مليون معامل على MacBook Air M5 خلال 2.6 ساعة. هذه بيئة تعليمية: قرأ النموذج 207 روايات بوليسية، ويكتب نصًا سلسًا لكنه بلا معنى. ولفهم بنية DeepSeek، تكفي قراءة هذه الشيفرة.

معالج بواسطة الذكاء الاصطناعي من Hacker News AI؛ بتحرير Hamidun News
مطوّر يكتب DeepSeek V3 في 190 سطرًا بلغة JAX ويدرّبه على MacBook Air خلال 2.6 ساعة
المصدر: Hacker News AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHacker News AI ↗
رئيس التحرير
حقيقة رئيسية #1من دون موازنة، تلقّت الخبراء من 0.09% إلى 18.6% من الرموز (tokens)
مع الموازنة، جاءت الحصص متقاربة5.7–6.9% مقابل 6.25% في الحالة المثالية
الخطأ في التحقق متطابق تقريبًا3.921 مع الموازنة و3.923 من دونها

يصعب قراءة التقرير التقني لنموذج DeepSeek V3: فهو مليء بالمعادلات، أما الشيفرة الفعلية للنموذج فتمتد على آلاف الأسطر وتعتمد على كثير من المكتبات، وتضيع الفكرة الأساسية وسطها. أوضح المطوّر Vaibhaav Tiwari على Hacker News كيف يمكن تجاوز هذه المشكلة. فقد اختصر معمارية DeepSeek V3 كاملةً في 190 سطرًا بلغة JAX (وهي مكتبة من غوغل للحسابات العددية وتدريب الشبكات العصبية)، ودرّب نسخة مصغّرة منها مباشرةً على حاسوب MacBook Air M5 خلال 2.6 ساعة. والنتيجة نموذج بـ 36.2 مليون معامل بدلًا من 671 مليارًا في النموذج الأصلي. لا يمكن وصفه بالنموذج القوي، لكن يمكن قراءة شيفرته كأنها كتاب تعليمي.

ما الذي في هذه الأسطر الـ 190

كُتب المشروع دون Flax أو Equinox أو PyTorch. المعاملات مجرد قواميس تحتوي على مصفوفات، وكل جزء من النموذج دالة يمكن قراءتها من الأعلى إلى الأسفل. وقد أعاد المؤلف إنتاج الأساليب الرئيسية في DeepSeek V3 بحجم مصغّر.

الأسلوب الأول هو Multi-head Latent Attention (MLA). يخزّن الانتباه المعتاد في الذاكرة المؤقتة (cache) المفاتيح والقيم الكاملة لكل رمز، وهذا يستهلك الذاكرة بشدة على النصوص الطويلة. أما MLA فيخزّن متجهًا مضغوطًا صغيرًا واحدًا لكل رمز وعلى كل طبقة، ويستعيد منه ما يحتاج إليه. ويوجد مفتاح دوراني (rotary) منفصل مشترك بين جميع الرؤوس، ويقع خارج المتجه المضغوط.

الأسلوب الثاني هو مزيج الخبراء (MoE). تخيّلوا مركز اتصالات: موظف عام واحد يجيب الجميع، وإلى جانبه 16 اختصاصيًا متخصصًا، ويُستدعى أفضل أربعة منهم لكل سؤال. وهكذا هنا: خبير مشترك واحد يعمل دائمًا، إضافةً إلى 16 خبيرًا يتم توجيه الرموز إليهم، يُختار منهم أربعة لكل رمز. لذلك يكون النشط لكل رمز 13.6 مليون معامل من أصل 36.2 مليونًا.

الأسلوب الثالث هو الموازنة دون دالة خطأ مساعدة. ولكي يكون جميع الاختصاصيين في مركز الاتصالات مشغولين، يملك كل خبير تصحيحًا (bias) يدفع الموجِّه نحو الخبراء العاطلين. ويؤثر هذا التصحيح في اختيار الخبراء فقط، لا في أوزانهم. وإضافةً إلى ذلك، توجد دالة موازنة صغيرة على مستوى التسلسل بمعامل 1e-4، كما في الورقة البحثية.

الأسلوب الرابع هو التنبؤ بعدة رموز (MTP). تخمّن وحدة إضافية ليس الرمز التالي فحسب، بل الذي يليه أيضًا، بوزن 0.3 في خطأ التدريب الإجمالي. وتجري الحسابات بصيغة bf16 فوق أوزان رئيسية (master weights) بصيغة f32.

كيف جرى التدريب وماذا كانت النتيجة

تألفت مجموعة البيانات من 207 كتب بوليسية في الملكية العامة بالولايات المتحدة: روايات داشيل هاميت (تكررت ثلاث مرات في البيانات) ونحو 200 عمل من Project Gutenberg. المجموع 21.7 مليون رمز، والمقسّم (tokenizer) من نوع BPE بـ 8192 رمزًا. ويجري التحقق على نصوص جنائية مستبقاة جانبًا.

التشغيل الرئيسي: 12 ألف خطوة، نحو 98 مليون رمز (قرابة 4.5 دورة)، واستغرق 2.6 ساعة على MacBook Air M5 بذاكرة 24 غيغابايت.

أوضح ما في المشروع تجربة الموازنة. فعند الخطوة 2000، ومع تفعيل التصحيح، نال كل خبير 5.7–6.9% من الرموز، مقابل 6.25% في الحالة المثالية. ومن دونه تباعدت الحصص من 0.09% إلى 18.6%: بعض الخبراء مثقلون وبعضهم يكاد لا يعمل. ومع ذلك فإن الخطأ على نصوص التحقق متطابق تقريبًا: 3.921 مع الموازنة و3.923 من دونها. أي أن التصحيح يعادل الحِمل دون كلفة تُذكر، كما أعلنت ورقة DeepSeek.

أما النموذج نفسه، بحسب المؤلف، فضعيف. فعند بداية العبارة «The fog came in off the» يُكملها بـ: «bay, and the great trees were spreading and the stars were shining». القواعد النحوية سليمة، لكن المعنى غائم.

القيود ولمن يفيد المشروع

عدّد المؤلف بصراحة ما ليس موجودًا. فكل خبير يحسب كل رمز، ويُصفَّر ببساطة ناتج الخبراء غير المختارين: رياضيات التوجيه دقيقة، لكن لا يوجد توزيع متفرّق (sparse) للرموز ولا توازي للخبراء. وفي MLA لا يوجد امتصاص للأوزان (weight absorption): تُفكّ المفاتيح والقيم صراحةً، وهذا أسهل في القراءة لكنه أبطأ في الاستدلال (inference). ولم تُنفَّذ كذلك الأمور التالية: التدريب بصيغة FP8، وDualPipe، وتقييد التوجيه بحسب العقد، وتوسيع السياق YaRN، وأي تدريب لاحق (post-training). والمقياس نفسه لا يُقارن: 6 طبقات مقابل 61، وسياق 256 رمزًا مقابل 128 ألفًا.

لكن المشروع سهل الاستنساخ. فهو يضم 39 اختبارًا: إخفاء الرموز المستقبلية، وتطابق الذاكرة المؤقتة مع المرور الكامل، والتوجيه، وأهداف MTP، وأوزان bf16 الرئيسية وغيرها. وتعمل الشيفرة على Apple Silicon عبر jax-metal، وعلى المعالج المركزي (CPU) بسرعة أقل، ولذلك أُعدّ تكوين مصغّر. وعلى AMD RX 7600 XT بذاكرة 16 غيغابايت يستغرق التشغيل الكامل نحو 50 دقيقة بسرعة تقارب 35 ألف رمز في الثانية، والخطأ في التحقق 3.527 مقابل 3.507 على Mac.

تنبيه أمني واحد: حُفظت نقطة التحقق (checkpoint) بصيغة Python pickle، وعند تحميل ملف كهذا قد يُنفَّذ شيفرة اعتباطية. لا تحمّلوه إلا من مصادر موثوقة، والأفضل أن تدرّبوا النموذج بأنفسكم.

الخلاصة العملية بسيطة. إذا أردتم فهم MLA وMoE وMTP، فلا حاجة إلى اقتحام الشيفرة الصناعية: تكفي أمسية واحدة مع هذا المستودع وحاسوب محمول. وهو، كمرجع سريع لمعمارية DeepSeek، أنفع من كثير من الملخصات، وكبيئة لتجارب توجيه الخبراء أنسب من الأطر الضخمة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي في هذه الأسطر الـ 190؟

كُتب المشروع دون Flax أو Equinox أو PyTorch. المعاملات مجرد قواميس تحتوي على مصفوفات، وكل جزء من النموذج دالة يمكن قراءتها من الأعلى إلى الأسفل. وقد أعاد المؤلف إنتاج الأساليب الرئيسية في DeepSeek V3 بحجم مصغّر. الأسلوب الأول هو Multi-head Latent Attention (MLA). يخزّن الانتباه المعتاد في الذاكرة المؤقتة (cache) المفاتيح والقيم الكاملة لكل رمز، وهذا يستهلك الذاكرة بشدة على النصوص الطويلة. أما MLA فيخزّن متجهًا مضغوطًا صغيرًا واحدًا لكل رمز وعلى كل طبقة، ويستعيد منه ما يحتاج إليه.

ما أبرز التفاصيل حول كيف جرى التدريب وماذا كانت النتيجة؟

تألفت مجموعة البيانات من 207 كتب بوليسية في الملكية العامة بالولايات المتحدة: روايات داشيل هاميت (تكررت ثلاث مرات في البيانات) ونحو 200 عمل من Project Gutenberg. المجموع 21.7 مليون رمز، والمقسّم (tokenizer) من نوع BPE بـ 8192 رمزًا. ويجري التحقق على نصوص جنائية مستبقاة جانبًا. التشغيل الرئيسي: 12 ألف خطوة، نحو 98 مليون رمز (قرابة 4.5 دورة)، واستغرق 2.6 ساعة على MacBook Air M5 بذاكرة 24 غيغابايت. أوضح ما في المشروع تجربة الموازنة.

ما أبرز التفاصيل حول القيود ولمن يفيد المشروع؟

عدّد المؤلف بصراحة ما ليس موجودًا. فكل خبير يحسب كل رمز، ويُصفَّر ببساطة ناتج الخبراء غير المختارين: رياضيات التوجيه دقيقة، لكن لا يوجد توزيع متفرّق (sparse) للرموز ولا توازي للخبراء. وفي MLA لا يوجد امتصاص للأوزان (weight absorption): تُفكّ المفاتيح والقيم صراحةً، وهذا أسهل في القراءة لكنه أبطأ في الاستدلال (inference). ولم تُنفَّذ كذلك الأمور التالية: التدريب بصيغة FP8، وDualPipe، وتقييد التوجيه بحسب العقد، وتوسيع السياق YaRN، وأي تدريب لاحق (post-training).

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…