ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

مهندس يشغّل نموذجًا بـ125 مليار معامل على حاسوب منزلي ويحصل على 22–25 رمزًا في الثانية

ترفض المصارف والشركات الحكومية الكبرى إرسال الشيفرة البرمجية والمهام إلى خدمات الذكاء الاصطناعي السحابية، لذلك وضع المؤلف تحت مكتبه نموذجًا بـ125 مليار معامل: بطاقة رسومات بسعة 16 غيغابايت وذاكرة عادية بسعة 128 غيغابايت. النموذج من فئة MoE، أي إنه لا يعمل لكل رمز (جزء من كلمة) سوى نحو 6 مليارات معامل. ويحقق محرك Strata سرعة 22–25 رمزًا في الثانية، بينما تتطابق النسخة المضغوطة مع المرجع بدقة 8 بت في 93,1% من الحالات. وبالنسبة إلى المهام الوكيلية الجماعية ذات البيانات المغلقة، بات المحيط المحلي صالحًا للعمل فعلًا.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
مهندس يشغّل نموذجًا بـ125 مليار معامل على حاسوب منزلي ويحصل على 22–25 رمزًا في الثانية
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1تحديث المحرك رفع سرعة توليد الإجابة بنسبة 79%
تكبير pagefile على Windowsمن 15,1 إلى 22,3 رمز/ث (+48%)
حقيقة رئيسية #3الفتحة المتوازية الثانية تخفض السرعة لكل طلب إلى النصف تقريبًا

تخيّل أن وكلاء الذكاء الاصطناعي لديك يكتبون الشيفرة ويحللون الحوادث من السجلات ويديرون قائمة المهام المتراكمة، ثم تسأل إدارة الأمن لدى العميل: إلى أين تذهب صياغات المهام وأجزاء الشيفرة والبيانات؟ إذا كان الجواب «إلى خوادم الغير في السحابة»، فكثيرًا ما ينتهي الحوار عند هذا الحد. يعمل مؤلف هذا العرض مع شركات حكومية كبرى ومصارف ومجموعات صناعية قابضة، وقد حلّ المشكلة بطريقة جذرية: وضع تحت مكتبه نموذجًا بـ125 مليار معامل (هكذا يُقاس حجم الشبكة العصبية؛ و«125B» في العنوان تعني ذلك تحديدًا). يعمل النموذج على بطاقة رسومات بذاكرة 16 غيغابايت ويولّد 22–25 رمزًا في الثانية.

والرمز هو جزء من كلمة، أي إن الرقم يعبّر عن السرعة التي «يكتب» بها النموذج إجابته. ولا يغادر أي بايت من البيانات محيط الشركة في هذه الأثناء.

لماذا لا يحسم السحاب ولا الإخفاء المسألة

يتسرب عبر واجهة API السحابية، أثناء عمل الوكلاء، أكثر مما يبدو: أسماء المشاريع والأطراف المتعاقد معها والمبالغ وعناوين URL للأنظمة الداخلية ومخططات قواعد البيانات، وأحيانًا مفاتيح الوصول. يُضاف إلى ذلك البيانات الوصفية: من سأل ومتى وكم مرة. وتنضاف متطلبات القانون الاتحادي الروسي 152-ФЗ، وسياسات حفظ الطلبات التي قد تتغير بإعلان واحد، والقيود على عدد الوكلاء الفرعيين المتوازيين، والفواتير: فوكيل تحقيق واحد قد يستهلك في مساء واحد ملايين الرموز المُدخلة.

يساعد الإخفاء (استبدال الأسماء وأرقام التعريف الضريبي INN والمبالغ بعناصر نائبة) لكنه يعالج المشكلة جزئيًا فقط. فيمكن تخمين العقد والعميل من بنية JSON ومعرّفات المهام. وإذا استُبدل القطاع بـORG_1 والمنتج بـPRODUCT_2، فقد النموذج المعنى القطاعي وبدأ يخلط الأمور. أما الشيفرة وملفات الإعداد فلا يمكن تنظيفها بالتعبيرات النمطية، وتبقى البيانات الوصفية، ويتعين صيانة خط الإخفاء نفسه. خلاصة المؤلف: يجب حل المهام المتعلقة بالشيفرة والبيانات الداخلية محليًا فقط.

كيف يتسع نموذج 125B في 16 غيغابايت من ذاكرة الفيديو

جرّب المؤلف نماذج من فئة 30–35B، لكنها لم تكفِ للسياق الطويل وللصيغة الصارمة للإجابات واستدعاء الأدوات. أما النموذج العادي («الكثيف») بحجم 125B فكان سيعطي على عتاد منزلي بضعة رموز في الدقيقة، إذ سيمر كل رمز على كامل الأوزان البالغة 65 غيغابايت حتى بصيغة 4 بت. وجاء الحل من بنية MoE، أي «مزيج الخبراء»: لا يعمل لكل رمز سوى نحو 6 مليارات معامل، بينما تبقى بقية الخبراء في الذاكرة العشوائية وتُحمَّل عند الحاجة. وتعود نحو 51 مليار معامل أخرى إلى جداول n-gram التي تُقرأ من RAM سطرًا سطرًا. وتبقى في ذاكرة الفيديو طبقة الانتباه والطبقات المشتركة والخبراء «الساخنون».

العتاد عادي: بطاقة RTX 5060 Ti بسعة 16 غيغابايت، ومعالج Xeon E5-2640 v3 قديم بـ8 أنوية، وذاكرة DDR4 بسعة 128 غيغابايت (GiB). والعائق الرئيسي هو سرعة الذاكرة: نحو 25 غيغابايت/ث في القراءات العشوائية للخبراء. وكانت البداية ضعيفة: نحو 3 رموز في الثانية في LM Studio، و9,2 بعد الضبط اليدوي لـllama.cpp. أما محرك Strata (برخصة MIT)، المكتوب خصيصًا لهذه البنية، فحقق بعد المعايرة على العتاد نحو 437 رمزًا/ث في معالجة الموجّه و25–28 رمزًا/ث في التوليد مع الكمّ IQ3_S. وهذا أسرع بنحو ثلاثة أضعاف من أفضل نتيجة لـllama.cpp. أما الرقم النهائي 22–25 رمزًا/ث فقد تحقق مع كمّ أدق وسياق أصلي طوله 262 144 رمزًا.

ما الذي أعطى زيادة في الأداء وما الذي لم يعطها

  • إصدار المحرك. أدى تحديث Strata مع فاك الترميز التخميني (الذي «يخمّن» عدة رموز مقدمًا) إلى زيادة سرعة التوليد بنسبة 79%. وينصح المؤلف بإعادة معايرة المعاملات بعد كل تحديث.
  • الكمّ. لا يحدد الاختيار الجودة بل توزيع ذاكرة الفيديو. ويتطابق الخيار الأساسي مع المرجع بدقة 8 بت في 93,1% من الحالات.
  • Pagefile على Windows. لم تكن الذاكرة الفعلية هي القيد، بل حد الالتزام (commit limit)، أي RAM مضافًا إليها ملف التبديل. وبعد تكبير pagefile ارتفع التوليد من 15,1 إلى 22,3 رمز/ث (+48%).
  • السياق والفتحات. السياق الطويل شبه مجاني، أما الفتحات المتوازية فمكلفة: تقتطع الفتحة الثانية من ذاكرة الفيديو المخصصة لكاش الخبراء وتخفض السرعة لكل طلب إلى النصف تقريبًا.

القيود والخلاصة العملية

هذه تجربة شخصية على عتاد محدد، وليست اختبار أداء مستقلًا. فالأرقام تعتمد على سرعة الذاكرة وإصدار المحرك وطول الموجّه، ولذلك يقارن المؤلف بين الإعدادات على موجّهات متطابقة بطول نحو 10 آلاف رمز فقط. أما تشغيل عدة وكلاء في وقت واحد على محطة كهذه فمحدود.

الخلاصة العملية للفرق. إذا كانت لديكم بيانات حساسة أو متطلبات أمن معلومات صارمة، فلا تبدؤوا بالإخفاء، بل قيّموا محيطًا محليًا بنموذج MoE. خصصوا وقتًا للمعايرة، ولا تقتصدوا في سعة الذاكرة العشوائية. وتعتمد النتيجة أيضًا على التحضير: فالمهارات ذات العمليات المضبوطة وقواعد الحقائق المجمّعة مسبقًا والنتيجة القابلة للتحقق (الاختبارات والبوابات وe2e) أهم من سرعة التوليد. كما يخدم المحيط المحلي بوصفه قناة احتياطية في حال انقطاع الاشتراكات أو الإنترنت. وتوقع المؤلف أن يصبح النموذج الهجين، الذي يتولى فيه السحاب التصميم والقرارات المعقدة بينما يأخذ النموذج المحلي موجات المهام الجماعية وكل ما هو حساس، أمرًا معتادًا لفرق التطوير خلال السنة أو السنتين المقبلتين.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا لا يحسم السحاب ولا الإخفاء المسألة؟

يتسرب عبر واجهة API السحابية، أثناء عمل الوكلاء، أكثر مما يبدو: أسماء المشاريع والأطراف المتعاقد معها والمبالغ وعناوين URL للأنظمة الداخلية ومخططات قواعد البيانات، وأحيانًا مفاتيح الوصول. يُضاف إلى ذلك البيانات الوصفية: من سأل ومتى وكم مرة. وتنضاف متطلبات القانون الاتحادي الروسي 152-ФЗ، وسياسات حفظ الطلبات التي قد تتغير بإعلان واحد، والقيود على عدد الوكلاء الفرعيين المتوازيين، والفواتير: فوكيل تحقيق واحد قد يستهلك في مساء واحد ملايين الرموز المُدخلة.

ما أبرز التفاصيل حول كيف يتسع نموذج 125B في 16 غيغابايت من ذاكرة الفيديو؟

جرّب المؤلف نماذج من فئة 30–35B، لكنها لم تكفِ للسياق الطويل وللصيغة الصارمة للإجابات واستدعاء الأدوات. أما النموذج العادي («الكثيف») بحجم 125B فكان سيعطي على عتاد منزلي بضعة رموز في الدقيقة، إذ سيمر كل رمز على كامل الأوزان البالغة 65 غيغابايت حتى بصيغة 4 بت. وجاء الحل من بنية MoE، أي «مزيج الخبراء»: لا يعمل لكل رمز سوى نحو 6 مليارات معامل، بينما تبقى بقية الخبراء في الذاكرة العشوائية وتُحمَّل عند الحاجة. وتعود نحو 51 مليار معامل أخرى إلى جداول n-gram التي تُقرأ من RAM سطرًا سطرًا.

ما أبرز التفاصيل حول ما الذي أعطى زيادة في الأداء وما الذي لم يعطها؟

إصدار المحرك. أدى تحديث Strata مع فاك الترميز التخميني (الذي «يخمّن» عدة رموز مقدمًا) إلى زيادة سرعة التوليد بنسبة 79%. وينصح المؤلف بإعادة معايرة المعاملات بعد كل تحديث. الكمّ. لا يحدد الاختيار الجودة بل توزيع ذاكرة الفيديو. ويتطابق الخيار الأساسي مع المرجع بدقة 8 بت في 93,1% من الحالات. Pagefile على Windows. لم تكن الذاكرة الفعلية هي القيد، بل حد الالتزام (commit limit)، أي RAM مضافًا إليها ملف التبديل. وبعد تكبير pagefile ارتفع التوليد من 15,1 إلى 22,3 رمز/ث (+48%). السياق والفتحات.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…