تشغيل الشبكات العصبية الكبيرة محليًا: ضغط الذاكرة 14 مرة
لم تعد نماذج LLM العملاقة المشغّلة محليًا تبدو أمرًا غريبًا. فقد ضغطت PrismML نموذجًا بحجم 8B إلى 1.15 غيغابايت في Bonsai، بينما عرضت Google Research تقنية TurboQuant التي تضغط KV-cache إلى نحو 3–3.5 بت دون خسارة ملحوظة في الجودة. إذا أمكن توسيع نطاق هذه الأساليب، فقد تعمل نماذج من فئة 200B وأكثر ليس فقط في مراكز البيانات، بل أيضًا على أجهزة محلية قوية.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
لم يعد تشغيل الشبكات العصبية الكبيرة محليًا حلمًا بعيدًا يقتصر على الهواة الذين يملكون رفّ خوادم. فهناك نهجان حديثان — الأوزان بدقة 1 بت في Bonsai من PrismML، وضغط KV-cache عبر TurboQuant من Google Research — يستهدفان معًا أغلى جزأين في الاستدلال (inference): الذاكرة التي يشغلها النموذج، والذاكرة التي يتطلبها السياق الطويل.
ما حجم الذاكرة التي سيشغلها نموذج Qwen 8B النصي بعد الضغط؟
نحو 1.15 غيغابايت مقابل 16.38 غيغابايت في النسخة الأصلية بدقة FP16 — أي أصغر بنحو 14 مرة تقريبًا.
كيف تُضغط الذاكرة المخصصة للسياق في الشبكات العصبية النصية؟
اقترحت Google Research تقنية TurboQuant، وهي طريقة لضغط KV-cache تقلّل أحد أغلى جزأين في الاستدلال عند العمل مع سياق طويل.
هل يمكن تشغيل شبكة عصبية كبيرة محليًا مجانًا؟
نعم، فنموذج Bonsai 8B من PrismML متاح برخصة Apache 2.0. وبفضل ضغط الأوزان إلى 1 بت يبلغ حجمه نحو 1.15 غيغابايت بدلًا من 16.38 غيغابايت، أي أصغر بـ 14 مرة من النسخة القياسية.
ما الذي يخفّض متطلبات الذاكرة عند تشغيل نموذج ذكاء اصطناعي كبير محليًا؟
هناك نهجان: الأوزان بدقة 1 بت (Bonsai) وضغط KV-cache (TurboQuant). ويعالج هذان النهجان جزأين مكلفين من الاستدلال — ذاكرة النموذج وذاكرة السياق الطويل.
كيف أشغّل شبكة عصبية على حاسوبي الشخصي؟
يضغط Bonsai من PrismML (أوزان بدقة 1 بت) نموذج Qwen3-8B إلى 1.15 غيغابايت بدلًا من 16.38 غيغابايت، أي بنحو 14 مرة. أما TurboQuant من Google فيضغط KV-cache للسياق الطويل بشكل إضافي.
ما هو Bonsai؟
Bonsai 8B نموذج من PrismML مبني على Qwen3-8B ومتاح برخصة Apache 2.0، وتُخزَّن فيه معظم الأوزان بتمثيل 1 بت، ما يتيح ضغط النموذج بنحو 14 مرة.
كيف أشغّل شبكة عصبية كبيرة على حاسوبي الشخصي؟
يمكنك استخدام تقنية Bonsai من PrismML، وهي أوزان بدقة 1 بت تقلّص حجم النموذج 14 مرة (من 16.38 غيغابايت إلى 1.15 غيغابايت). أو تطبيق TurboQuant من Google Research لضغط KV-cache الخاص بالسياق الطويل.
ما مقدار الذاكرة الأقل المطلوب لشبكة عصبية محلية؟
يتطلب Bonsai 8B 1.15 غيغابايت فقط من الذاكرة بدلًا من 16.38 غيغابايت في النسخة العادية بدقة FP16 — أي توفير بنحو 14 مرة.
كم من الذاكرة يحتاج Bonsai 8B؟
نحو 1.15 غيغابايت مقابل 16.38 غيغابايت في النسخة العادية بدقة FP16 — أي أقل بنحو 14 مرة.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.