BitNet b1.58: كيف يتيح التكميم الثلاثي تشغيل نموذج بحجم 27B دون GPU
قبل بضع سنوات كان تشغيل نموذج بحجم 27B دون بطاقة رسومات قوية أمرًا مستحيلًا. أما اليوم فقد صار واقعًا: يأخذ كل وزن في التكميم الثلاثي إحدى ثلاث قيم {-1, 0, 1}، فتنضغط الشبكة العصبية إلى نحو 1.58 بت لكل معامل. ولا تُجرى في الاستدلال أي عمليات ضرب، بل جمع وطرح فقط، وهي عمليات يتحملها أي معالج.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
قبل بضع سنوات بدت فكرة تشغيل نموذج بـ27B معامل على حاسوب محمول عادي دون GPU أمرًا عبثيًا. وفي عامي 2024–2025 أصبحت هذه الفكرة واقعًا بفضل أسلوب غير تقليدي في التكميم: فبدلًا من تقريب الأوزان، تُبنى الشبكة حرفيًا على قيمتين أو ثلاث قيم منفصلة.
ما هو التكميم غير التقليدي
يخفّض التكميم المعتاد دقة الأوزان على مقياس float32 → INT8 → INT4 → INT2، مع الإبقاء على نطاق عددي متصل. أما النهج غير التقليدي فهو أكثر جذرية: إذ تأخذ الأوزان القيم {-1, 0, 1} فقط، وهذا هو التكميم الثلاثي. وقد طوّرت Microsoft Research عائلة BitNet التي يُخزَّن فيها كل وزن بمتوسط 1.58 بت.
- BitNet — بنية بأوزان ذات بت واحد أثناء التدريب، اقترحتها Microsoft Research في عام 2023
- BitNet b1.58 — نسخة ثلاثية بأوزان {-1, 0, 1}، بمتوسط 1.58 بت لكل معامل، نُشرت في مارس 2024
- يشغل Gemma 27B بالصيغة الثلاثية 6–7 غيغابايت، ويعمل على حاسوب محمول يعتمد على CPU فقط
- يدعم llama.cpp صيغ GGUF ذات البت الواحد منذ مارس 2024
- تُستبدل عمليات الضرب بالجمع والطرح، دون تحميل وحدات الفاصلة العائمة (FP) في المعالج بأي عبء
لماذا يختلف هذا عن INT4
التكميم الكلاسيكي INT4 ضغط يأتي بعد التدريب: يُضغط نموذج float32 الجاهز بعد انتهاء تدريبه، ويتراجع الجودة حتمًا في هذه الحالة، خصوصًا في الأحجام الصغيرة. أما التكميم غير التقليدي فيعمل بطريقة مختلفة: تُدرَّب الشبكة منذ البداية بحيث تقع الأوزان في مواضع منفصلة. وهذا يغيّر طبيعة الخسائر تغييرًا جوهريًا.
«النموذج ذو الأوزان {-1, 0, 1} يضاهي نظيره كامل الدقة من حيث perplexity عند التدريب الصحيح، ويتطلب في الوقت نفسه ذاكرة وصول عشوائي أقل بمقدار 3–5 مرات»، بحسب التقرير التقني الصادر عن
Microsoft Research حول BitNet b1.58.
ووفق بيانات المعايير المفتوحة، تبلغ الفجوة عن خط الأساس float16 للنماذج بدءًا من 7B ما بين 1 و3% في معظم المهام، وهو ثمن مقبول مقابل أن يتسع النموذج في ذاكرة RAM لحاسوب محمول عادي.
ما الذي يعمل على الحاسوب المحمول الآن
أبرز مثال على ذلك نماذج فئة 27B على MacBook بذاكرة موحدة سعتها 32 غيغابايت، أو على حاسوب محمول بنظام Windows ومعالج عادي دون GPU منفصل. وتبلغ سرعة التوليد على Apple M2 Pro للنموذج الثلاثي 27B نحو 10–15 توكنًا في الثانية، وهي كافية لمعظم المهام العملية.
ثمة ملاحظة مهمة: يعمل التكميم غير التقليدي على أفضل وجه مع النماذج المدرَّبة من الصفر بهذا النمط. أما تحويل نموذج جاهز، مثل Llama 3، إلى الصيغة الثلاثية بعد التدريب دون تراجع ملحوظ في الجودة فأمر صعب: إذ يتطلب إما مواصلة التدريب أو التقطير (distillation) عبر معلّم ثلاثي.
ماذا يعني ذلك
يزيح التكميم الثلاثي والتكميم ذو البت الواحد حدود الإتاحة: فلم تعد النماذج اللغوية الكاملة بحجم 27B وأكثر بحاجة إلى عتاد الخوادم. ويكتسب ذلك أهمية خاصة في سيناريوهات الشركات التي تفرض متطلبات خصوصية البيانات، إذ يصبح الاستدلال المحلي دون السحابة ممكنًا تقنيًا واقتصاديًا.
الأسئلة الشائعة
كيف يمكن تشغيل نموذج ثلاثي دون GPU؟
تُشغَّل النماذج الثلاثية وذات البت الواحد بصيغة GGUF عبر llama.cpp على معالج عادي. ويكفي 16–32 غيغابايت من الذاكرة العشوائية للنماذج من 7B إلى 27B، ولا حاجة إلى GPU.
ما الفرق بين BitNet b1.58 والتكميم INT4؟
يُدرَّب BitNet b1.58 بأوزان ثلاثية منذ البداية، ولا يحصل عليها نتيجة ضغط بعد التدريب. وهذا يمنح جودة أكثر قابلية للتنبؤ، ويلغي عمليات الضرب من الاستدلال كليًا.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.