بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

Bonsai 2 27B المضغوطة حققت 17 توكن/ث على بطاقة من 2017، مقابل 32 لـ Qwen3 8B

أراد مطوّر تشغيل نموذج محلي على بطاقة تعدين قديمة بذاكرة 8 غيغابايت، فاختار نموذج Bonsai 2 27B المضغوط، الذي تقلّص حجم معاملاته البالغة 27 مليار من 54 إلى 5,9 غيغابايت. النموذج اشتغل فعلًا، لكن Qwen3 8B العادي حقق في الـ 8 غيغابايت نفسها نتيجة قريبة جدًا: 36 نقطة من 40 مقابل 35 لـ Bonsai، وبسرعة 32 توكنًا في الثانية مقابل 17. يتطلب Bonsai نسخة PrismML المعدّلة (fork)، فلا يقرؤه Ollama ولا llama.cpp العادي. ولمساعد منزلي بذاكرة 8 غيغابايت، يبقى نموذج 8B أبسط لأنه لا يحتاج إلى حلول التفافية.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
Bonsai 2 27B المضغوطة حققت 17 توكن/ث على بطاقة من 2017، مقابل 32 لـ Qwen3 8B
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1يتوقف السياق عند 16K توكن، ولا يبدأ النموذج بسياق 32K
حقيقة رئيسية #2على RTX 4090 تبلغ السرعة 81–91 توكن/ث بحسب PrismML، أما البطاقة القديمة فتعطي خُمسها
حقيقة رئيسية #3على أندرويد بذاكرة 8 غيغابايت يعطي نموذج 27B سرعة 0,05 توكن/ث، أي توكنًا واحدًا كل 20 ثانية

تخيّل أنك تريد تشغيل مساعد محلي من دون سحابة على عتاد موجود أصلًا تحت مكتبك، مثل بطاقة رسوميات قديمة من أيام التعدين بذاكرة 8 غيغابايت. النموذج العادي من فئة 27 مليار معامل يزن عشرات الغيغابايتات ولا يتسع فيها. أصدرت شركة PrismML نموذج Bonsai 2 27B وضغطته إلى 5,9 غيغابايت، ووعدت بجودة شبه كاملة. اختبر كاتب التحليل على Habr هذا الوعد على بطاقة NVIDIA P104-100 للتعدين من 2017، ومعالج i7-3770 بلا AVX2، و15,5 غيغابايت من الذاكرة العشوائية، وهاتفَي أندرويد رخيصين. والخلاصة للمستخدم العملي: التشغيل ممكن، لكن Qwen3 8B العادي، الذي يتسع أصلًا في 8 غيغابايت، يعمل بجودة قريبة جدًا وبضعف السرعة. تُقاس السرعة هنا بالتوكنات في الثانية (t/s)، والتوكن قطعة من كلمة، تعادل تقريبًا بضعة أحرف.

كيف يتسع 27B في 5,9 غيغابايت

يخزّن النموذج العادي كل وزن كعدد من 16 بت، ويزن 27B بهذا الشكل نحو 54 غيغابايت. أما في Bonsai 2 فلم يبقَ للوزن سوى ثلاث قيم: −1 و0 و+1 (ويسمى هذا الضغط ثلاثيًّا). في صيغة PTQ1_0 يبلغ الحجم 1,75 بت للوزن الواحد و5,9 غيغابايت، وفي صيغة PQ2_0 يبلغ 2,13 بت و7,2 غيغابايت. وبحسب تصريح المطوّرين، يحتفظ النموذج بـ 98,2% من جودة Qwen3.8-27B الأصلي، ويُستعاض عن الضرب بالجمع وتبديل الإشارة.

وللحجم أثر في السرعة أيضًا: لإنتاج توكن واحد تقرأ البطاقة كل الأوزان، ولذلك تتحدد السرعة غالبًا بعرض نطاق الذاكرة لا بالحسابات.

ثمة تفصيل مزعج: لا تفهم التنسورات الثلاثية سوى نسخة PrismML المعدّلة (fork). يعطي Ollama خطأً عند محاولة قراءة هذا الملف. أما llama.cpp القياسي فوضعه أسوأ: يحمّل صيغة Q2_0 القديمة بصمت، ثم يجيب النموذج بكلام بلا معنى. قبل الضغط تُدوَّر الأوزان بمصفوفة هادامار لتخفيف القيم الشاذة النادرة، ويجب تدوير المدخلات بالطريقة نفسها أثناء التشغيل، وllama.cpp العادي لا يفعل ذلك. يمكن توفيق Ollama مع النسخة المعدّلة عبر رقع برمجية، لكنها تزول عند أول تحديث.

ماذا أظهرت القياسات

على P104-100 يقرأ Bonsai PTQ1_0 المُدخَل بسرعة 93,8 t/s ويولّد نحو 17 t/s. عند سياق 16K توكن يكون المستخدم 7967 ميغابايت من 8191، ولا يبدأ النموذج بسياق 32K، فتبقى الـ 262K المعلنة رسميًا نظرية بالنسبة إلى 8 غيغابايت. وعلى RTX 4090 تبلغ السرعة 81–91 t/s بحسب PrismML، أي أن البطاقة القديمة تعطي نحو الخُمس.

أما Qwen UD-IQ2_XXS العادي بـ 2 بت وبالحجم نفسه، فهو على هذه البطاقة أبطأ بست مرات في قراءة المُدخَل (15,7 t/s) وأبطأ بمقدار 1,6 مرة في التوليد (10,8 t/s). فالسرعة تحددها النوى (kernels) المكتوبة لصيغة بعينها، لا عدد البتات للوزن. وأعطى المعالج وحده بلا بطاقة رسوميات 0,6 t/s.

ولا يؤثر القرص إلا في زمن البدء: 25 ثانية مع NVMe و87 ثانية مع HDD، وبعدها تكاد السرعة تتساوى: 16,5 و17,0 t/s.

أما في الجودة فلا فارق يُذكر. في مجموعة من 40 مهمة قصيرة نال Bonsai 35 نقطة ونال Qwen3 8B 36. وتكاد كل النماذج تخلو من الأخطاء في الشيفرة وJSON والعثور على معلومة داخل نص والمعارف والنص الروسي.

ولا يختلف الأداء إلا في المنطق والرياضيات، وهنا لم يكن فوز 8B عادلًا تمامًا: كان في الطلب «أجب بالرقم فقط»، لكنه شرح الحسابات خطوة بخطوة رغم ذلك. وحين فعّل الكاتب الاستدلال في Bonsai، حلّ المسائل الخمس كلها بدل ثلاث، بإنفاق 63 توكنًا. وفي مجموعة من 20 مهمة صعبة بمعارف نادرة وسياق 8K و16K، لم يظهر تفوق واضح لـ 27B أيضًا: حصل 8B على 8 نقاط من 10 بسرعة 31,9 t/s، وBonsai على 7 من 10 بسرعة 16,8 t/s.

وكتب 27B القصص الخيالية أفضل قليلًا، 19 نقطة من 25 مقابل 18، لكن عينة من خمس قصص صغيرة.

وماذا عن الهواتف

هاتف TECNO Pouvoir 4 بنظام 32 بت بحت: توجد إصدارات أندرويد من النسخة المعدّلة لمعمارية arm64 فقط، ولا تستطيع عملية 32 بت فتح ملف بحجم 5,9 غيغابايت بسبب حد العناوين البالغ 4 غيغابايت. واضطر الكاتب إلى بناء Bonsai 2B وBonsai 4B الأصغر من الشيفرة المصدرية، وهما يعطيان من 0,6 إلى 1,4 t/s. وعلى TECNO Pova 5 بذاكرة 8 غيغابايت، اشتغل 27B وأجاب بشكل صحيح عن 5 من 6 أسئلة. لكن التطبيق لا يتاح له من الـ 8 غيغابايت سوى نحو 3–4 غيغابايت، ولذلك يعيد الهاتف قراءة الأوزان من الذاكرة الفلاشية مع كل توكن. والنتيجة 0,05 t/s، أي نحو 20 ثانية للتوكن. وعلى هاتف رائد بذاكرة 12–16 غيغابايت تكون الصورة على الأرجح أفضل، لكن الكاتب لم يختبر ذلك.

ماذا نفعل عمليًا

لمساعد محلي بذاكرة 8 غيغابايت يبقى Qwen3 8B أبسط: أدوات قياسية، وسرعة أعلى بالضعف، وجودة مقاربة. يستحق Bonsai التجربة إذا كانت بطاقتك بذاكرة 12–16 غيغابايت وتحتاج تحديدًا إلى فئة 27B، أو إذا كنت مستعدًا للعمل على النسخة المعدّلة (fork). ومنهج الكاتب محدود: تشغيل واحد لكل مهمة، ومجموعات صغيرة، وتقييم ذاتي للقصص الخيالية.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف يتسع 27B في 5,9 غيغابايت؟

يخزّن النموذج العادي كل وزن كعدد من 16 بت، ويزن 27B بهذا الشكل نحو 54 غيغابايت. أما في Bonsai 2 فلم يبقَ للوزن سوى ثلاث قيم: −1 و0 و+1 (ويسمى هذا الضغط ثلاثيًّا). في صيغة PTQ1_0 يبلغ الحجم 1,75 بت للوزن الواحد و5,9 غيغابايت، وفي صيغة PQ2_0 يبلغ 2,13 بت و7,2 غيغابايت. وبحسب تصريح المطوّرين، يحتفظ النموذج بـ 98,2% من جودة Qwen3.8-27B الأصلي، ويُستعاض عن الضرب بالجمع وتبديل الإشارة. وللحجم أثر في السرعة أيضًا: لإنتاج توكن واحد تقرأ البطاقة كل الأوزان، ولذلك تتحدد السرعة غالبًا بعرض نطاق الذاكرة لا بالحسابات.

ما أبرز التفاصيل حول ماذا أظهرت القياسات؟

على P104-100 يقرأ Bonsai PTQ1_0 المُدخَل بسرعة 93,8 t/s ويولّد نحو 17 t/s. عند سياق 16K توكن يكون المستخدم 7967 ميغابايت من 8191، ولا يبدأ النموذج بسياق 32K، فتبقى الـ 262K المعلنة رسميًا نظرية بالنسبة إلى 8 غيغابايت. وعلى RTX 4090 تبلغ السرعة 81–91 t/s بحسب PrismML، أي أن البطاقة القديمة تعطي نحو الخُمس. أما Qwen UD-IQ2_XXS العادي بـ 2 بت وبالحجم نفسه، فهو على هذه البطاقة أبطأ بست مرات في قراءة المُدخَل (15,7 t/s) وأبطأ بمقدار 1,6 مرة في التوليد (10,8 t/s).

ما أبرز التفاصيل حول وماذا عن الهواتف؟

هاتف TECNO Pouvoir 4 بنظام 32 بت بحت: توجد إصدارات أندرويد من النسخة المعدّلة لمعمارية arm64 فقط، ولا تستطيع عملية 32 بت فتح ملف بحجم 5,9 غيغابايت بسبب حد العناوين البالغ 4 غيغابايت. واضطر الكاتب إلى بناء Bonsai 2B وBonsai 4B الأصغر من الشيفرة المصدرية، وهما يعطيان من 0,6 إلى 1,4 t/s. وعلى TECNO Pova 5 بذاكرة 8 غيغابايت، اشتغل 27B وأجاب بشكل صحيح عن 5 من 6 أسئلة. لكن التطبيق لا يتاح له من الـ 8 غيغابايت سوى نحو 3–4 غيغابايت، ولذلك يعيد الهاتف قراءة الأوزان من الذاكرة الفلاشية مع كل توكن.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…