PrismML Bonsai: كيف تشغّل نموذجًا بدقة 1 بت على CUDA مع GGUF وJSON وRAG

تخرج نماذج اللغة بدقة 1 بت تدريجيًا من نطاق التجارب المخبرية لتصبح أداة عملية، والشرح التعليمي الجديد لنموذج PrismML Bonsai يوضح ذلك جيدًا. تستعرض المادة خطوة بخطوة كيفية تشغيل Bonsai-1.7B على وحدة GPU عبر CUDA وصيغة GGUF، والتحقق من سرعة التوليد، وإعداد وضع المحادثة، والحصول على إخراج JSON صارم، وبناء سيناريو RAG بسيط دون بنية تحتية ثقيلة.

يبدأ المؤلفون بجزء أساسي لكنه مهم: فحص بيئة GPU وCUDA، وتثبيت تبعيات Python، وتنزيل ملفات llama.cpp التنفيذية المبنية مسبقًا من حزمة PrismML المحسّنة. بعد ذلك يُسحب نموذج Bonsai-1.7B بصيغة GGUF من Hugging Face. يبلغ حجمه على القرص نحو 248 ميغابايت، وتزعم PrismML أن هذه النسخة أصغر بنحو 13,9 مرة من نظيرتها بدقة FP16. يقوم هذا التوفير على صيغة Q1_0_g128، إذ يُخزَّن كل وزن على شكل بت واحد للإشارة، ويُضاف لكل 128 وزنًا معامل قياس (scale) مشترك بدقة FP16. يعادل ذلك نحو 1,125 بت لكل معامل، ما يخفض متطلبات الذاكرة بصورة جذرية. وبالنسبة إلى بيئات الاختبار المحلية الصغيرة، يعني هذا إمكانية إبقاء النموذج أقرب إلى البيانات ودمجه بسرعة أكبر في السيناريوهات التطبيقية.

ثم ينتقل الشرح من التثبيت إلى التشغيل الفعلي. في البداية يُجرى استدلال أساسي للتأكد من أن Bonsai يجيب عن الطلبات بشكل صحيح. تلي ذلك فقرة القياس: تُقاس سرعة التوليد على سلسلة من التشغيلات، وتُقارن النتيجة بالمراجع المنشورة. وتشير بطاقة نموذج Bonsai-1.7B إلى مؤشرات مرجعية تبلغ 674 رمزًا في الثانية على RTX 4090 عبر CUDA و250 رمزًا في الثانية على M4 Pro 48 GB عبر Metal. بعد ذلك يُعرض نموذج محادثة متعددة الخطوات مع تراكم السجل، إضافة إلى ضبط معاملات أخذ العينات، وهي درجة الحرارة وtop-k وtop-p، لتوضيح كيف يتغير أسلوب الإجابات وتنوعها. ويُشدَّد بشكل منفصل على أن التشغيل بدون GPU ممكن، لكنه سيكون أبطأ بشكل ملحوظ.

ومن الأجزاء المفيدة قسم يختبر Bonsai على مهام تطبيقية لا على ردود منفردة. ففي المثال يلخّص النموذج نصًا تقنيًا طويلًا ضمن نافذة سياق محدودة، ثم يُلزَم بإرجاع JSON صالح تمامًا دون نص زائد ودون أغلفة markdown، وبعدها يُستخدم لتوليد شيفرة Python. والخطوة التالية هي تشغيل llama-server محلي بوضع متوافق مع OpenAI. وهذه نقطة مهمة: يمكن ربط النموذج عبر مكتبات العملاء المألوفة ودمجه في خطوط المعالجة القائمة دون إعادة كتابة المنظومة كلها لتناسب واجهة API غير مألوفة. وبذلك يحوّل الشرح نموذجًا لغويًا مدمجًا وتجريبيًا إلى خدمة يمكن ربطها بسرعة ببوت أو وكيل أو أداة داخلية.

وثمة جزء عملي آخر هو RAG المصغّر. فبدلًا من قاعدة متجهات كبيرة، يُستخدم هنا قاموس بسيط يضم حقائق عن نماذج Bonsai وصيغة التكميم، ويُضاف إلى الموجّه (prompt) بوصفه سياقًا. ويُظهر المثال كيف يجيب النموذج عن أسئلة مسندة إلى هذا السياق، مثل حجم نسخة 1.7B أو طول السياق أو آلية Q1_0_g128. وفي الوقت نفسه يتضح سياق أوسع للعائلة: فنموذج Bonsai-1.7B يدعم، وفق المعلن، نافذة سياق من 32 768 رمزًا وبحجم نحو 0,25 غيغابايت، أما نموذج 4B فنحو 0,6 غيغابايت، ونموذج 8B نحو 0,9 غيغابايت مع نافذة سياق تصل إلى 65 536 رمزًا. وتُوزَّع جميع النماذج مجانًا بموجب ترخيص Apache 2.0، ما يجعلها منصة ملائمة للتجارب المحلية.

والخلاصة الرئيسية من هذه المادة بسيطة: قيمة Bonsai حاليًا لا تكمن في أنه يحل محل النماذج الكبيرة كاملة الدقة، بل في أن صيغة 1 بت تخفض بوضوح عتبة الدخول إلى التشغيل المحلي والدمج التطبيقي. ولا يعرض الشرح فكرة مجردة، بل مسارًا قابلًا للتكرار، من تنزيل الملفات التنفيذية إلى الخادم وإجابات JSON وRAG. وبالنسبة إلى مطوري المساعدات المحلية والبوتات وسيناريوهات الحوسبة الطرفية، يبدو هذا من أوضح الأمثلة على أن نماذج LLM فائقة الإحكام بدأت تتحول إلى أداة هندسية عاملة.