ضبط Gemma 26B على MacBook بذاكرة 24 غيغابايت: مساعد يعمل دون اتصال يحقق 703 من 766

نصف عام من العمل، وجهاز MacBook واحد بذاكرة مشتركة سعتها 24 غيغابايت، وشرط صارم: لا سحابة ولا اشتراكات. بنى صاحب المشروع مساعدًا صوتيًا لنظام macOS لا يثرثر بل ينفّذ: يفتح المجلدات، ويبحث عن الملفات، ويشغّل الأفلام، ويقرأ البريد. ولهذا ضبط نموذج Gemma 4 26B A4B (نموذج MoE بنحو ~4 مليارات معامل نشط) بطريقة QLoRA عبر mlx-lm. القواعد التي كانت تشغل نحو 5 000 رمز من موجّه النظام انتقلت إلى أوزان وحدة LoRA صغيرة. وعلى منصة اختبار مجمّدة من 766 محادثة، حلّت النسخة v4b ذات الموجّه القصير 703 محادثات، وبلغ وسيط زمن الرد 1,64 ثانية.

الدماغ يختار الأداة ولا يكتب النص

التطبيق مكتوب بـ Electron، وتعمل حول نافذته عمليات منفصلة. يتولى Python مهمة السمع، بكاشف للكلام ونموذج Whisper بنسخة MLX. ويتولى llama-server (llama.cpp) مهمة الدماغ، بنموذج Gemma بتكميم 4 بت ووحدة LoRA بصيغة GGUF. ويتولى Qwen-TTS توليد الصوت اعتمادًا على تسجيل مرجعي. أما مكوّنات macOS الخاصة بالصوت والميكروفون والصدى فيتولاها مساعد مكتوب بـ Swift. وإذا تعطلت عملية أعاد حارس تشغيلها، ويعود الصوت إلى العمل خلال نحو 7 ثوانٍ.

في كل جملة يعيد النموذج خطوة واحدة بصيغة JSON ثابتة تضم الحقول think وtool وargs وsay وnext. تنفّذ النافذة الأداة، وتعيد النتيجة إلى النموذج عند الحاجة. وأي تعديل على الملفات أو حذف لها يتطلب تأكيدًا صوتيًا. وتُقدَّم الصيغة نفسها إلى ChatGPT وClaude وGemini إذا وصلها المستخدم بالتطبيق، وتُمرَّر إليها الأدوات عبر استدعاءات الدوال الأصلية. عندها يتوقف llama-server المحلي ويحرّر نحو 13 غيغابايت.

منصة اختبار من 766 محادثة ودورة إصلاح

قبل تدريب النموذج، بنى المطوّر منصة اختبار مجمّدة: عبارات مقترنة بخطوات مرجعية لا يتدرّب عليها أبدًا. وشملت أوامر المجلدات، والبحث عن الأفلام، والبريد، وأسئلة المستندات، وسلاسل الجمل، وحالات الرفض، وأخطاء التعرف على الكلام. وكلّف درسان ثمنًا غاليًا. فالتقييم بحسب الجمل المنفردة استبعد أكثر من 400 سلسلة ورسم صورة وردية أكثر من اللازم، ولذلك ينبغي المقارنة على محادثات كاملة. أما الأمثلة المجمّعة من أخطاء المنصة فتضخّم التقييم على المنصة نفسها، ولذا يحتاج التقييم النزيه إلى مجموعة جديدة.

تطور النسخ (نمت المنصة من 533 إلى 766 محادثة، لذا تصح المقارنة المباشرة داخل الحجم الواحد فقط):

• دون وحدة LoRA، بموجّه كامل: 475 من 533 (89 %)، الوسيط 1,94 ثانية
• v3، بموجّه كامل: 487 من 533 (91 %)، الوسيط 1,63 ثانية
• v4 بأقسام جديدة (المستندات، المخططات، الإنجليزية، السلاسل): 684 من 766
• v4b، بموجّه قصير: 703 من 766، الوسيط 1,64 ثانية

في v4 تحسّن النموذج في الأقسام الجديدة لكنه تراجع في القديمة. فصار «شغّل فيلمًا» يشغّل الموسيقى، وفقد «ابحث عن فيلم» نوع البحث، والتبس «مجلدي» بمجلد الملاحظات. وساعدت دورة الإصلاح: 416 مثالًا لهذه الحالات، مع عينة عشوائية من البيانات القديمة والجديدة، بإجمالي نحو 1100. واستمر التدريب الإضافي ~1000 خطوة أخرى بمعدل تعلّم learning rate قدره 1,5e-5 بدل 3e-5 ودون تحقق. استغرق ذلك نحو 70 دقيقة وأعطى أفضل نتيجة في المشروع كله. أما التدريب من الصفر فقد جعل النموذج ينسى القديم.

ما الذي تعطّل على الحاسوب المحمول

يفرض حدّ Metal طول المثال: لا أكثر من ~1400 رمز، وإلا يظهر الخطأ Insufficient Memory. ولا يمكن فعليًا التدريب بالموجّه الكامل على Mac، وهذه حجة إضافية لنقل القواعد إلى الأوزان. ويستبعد السكربت مسبقًا الأمثلة التي لا تتسع. تبلغ السرعة 0,25–0,4 خطوة في الثانية، وتستغرق الدورة نحو ثلاث ساعات، ولذلك يتدرّب النموذج ليلًا.

وفيما يلي بقية المشكلات:

• دخل Mac في السكون. بعد أحد التدريبات استغرق الاختبار على المنصة ست ساعات. والآن تعمل السلسلة كلها (التدريب، والتحويل إلى GGUF، والاختبار) تحت أمر caffeinate -i -s واحد.
• انهيارات الذاكرة. المتصفح وفهرسة Spotlight يرفعان استخدام المبادلة (swap) إلى 6–7 غيغابايت، وتزامنت الانهيارات مع التحقق كل 200–400 خطوة. الحل: حفظ نقاط التدريب، والاستئناف تلقائيًا عبر --resume-adapter-file، وتعطيل التحقق في المراحل المتأخرة.
• تعديل سكربت bash أثناء تشغيله أسقط السلسلة بخطأ syntax error، لأن bash يقرأ الملف أثناء التنفيذ.
• احتاج Gemma 4 إلى تعديلين صغيرين في mlx-lm، ويتطلب تحويل وحدة LoRA إلى GGUF بيئة منفصلة تضم torch.

وحول النموذج أيضًا قدر كبير من الهندسة. يُخفَض صوت الفيلم لا عند ذكر اسم المساعد، بل عند بدء الكلام: إذا كان الصوت أعلى من «الأرضية العائمة» بمقدار 6 ديسيبل ولم يكن صدى، ينخفض الصوت، ثم يعود بعد 2,5 ثانية إذا لم يُذكر الاسم. أما عيب التوليد الصوتي الذي تتحول فيه «сэр» إلى «сёр» في نحو كل لقطة ثالثة، فتكشفه التحليلات الصوتية.

تُقاس حركة الصوت المتحرك بتحليل LPC من الرتبة 12، وتُقارَن الصيغة الصوتية الثانية (formant): نحو 2000–2300 هرتز لـ «э» و750–900 هرتز لـ «ё». يستغرق الفحص نحو 3 مللي ثانية، ويكتشف الكاشف 39 عيبًا من 46، ثم تُعاد العبارة بلقطة أخرى. وتتولى Spotlight أسئلة المستندات: بحث خلال 60–700 مللي ثانية، وأفضل ملفين أو ثلاثة، ونوافذ بحجم ~600 حرف، وإجابة اعتمادًا عليها فقط.

أما مخططات DWG فتحلّلها LibreDWG بتقنية WebAssembly في مسار منفصل، وتتحول النتيجة إلى SVG وتُخزَّن مؤقتًا.

وصفة لمشروعك

إذا كنت تبني وكيلًا محليًا، فابدأ بمنصة الاختبار لا بالتدريب. جمّد مجموعة المحادثات وقارن النسخ عليها وحدها، واحتفظ لتقييمك النهائي بعينة جديدة لم يرها النموذج ولم تطّلع عليها أنت.

القواعد التي تجرّ خلفها آلاف الرموز من الموجّه في كل طلب يفيد نقلها إلى LoRA: فالدقة والزمن يتحسنان معًا. أضف المهارات الجديدة فوق الوحدة السابقة على مزيج من البيانات القديمة والجديدة، وبمعدل تعلّم learning rate منخفض. وتكفي 24 غيغابايت لنموذج MoE بحجم 26B إذا قصّرتَ طول الأمثلة، وحفظتَ نقاط التدريب، ولم تترك الجهاز ينام. والخطوة التالية لدى المطوّر هي الذاكرة الشخصية والتعلّم الذاتي من العبارات التي لم يفهمها المساعد.