نموذج 72B على MacBook M2 Pro أعطى 1–2 رمز في الثانية وأحمى الحاسوب

قصة مألوفة: قرأت مقالين، كتبت ollama pull في الطرفية، وها هو «وكيلك الذكي الخاص الذي يعرف الشيفرة كلها». مهندس ضمان الجودة إيغور لابتيف من SENSE اختبر هذا السيناريو على MacBook Pro M2 Pro بذاكرة 32 غيغابايت، وخرج بدرس لا تذكره الشروحات التعليمية.

ما الذي سار على نحو خاطئ

أخذ نموذج Qwen Coder 72B وضغطه إلى Q2_K، أي نحو 26 غيغابايت. من الناحية التقنية دخل النموذج في ذاكرة 32 غيغابايت. أما عمليًا فقد استحوذ Ollama على الذاكرة تقريبًا كلها، وانتقل macOS إلى تبديل نشط، وأصدر القرص SSD طنينًا، وعمل المعالج ووحدة GPU بنسبة 100%. ولأن ذاكرة Apple Silicon مشتركة، يقع الحمل على النظام كله دفعة واحدة. تباطأ المتصفح، وتجمّدت بيئة التطوير IDE، وبعد دقائق قليلة بدأ الخنق الحراري (thermal throttling).

لم يُجدِ تحديد الذاكرة نفعًا. النصائح الشائعة بشأن 4 غيغابايت لا تعمل: فـ26 غيغابايت لا تتسع فيها، ويكتفي Ollama بإظهار خطأ. اضطر إلى رفع الحد إلى 28 غيغابايت. اشتغل النموذج، لكن بسرعة 1–2 رمز في الثانية. طلب بسيط مثل «اكتب محلل JSON» تنتظره دقيقة أو دقيقتين. انخفضت الحرارة من أكثر من 95°م إلى 85–90°م، فصار الحاسوب صالحًا للعمل، لكن ليس بشكل مريح.

وهناك كلفة خفية. التبديل المستمر يستهلك القرص SSD، لذا لا يُنصح بتشغيل مثل هذه التجربة لساعات. ومع ذلك يفيد الكاتب بأن حاسوبه سليم: فالخنق الحراري كان ردة فعل وقائية لا عطلًا.

الحاسوب المكتبي ساعد، لكن ليس مجانًا

على حاسوب مكتبي بكرت RTX 4070 Ti Super (ذاكرة VRAM بحجم 16 غيغابايت) و32 غيغابايت من DDR5 ومعالج i5-13600KF، أعطى النموذج نفسه 5–8 رموز في الثانية. واستغرق الرد على طلب بسيط 10–20 ثانية. بقي جزء من الأوزان في الذاكرة العشوائية، وكان ذلك ملحوظًا. أكبر عيب هو أن كرت الشاشة يكون مشغولًا بنسبة 80–90% أثناء عمل الوكيل. ولا يمكن اللعب أو مونتاج الفيديو إلا بعد إيقاف الوكيل.

RAG: هنا ترتفع الفاتورة

النموذج بلا سياق ليس وكيلًا بعد. ولكي يعرف الشيفرة والوثائق والتذاكر، يلزم RAG: قاعدة متجهات وتضمينات (embeddings) وبحث. قدّر الكاتب الأحجام. مشروع شخصي من 14 ألف مقطع (chunk) يشغل نحو 200 ميغابايت. ووثائق داخلية من 1.4 مليون مقطع تعطي نحو 20 غيغابايت. ونطاق كامل من 14 مليون مقطع يصل إلى 200 غيغابايت. ويضيف فهرس HNSW عبئًا إضافيًا بنسبة 30–50%. وإذا أُضيف إلى ذلك تدريب النموذج مجددًا، فإن حالات المحسِّن (optimizer) تضاعف الذاكرة نحو 3–4 مرات.

حصيلة العتاد: محطة عمل بكرت RTX 4090 أو A5000 وذاكرة 64 غيغابايت و4 تيرابايت SSD تكلّف نحو 6500 دولار. وتضيف الكهرباء 100–180 دولارًا في السنة. والأغلى من ذلك كله أن الجهاز الشخصي يتحول إلى خادم.

ما العمل إذن

استنتاج الكاتب متزن تمامًا. محليًا يُستحسن الاحتفاظ بنماذج 7B–14B بتكميم Q4_K_M أو Q8: وبتقديره تعطي نحو 90% من الجودة بثلث الموارد. وهي مناسبة للمهام السريعة وللشيفرة الخاصة. أما الاستدلال الثقيل وRAG بمئات الغيغابايتات والضبط الدقيق (fine-tuning) فالأفضل إسنادها إلى السحابة أو إلى عنقود GPU.

ومن المهم أيضًا ذكر القيود. هذه تجربة فردية على عتاد محدد، وليست اختبار أداء معياريًا. وقد اختير Q2_K عمدًا كاختبار إجهاد، ويقرّ الكاتب نفسه بأن جودة هذا النموذج منخفضة. وأرقام التخزين والتكلفة تقريبية.

الدرس العملي بسيط: قبل أن تحمّل نموذج 72B على حاسوب محمول، احسب الذاكرة اللازمة للأوزان والسياق والفهرس. وإن نقص بند واحد منها فاختر نموذجًا أصغر أو السحابة. ولا تصدّق الشروحات التي تَعِد بأن «كل شيء سهل».