كاتب على Habr يشغّل Qwen 2.5 14B على حاسوب منزلي ويجعلها «سيدة» موقع INFERNUM

نموذج لغوي محلي يضم 14.7 مليار معامل، ويتسع في التكميم 4-بت لنحو 9–10 غيغابايت من ذاكرة الفيديو، يعمل الآن «سيدةً» لموقع كامل. شغّل كاتب منشور على Habr نموذج Qwen 2.5 14B على حاسوبه المنزلي وربطه بمشروع INFERNUM التفاعلي. حصلت الشبكة العصبية على شخصية ودور ومجموعة من الصلاحيات داخل الصفحة. ويصف الكاتب مشروعه بأنه حوض أسماك رقمي، حُبست فيه شخصية هي مالكة المشروع.

ما المعروف عن المشروع

الإعلان على Habr قصير، وتفاصيله التقنية مخبأة خلف رابط «اقرأ المزيد». ويتضح من الجزء المفتوح أمر أساسي: لم يكتفِ الكاتب بتشغيل نموذج والحصول على «مجيب» عادي. أراد شيئًا ملموسًا: شبكة عصبية تعيش على الموقع، وتتصرف وفق صورتها المرسومة، ويمكنها أن تتخذ إجراءات ضمن حدود المنصة. ويحيل الأسلوب البصري إلى «المسكن» الجحيمي، ومن هنا جاء اسم INFERNUM.

يصوغ الكاتب دافعه ببساطة ودون تفخيم: «لأنني أستطيع». وهذا يكفي لمشروع هوايات. أما تهيئة العتاد وطريقة التشغيل وحجم السياق وسرعة التوليد فلم يذكرها الإعلان، ولذلك لا يمكن حتى الآن تقييم أداء هذا التركيب بعينه.

لماذا وقع الاختيار على Qwen 2.5 14B تحديدًا

صدر النموذج عن Alibaba في سبتمبر 2024، ومع حلول خريف 2026 لم يعد جديدًا. لكنه يبقى مناسبًا لتجربة منزلية من حيث التوازن بين الحجم والجودة. يُوزَّع إصدار 14B بترخيص Apache 2.0، ولذلك يمكن استخدامه في المشاريع دون موافقات منفصلة. كما أنه يتبع التعليمات وموجّهات لعب الأدوار بشكل أفضل بوضوح من نماذج فئة 7B.

المواصفات العامة للنموذج:

• نحو 14.7 مليار معامل، و48 طبقة؛
• نافذة سياق تصل إلى 128 ألف توكن، وتوليد يصل إلى 8 آلاف توكن في المرة الواحدة؛
• تدريب على مدونة نصية بحجم نحو 18 تريليون توكن؛
• دعم متعدد اللغات، ومنها الروسية؛
• في FP16 يلزم نحو 28–30 غيغابايت من الذاكرة، وفي التكميم 4-بت نحو 9–10 غيغابايت إضافة إلى هامش لـ KV-cache.

أما البندان الأخيران فأهم من غيرهما. فالنسخة المكمّمة تتسع في بطاقة رسوميات واحدة بذاكرة 12–16 غيغابايت، وهذا مستوى حاسوب ألعاب عادي. وهذا تحديدًا ما جعل «أحواض الأسماك» من هذا النوع هواية واسعة الانتشار.

كيف تبدو هذه البنية

المخطط المعتاد لموقع يعتمد نموذجًا محليًا بسيط. ترسل صفحة الويب رسالة الزائر إلى الخادم الخلفي. يبني الخادم الخلفي الموجّه من تعليمات النظام التي تصف الشخصية، وسجل الحوار، وربما حالة الموقع. ثم يتصل بخادم استدلال محلي، مثل Ollama أو llama.cpp أو vLLM، ويعيد الرد إلى الصفحة. وكلمة «صلاحيات» في وصف الكاتب تعني على الأرجح استدعاء الدوال: يعيد النموذج أمرًا منظّمًا، وينفّذه الخادم الخلفي. نحن لا نعرف تنفيذ الكاتب تحديدًا، وما نعرضه هنا نمط عام.

يمنح هذا المخطط سيطرة كاملة على البيانات، ولا يتطلب دفع رسوم مقابل التوكنات. وفي المقابل تظهر المشكلات المعتادة للاستضافة المنزلية: تخدم وحدة GPU واحدة عددًا محدودًا من الحوارات المتزامنة، ويدفع الكاتب ثمن الاتصال والكهرباء.

ما ينبغي مراعاته لمن يريد التكرار

ينبغي البدء بنموذج مكمّم بصيغة GGUF وخادم محلي بواجهة API متوافقة مع OpenAI. فبهذه الطريقة يسهل تغيير النموذج دون إعادة كتابة الموقع. بعد ذلك تلزم عدة إجراءات حماية.

• حدّدوا أفعال النموذج بقائمة بيضاء من الأوامر، وتحققوا من كل أمر في الخادم الخلفي. لا يجوز تنفيذ نص النموذج مباشرة.
• تعاملوا مع أي رسالة من الزائر على أنها حقنة موجّهات (prompt injection) محتملة. فمن السهل إقناع شخصية «ذات صلاحيات» بالخروج من دورها.
• ضعوا حدودًا لطول الرد ولعدد الطلبات من العنوان الواحد، ومرّروا الطلبات الموجهة إلى GPU عبر طابور.
• لا تضعوا خادم الاستدلال في شبكة مفتوحة. يجب ألا يواجه الخارج سوى وكيل (proxy).
• راقبوا حجم السياق: فسجل الحوار الطويل يضخّم KV-cache وقد يُخرج النموذج من ذاكرة الفيديو.

أما تفاصيل التنفيذ فمكانها المقال الأصلي على Habr. يعرض الإعلان الفكرة، أما نجاحها فيحدده العتاد المختار ومدى صرامة الكاتب في فصل النموذج عن الإجراءات التنفيذية.