Habr AI→ المصدر

Ollama وOpen WebUI على VPS من دون GPU: عرض صريح للقيود

من الممكن تشغيل Ollama مع Open WebUI على VPS من دون GPU. ستحتاج إلى 4+ أنوية و8+ GB من RAM. سرعة الاستجابة تتراوح بين 1.5 و2 ثانية لكل token، لا ميلي ثانية. هذا

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
Ollama وOpen WebUI على VPS من دون GPU: عرض صريح للقيود
المصدر: Habr AI. كولاج: Hamidun News.
◐ استمع للمقال

Ollama و Open WebUI على VPS بدون GPU: تحليل صريح للقيود

تُظهر الخبرة العملية: تشغيل نموذج LLM محلي على VPS بدون GPU ممكن، لكنه يتطلب تقييماً صادقاً للمقابلات.

ما الذي ستحصل عليه

Open WebUI هي واجهة مريحة للنماذج المحلية تعمل بدون السحابة. يدير Ollama تحميل النماذج والذاكرة. على VPS بسيطة (2-4 أنوية CPU، 4-8 GB من ذاكرة الوصول العشوائي) يمكنك تشغيل نماذج أصغر مثل Mistral 7B أو Phi 3، لكن سرعة الاستجابة لن تطابق ما اعتدت عليه مع GPT.

القيود الفعلية

على CPU، سيفكر النموذج بشكل أبطأ: قد يتم إنشاء رمز واحد في ثانية ونصف إلى ثانيتين بدلاً من عشرات الميلي ثانية على GPU. مناسب للتجارب، لكن بالنسبة للدردشة الإنتاجية يجب عليك الاختيار بين السرعة والتكلفة. ستكون ذاكرة الوصول العشوائي والمعالج مشبعة، والمهام المتزامنة ستبطئ.

الحد الأدنى من المكدس

  • VPS بحد أدنى 4-6 أنوية، بشكل مثالي 8 GB من ذاكرة الوصول العشوائي (16 أفضل)
  • Docker و docker-compose للعزل
  • Ollama (تنزيل وتخزين النماذج مؤقتاً)
  • Open WebUI (واجهة إلى Ollama)
  • جدار الحماية و reverse proxy (Nginx) مع Basic Auth إلزاميان

الاختيار بين المحلي والسحابة

إذا قمت بتشغيل Ollama محلياً، فستدفع مقابل الأجهزة مرة واحدة، ثم فقط مقابل الكهرباء. إذا استدعيت API (مثل OpenAI/Claude)، فستدفع لكل طلب، لكن التوسع خالٍ من الألم. بالنسبة للنموذج الأولي أو التجارب، يكون المحلي أرخص. بالنسبة للنظام الإنتاجي، عادة ما يكون أكثر تكلفة بسبب وقت توقف CPU.

ماذا يعني هذا

نماذج LLM المحلية تصبح أكثر إمكانية الوصول، لكن «ما عليك سوى تشغيل Ollama» واقعي فقط إذا كنت مستعداً لقيود السرعة. بالنسبة للفرق الصغيرة التي تريد التحكم في بياناتها وعدم الدفع لكل طلب، فإنه يعمل.

ZK
Hamidun News
أخبار الذكاء الاصطناعي بدون ضوضاء. اختيار تحريري يومي من أكثر من 400 مصدر. منتج من جمال حميدون، رئيس الذكاء الاصطناعي في Alpina Digital.

هل تريد التوقف عن قراءة الذكاء الاصطناعي والبدء باستخدامه؟

AI News هو موجز منسق لأخبار الذكاء الاصطناعي. تعلمك Hamidun Academy استخدام الذكاء الاصطناعي في عملك.

ما رأيك؟
جارٍ تحميل التعليقات…