كيفية تكوين نموذج محلي في Ollama: معاملات للتحكم الكامل

توفر Ollama إمكانية الوصول إلى نماذج لغة قوية تعمل بالكامل محليًا على جهاز الكمبيوتر الخاص بك. لكن مجرد تشغيل النموذج هو فقط نصف المعركة. يسمح لك تكوين معاملات هذه النماذج بتحويل نموذج واحد إلى عدة أدوات مختلفة حسب مهمتك.

لماذا يتعين تكوين المعاملات تأتي

Ollama مع قيم افتراضية معقولة. لكن إذا كنت بحاجة إلى نموذج للكتابة الإبداعية، فسيتصرف بشكل مختلف عما يتصرف في الكود. تؤثر درجة الحرارة على أصالة الإجابات، ويحدد السياق المدى الذي ينظر فيه النموذج إلى الخلف في سجل المحادثة، وتقرر معاملات الأداء ما إذا كان النموذج سيعمل على وحدة المعالجة المركزية أو وحدة معالجة الرسومات.

المعاملات الرئيسية * **temperature** — مدى إبداع النموذج (0 = متوقع، 1

= إبداعي). للكود، اضبط 0–0.3، للأفكار — 0.

7–1.0 * top_p — التنوع في اختيار الكلمات (فلتر الاحتمالية). عادةً 0.

8–0.95 top_k — عدد الخيارات التي يختار منها النموذج الكلمة التالية. 40–50 هو حل وسط جيد num_ctx — حجم السياق بالرموز (ما يتذكره النموذج من الحوار).

2048–4096 لمعظم المهام، حتى 8192 إذا كان لديك ذاكرة num_thread — عدد أنوية وحدة المعالجة المركزية المراد استخدامها. أكثر ≠ دائماً أسرع؛ جرب num_gpu — عدد طبقات النموذج المراد إرسالها إلى وحدة معالجة الرسومات. يسرع الأداء إذا كان لديك وحدة معالجة رسومات ## متى تغير أي إعدادات للدردشة (مساعد، أسئلة) اضبط temperature = 0.

7، top_p = 0.9 و num_ctx = 4096. سيكون النموذج طبيعياً لكن لن ينسى سياق المحادثة.

للبرمجة — temperature = 0.2، num_ctx = 2048، num_thread = 8. للمحتوى الإبداعي (أفكار، سيناريوهات) — temperature = 0.

9، top_p = 0.95، num_ctx = 3072.

« أفضل طريقة للعثور على معاملات مثلى هي التجريب والنظر في النتائج »، — نصيحة من مجتمع

Ollama. يمكنك الآن تصدير إعداداتك إلى Modelfile ومشاركتها مع الآخرين. تقرأ Ollama المعاملات من هذا الملف عند تحميل النموذج.

ماذا يعني هذا تجعل

Ollama النماذج المحلية أداة وليس صندوقاً أسود. أنت تتحكم ليس فقط في بيانات (تبقى على جهازك) بل أيضاً في سلوك النموذج. هذا مهم بشكل خاص للشركات التي تقلق بشأن الخصوصية، والمطورين الذين يجرّبون LLM بدون خدمات سحابية.