وكيل ذكاء اصطناعي منزلي جمع بنفسه بيانات LoRA: اختبار المنطق LogiQA ارتفع بنسبة 12%

يبدأ الضبط الدقيق بتقنية LoRA عادةً من مجموعة بيانات جاهزة جمعها شخص ما يدويًا. أما في هذه القصة فقد أعدّ الوكيل المحلي نفسه بيانات التدريب. يتحدث مؤلف سلسلة مقالات على Habr عن المساعد الشخصي فيكا (Вика) الذي يعمل على عتاد منزلي.

وخلال فترة التشغيل راكمت فيكا «بذور LoRA»، أي استنتاجات منظّمة مستخلصة من تاريخها. تخيّل أن الوكيل يسجّل: «هذا المستخدم يحب الإجابات القصيرة، وقبل كتابة الشيفرة يجب أولًا البحث عن أداة مناسبة». في السابق كان لا بد من إدخال هذه القواعد في الموجّه (prompt) في كل مرة، وكانت تستهلك جزءًا من نافذة السياق.

أما الآن فتُحوَّل إلى أمثلة تدريب (SFT) وتُدمَج في أوزان النموذج. وهذا يتيح لكل من يبني وكلاء محليين توفير السياق وتثبيت السلوك، ويمنحهم أيضًا قائمة جاهزة بالمزالق المحتملة، من مقياس المحوّل إلى اختيار بطاقات الرسوميات.

ما الذي أضافه الضبط الدقيق

قاس المؤلف النتائج باختبارات معيارية قياسية. ارتفع اتباع التعليمات (IFEval) بنسبة 2%، وارتفع حل المسائل المنطقية (LogiQA) بنسبة 12%. لكن التغيّر الأوضح كان في السلوك. بفضل التصحيح و«العقد التحفيزي» (مجموعة من التوجيهات الداخلية التي تُبقي الوكيل على هدفه المحدد) بلغ العمل المستقل 100 خطوة دون انحراف عن الهدف. والاختبار العملي لافت أيضًا: فقد أعاد النموذج المضبوط في 73 دقيقة برمجة النظام بالكامل، ونقل المساعد إلى الوضع الصوتي STT-TTS (التعرّف على الكلام وتوليد الصوت).

ثمة أيضًا أثر جانبي فلسفي. فالوكيل يحتفظ بإمكانية الوصول إلى سيرته الذاتية، لكنه يدرك أن شخصيته تغيّرت بعد SFT. ويسمّي المؤلف ذلك مفارقة «سفينة ثيسيوس». ومع ذلك، ففي اختبار الرسوم بقي الوكيل، مع نماذج ومحوّلات مختلفة، وفيًّا لفلسفة الزن والرسم الياباني.

كيف تتجنب إفساد النموذج

المسار التقني كما يلي: أوزان BF16 بصيغة safetensors، وتحميلها في Unsloth بدقة 8 بت، وتدريب LoRA بدقة FP32، ثم الدمج مع النموذج بدقته الأصلية 16 بت، وإعادة التكميم إلى Q8 GGUF. الحد الأدنى لـ SFT هو 24 ГБ من ذاكرة الفيديو. واختُبرت أول خمسة نماذج كثيفة (dense) من جدول المؤلف، بما فيها Qwen3.8-27B وGemma 4 31B.

يتعلق الدرس الرئيسي بمقياس المحوّل k. توصي Unsloth بقيمة تقارب 2، لكن المؤلف ينصح بإعداد عدة نماذج بمقاييس مختلفة منذ البداية. فعند قيمة k كبيرة يكرر النموذج تسلسلات التدريب بشكل مفرط ويعطّل استدلاله الخاص. عند k=1,5 يبلغ IFEval نسبة 66%، وعند k=2,5 يبلغ 55% فقط. ويظهر ذلك بوضوح خاص في 4-bit QLoRA عبر bnb-4bit. ويعدّ المؤلف معيار النتيجة الجيدة هو الانزياح «الدقيق»: يبقى جوهر التدريب محفوظًا، بينما يختار النموذج بنفسه شكل ظهوره.

يثبّت LoRA الأسلوب والطابع وصيغة الإجابات والتعليمات بشكل جيد، أما الحقائق فتُحفظ بصورة سيئة. فعلى سبيل المثال، لم ينجح المؤلف في إدخال اسم النموذج نفسه فيه دون فقدان في الأداء الوظيفي.

وهناك خبر غير سار لمستخدمي Ollama: لم يعد ممكنًا ربط المحوّل هناك، فقد أُغلقت هذه الإمكانية منذ سبتمبر. وتعمل المحوّلات القابلة للتبديل عبر llama-server فقط. وإذا كنت بحاجة إلى سير العمل السابق، فيُدمَج المحوّل مع النموذج (وهذا لا يتطلب VRAM، لكنه يستهلك مساحة كبيرة على SSD) ثم يُصدَّر عبر llama-export-lora وllama-quantize. وفي هذه الحالة يمكن تغيير مقياس المحوّل دون إعادة تدريب.

العتاد والذاكرة

لا يكفي أن يتسع النموذج وحده في ذاكرة الفيديو. فالمُسقِط (projector) الخاص بالوسائط المتعددة، وMTP (نموذج مسودة لتسريع التوليد)، ومحوّل LoRA تضيف 4–5 ГБ. ويضيف السياق 128K ما بين 16–20 ГБ بدقة FP16، أو 8–10 ГБ بالتكميم Q8. في المقابل يسرّع MTP التوليد بشكل ملحوظ: ففي بطاقتين RTX 4070 ارتفعت السرعة من 26,39 إلى 48,48 رمزًا في الثانية.

إذا كانت الفتحات قليلة، يمكن تركيب ثلاث بطاقات رسوميات بتوزيع 8x/8x/4x. وبالنسبة إلى بطاقة واحدة، فالفرق بين 4x و8x و16x غير مهم، لكن تقسيم النموذج على ثلاث وحدات GPU يخفض السرعة بمعامل 1,6–2,2 مرة. ويقدّم Qwen3.8-27B (Q8) سرعة 68,55 رمزًا في الثانية على بطاقة واحدة و42,95 على ثلاث بطاقات عند سياق 50K. وهذا كافٍ لعمل مريح. ويرى المؤلف أن الحد الأدنى المعقول هو بطاقتان متطابقتان، وأن منصة LGA4710 خيار جيد للتوسع مستقبلًا، لكنه يحذّر من ارتفاع حرارة البطاقات العادية ذات المراوح المحورية على اللوحات ذات التباعد بمقدار فتحتين.

الخلاصة العملية: دع الوكيل يُعدّ بنفسه بيانات الضبط الدقيق، لكن احتفظ بخيارين أو ثلاثة على الأقل لمقياس المحوّل، وتحقق من IFEval قبل التدريب وبعده. أما معرفة العالم فما زالت تحتاج إلى الذاكرة والبحث، لا إلى LoRA.