أظهرت Habr كيفية تدريب mini-LLM في C# باستخدام ILGPU ورسومات AMD المدمجة

تم نشر تفصيل عملي شامل على Habr يعرض سيناريو نادر لمجتمع الذكاء الاصطناعي المحلي: يمكن تجميع وتدريب نموذج لغة صغير من الصفر في C#، بدون Python وبدون بطاقات NVIDIA إجبارية، ثم حفظه في GGUF وتشغيله في LM Studio. استخدم المؤلف مكتبة ILGPU و OpenCL، معتمداً على بطاقات الرسوميات المدمجة من AMD، وحصل على نموذج أولي وظيفي وإن كان محدوداً جداً من LLM بحجم حوالي 422 كيلوبايت. تم تصميم المشروع كعرض توضيحي تعليمي للدورة الكاملة، وليس كمحاولة للتنافس مع نماذج المصدر المفتوح الكبيرة.

تناقش المقالة العمارة الأساسية للمحول: الترميز، وطبقة التضمين، والانتباه الذاتي، والتغذية الأمامية، والتطبيع، والإسقاط الناتج. للتدريب، أعد المؤلف مجموعتي بيانات صغيرتين: مجموعة بيانات تدريب أولية قصيرة تحتوي على حقائق عامة عن العالم، وعينة ضبط التعليمات مع أسئلة وإجابات. لم يكن الهدف الحصول على نموذج قوي، بل المرور يدوياً بجميع المراحل — من المفردات إلى الاستدلال.

اتضحت التكوين النهائي أنه مضغوط للغاية: مفردات من 512 رمزاً، طول السياق 64، التضمين 64، الطبقة المخفية 128، طبقة محول واحدة وراسا انتباه. في المجموع، هذا هو 103 744 معاملة. قبل التصدير، يمكن حفظ النموذج في ملف ثنائي بحجم حوالي 6.

87 ميجابايت، لكن ملف GGUF النهائي يشغل حوالي 422 كيلوبايت ويُعترف به باعتباره GGUF V3. بعد التدريب، انخفضت خسارة التدريب الأولي إلى حوالي 0.212، وبعد الضبط الدقيق لصيغة الحوار، انخفضت خسارة الضبط الدقيق إلى 0.

3926. بالنسبة لهذا الحجم، هذا أكثر إشارة إلى أن المخطط يعمل تقنياً من إثبات لجودة الإجابات. منطق التدريب نفسه مهم أيضاً.

أولاً، يمر النموذج بمرحلة التدريب الأولي على مجموعة بيانات قصيرة من عشرات الجمل، ثم مرحلة منفصلة من ضبط التعليمات على أمثلة الحوار. يحتوي واجهة البرنامج على قائمة لإعادة التدريب واختبار المحلل والحفظ الأوزان وتشغيل الدردشة التفاعلية. للإجابة، أضاف المؤلف مرشح ثقة بدائي: إذا انخفضت الثقة الدنيا عبر الرموز تحت الحد، يقوم النظام بإخراج ليس الإجابة، بل العبارة "أنا لا أستطيع الإجابة".

هذه طريقة غاشة لكن مفهومة لإخفاء القمامة الواضحة، وهو أمر لا مفر منه تقريباً لنموذج بهذا الحجم. هذا هو ما يجعل العرض التوضيحي مناسباً على الأقل للتحقق الأساسي من خط أنابيب. اتضح أن الجزء الأكثر صعوبة لم يكن الممر الأمامي ولا التدريب نفسه، بل التوافق مع نظام البيئة llama.

cpp. حاول المؤلف في البداية بناء النموذج في تكوين أكثر شبهاً بـ LLaMA، لكنه واجه أخطاء عند التحميل وعدم تطابق عدد الموترات. في النهاية، كان عليه تبسيط العمارة وإعادة بناء المحلل بناءً على Microsoft.

ML.Tokenizers ووصف بيانات تعريف GGUF بعناية: العمارة وطول السياق وخصائص الانتباه والرموز الخاصة وقالب الدردشة. تفصيل تقني منفصل — النموذج في الواقع لا يحتفظ بسجل حوار طويل، لذلك بالنسبة للدردشة يتم استخدام قالب يحتوي فقط على آخر رسالة من المستخدم، وإلا فإن السياق الصغير جداً يكسر الاستدلال بسرعة.

النتيجة العملية متواضعة لكنها مؤشرة. يجيب النموذج على الاستعلامات البسيطة ويفتح في LM Studio ويمكنه العمل من خلال مجموعة متوافقة، لكن llama.cpp يحذر من تدهور جودة الجيل، والمؤلف يصرح مباشرة بأن التدريب ليس جيداً بعد.

بالإضافة إلى ذلك، يتعطل الاستدلال على بعض الاستعلامات بعلامات استفهام وتعجب، لذا يبقى المشروع تجربة وحقل اختبار. لكن العمل نفسه مهم لسبب آخر: فهو يظهر أن عتبة الدخول للتجارب منخفضة المستوى مع LLM يمكن أن تنخفض بشكل كبير. بالنسبة للمطورين من عالم .

NET، هذا مثال واضح على كيفية تجميع نموذج أدنى والتحقق من سيناريو OpenCL خارج احتكار CUDA، والفهم ما هي التفاصيل التي تشكل فعلاً تشغيل نموذج اللغة محلياً.