habrGPT: تدريب LLM 0.5B من الصفر على مقالات Habr — nanochat من Karpathy ومقارنة بين fp8 وbf16

لقد نشر مطور على Habr تجربة: تدريب نموذج اللغة habrGPT بـ 500 مليون معامل من الصفر على مجموعة مقالات من المنصة — باستخدام وحدة معالجة رسومات منزلية بدلاً من مجموعة احترافية. يقوم العمل على nanochat من Andrey Karpathy، مع تركيز المقارنة على تنسيقات التدريب fp8 و bf16.

ما هو nanochat ولماذا يتم تكييفه في المنزل؟

nanochat هو مشروع مفتوح المصدر من Andrey Karpathy، مدير الذكاء الاصطناعي السابق في Tesla والمؤسس المشارك لـ OpenAI. أطروحته الأساسية: "درّب ChatGPT الخاص بك مقابل $100". في خط الأنابيب الأصلي، تم تصميم التدريب لمجموعة من ثماني وحدات معالجة رسومات NVIDIA H100 تحتوي على 80 جيجابايت من ذاكرة الفيديو لكل منها — أجهزة من فئة احترافية يتعذر الوصول إليها على معظم المطورين الهواة.

• نموذج habrGPT: 0.5 مليار معامل (0.5B)، تدريب من الصفر — بدون ضبط دقيق لنموذج موجود
• مجموعة المقالات: مقالات Habr — أكبر مجتمع تقني ناطق بالروسية
• أجهزة التجربة: وحدة معالجة رسومات منزلية، أضعف بكثير من 8×H100 80 جيجابايت
• التنسيقات المقارنة: fp8 مقابل bf16
• الهدف الأدنى: تحقيق توليد نصوص متسق

يختبر المؤلف مدى واقعية شعار "$100 و ChatGPT الخاص بك" خارج مراكز البيانات الاحترافية ومدى تدهور الجودة عند التكيف مع الأجهزة المنزلية.

هل مجموعة مقالات Habr كافية لتدريب نموذج لغوي؟

Habr هي إحدى أكبر منصات التقنية الناطقة بالروسية التي تحتوي على عشرات الآلاف من المقالات حول البرمجة و DevOps والتعلم الآلي والأمن السيبراني. استخدامها كمجموعة تدريب يعني الحصول على نموذج بـ "أسلوب Habr" واضح: متعلم من الناحية التقنية وغني بالأكواد والمصطلحات المتخصصة.

السؤال الرئيسي للتجربة ليس الأسلوب بل حجم البيانات. تتطلب نماذج اللغة المدربة من الصفر كمية ضخمة من النصوص حتى لإتقان القواعد النحوية الأساسية. مقالات Habr تشكل مجموعة موضوعية محددة وعالية الجودة، لكنها أصغر بكثير من مجموعات الويب المستخدمة عادة لتدريب نماذج اللغة الكبيرة. يضع المؤلفون سقفاً متواضعاً: التحقق مما إذا كان هناك مواد كافية حتى يتمكن النموذج من "ربط بضع كلمات معاً على الأقل".

Fp8 مقابل bf16: ما الفرق بالنسبة للتدريب المنزلي؟

Fp8 و bf16 هما تنسيقات لتخزين أرقام الفاصلة العائمة التي تؤثر بشكل مباشر على دقة الحسابات واستهلاك ذاكرة وحدة معالجة الرسومات أثناء تدريب الشبكات العصبية.

أصبح Bf16 (bfloat16) معياراً لمعظم عمليات تدريب نماذج اللغة الكبيرة الحديثة: فهو دقيق بشكل كافٍ ويدعمه بشكل أصلي معالجات NVIDIA بدءاً من معمارية Ampere. Fp8 هو تنسيق أكثر عدوانية يستهلك نصف ذاكرة الفيديو. هذا يسمح بتناسب نموذج أكبر على نفس وحدة معالجة الرسومات المنزلية أو تسريع فترات التدريب — بتكلفة احتمال فقدان دقة التدرجات.

بالنسبة للتدريب في المنزل، يعتبر fp8 جذاباً بشكل خاص: فهو يقلل متطلبات

ذاكرة الفيديو في المكان الذي تكون فيه أكثر ندرة.

ستظهر مقارنة fp8 و bf16 على مجموعة مقالات Habr الناطقة بالروسية كيف يؤثر الانخفاض العدواني في الدقة على اتساق وقواعد النصوص المولدة — وما إذا كانت الذاكرة المحفوظة تستحق فقدان الجودة.

ما يعنيه هذا

تُثبت تجربة habrGPT: لم يعد تدريب نموذج لغوي صغير من الصفر امتيازاً حصرياً لمجموعات الحوسبة السحابية. يجعل nanochat من Karpathy مدمجاً مع تنسيق fp8 هذه المهمة ممكنة لمطور واحد بوحدة معالجة رسومات استهلاكية — وإن كان بتكلفة تنازلات في الدقة الحسابية وحجم بيانات التدريب. يستمر حاجز الدخول للبحث العملي في نماذج اللغة الكبيرة في الانخفاض.