كيف تدرّب نموذجًا لغويًا نصيًا في المنزل: habrGPT ومقارنة fp8 مع bf16

وصف أحد المطورين على Habr تجربة تدريب نموذج لغوي نصي (habrGPT) بحجم 500 مليون معامل من الصفر على مجموعة مقالات المنصة، باستخدام وحدة GPU منزلية. اعتمدت التجربة على مشروع nanochat لأندريه كارباثي، ويتمحور التركيز فيها على المقارنة بين صيغتي التدريب fp8 وbf16.

ما هو nanochat ولماذا يُكيَّف للاستخدام المنزلي

nanochat مشروع مفتوح المصدر لأندريه كارباثي، المدير السابق للذكاء الاصطناعي في Tesla والمؤسس المشارك لـOpenAI. وشعاره الرئيسي: «درّب ChatGPT الخاص بك بـ100 دولار». في المسار الأصلي، صُمّم التدريب ليعمل على عنقود من ثماني بطاقات رسومية NVIDIA H100، تبلغ ذاكرة الفيديو في كل منها 80 غيغابايت. هذه فئة احترافية من العتاد لا تتوفر لمعظم المطورين الهواة.

• نموذج habrGPT: 0,5 مليار معامل (0.5B)، مدرَّب من الصفر دون إعادة تدريب نموذج جاهز
• المدوّنة النصية: مقالات Habr، أكبر مجتمع تقني ناطق بالروسية
• عتاد التجربة: وحدة GPU منزلية أضعف بكثير من 8×H100 بسعة 80 غيغابايت
• الصيغتان المقارَنتان: fp8 مقابل bf16
• الحد الأدنى للهدف: الوصول إلى توليد نص متماسك

يختبر المؤلف مدى واقعية شعار «100 دولار وChatGPT خاص بك» خارج مراكز البيانات الاحترافية، ومقدار تراجع الجودة عند التكيّف مع العتاد المنزلي.

هل تكفي مدوّنة Habr لتدريب نموذج لغوي؟

يُعدّ Habr من أكبر المنصات التقنية الناطقة بالروسية، ويضم عشرات الآلاف من المقالات في البرمجة وDevOps وتعلّم الآلة وأمن المعلومات. واستخدامه مدوّنةً للتدريب يعني الحصول على نموذج بأسلوب «Habr» الواضح: أسلوب سليم تقنيًا، غني بالشيفرات البرمجية والمصطلحات المتخصصة.

لكن السؤال الرئيسي في التجربة لا يتعلق بالأسلوب، بل بحجم البيانات. فالنماذج اللغوية المدرَّبة من الصفر تحتاج إلى كمية ضخمة من النصوص حتى لإتقان القواعد الأساسية للغة. ومقالات Habr مدوّنة متخصصة موضوعيًا وعالية الجودة، لكنها أصغر بكثير من مدوّنات الويب التي تُدرَّب عليها نماذج LLM عادةً. ويضع المؤلفون سقفًا متواضعًا للتوقعات: التحقق مما إذا كانت المادة تكفي ليتمكن النموذج «على الأقل من ربط كلمتين معًا».

fp8 مقابل bf16: ما الفرق في التدريب المنزلي؟

fp8 وbf16 صيغتان لتخزين الأعداد ذات الفاصلة العائمة، وتعتمد عليهما مباشرةً دقة الحسابات واستهلاك ذاكرة الفيديو أثناء تدريب الشبكات العصبية.

أصبحت bf16 (bfloat16) المعيار لمعظم عمليات تدريب نماذج LLM الحديثة: فهي دقيقة بما يكفي، وتدعمها بطاقات NVIDIA أصلاً بدءًا من معمارية Ampere. أما fp8 فصيغة أكثر جرأة، إذ تستهلك نصف ذاكرة الفيديو. وهذا يتيح، على وحدة GPU منزلية نفسها، إما احتواء نموذج أكبر أو تسريع المرور على الحقبات التدريبية (epochs)، لكن بثمن احتمال فقدان دقة التدرجات (gradients).

يبرز fp8 بصفته خيارًا جذابًا للتدريب المنزلي: فهو يخفّض متطلبات ذاكرة

الفيديو تحديدًا حيث يكون النقص فيها أشدّ.

ستُظهر مقارنة fp8 وbf16 على مدوّنة Habr الناطقة بالروسية كيف يؤثر الخفض الحاد في الدقة على تماسك النص المولَّد وسلامته النحوية، وهل تستحق الذاكرة الموفَّرة الخسارة في الجودة.

ماذا يعني ذلك

تُظهر تجربة habrGPT أن تدريب نموذج لغوي صغير من الصفر لم يعد امتيازًا حصريًا لعناقيد الحوسبة السحابية. فمشروع nanochat لكارباثي، مقترنًا بصيغة fp8، يجعل هذه المهمة في متناول مطوّر واحد يملك وحدة GPU استهلاكية، وإن كان ذلك على حساب دقة الحسابات وحجم بيانات التدريب. ويواصل عتبة الدخول إلى البحث العملي في نماذج LLM الانخفاض.

هل يمكن تدريب نموذج لغوي نصي دون سحابة؟

نعم، يصف المقال تدريب habrGPT على وحدة GPU منزلية بدلاً من عنقود سحابي احترافي.

ما هو nanochat؟

مشروع مفتوح المصدر لأندريه كارباثي (المدير السابق للذكاء الاصطناعي في Tesla والمؤسس المشارك لـOpenAI) لتدريب النماذج اللغوية بميزانية تبلغ نحو 100 دولار.