ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصداركود / SDK · جاهز للعملGitHub Trending AI→ المصدر

مشروع MiniMind مفتوح المصدر يدرّب نموذجًا لغويًا بـ 64 مليون معامل في ساعتين مقابل 3 يوانات

هل تريد أن تفهم كيف يعمل النموذج اللغوي من الداخل، بدل أن تعيد تدريب نموذج جاهز عبر مكتبات معدّة مسبقًا؟ يقدّم مشروع MiniMind المفتوح كامل الشيفرة بلغة PyTorch الصرفة لنموذج بـ 64 مليون معامل (أوزان)، أي أصغر بمئات المرات من المساعدات الذكية المعتادة. أما مرحلة SFT، التي يتعلم فيها النموذج إدارة الحوار، فتستغرق نحو ساعتين على بطاقة RTX 3090 واحدة، وتبلغ تكلفة استئجارها نحو 3 يوانات. لذلك يسهل اختبار أفكار DPO وLoRA وRL هنا بكلفة زهيدة، بدل اختبارها على نموذج كبير.

معالج بواسطة الذكاء الاصطناعي من GitHub Trending AI؛ بتحرير Hamidun News
مشروع MiniMind مفتوح المصدر يدرّب نموذجًا لغويًا بـ 64 مليون معامل في ساعتين مقابل 3 يوانات
المصدر: GitHub Trending AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليGitHub Trending AI ↗
رئيس التحرير
ترخيص Apache 2.0الشيفرة والبيانات وأوزان النماذج مفتوحة
دورة كاملةالتدريب المسبق، وSFT، وLoRA، وDPO، وPPO/GRPO/CISPO، والتقطير
حقيقة رئيسية #3خادم متوافق مع OpenAI، وإمكانية التشغيل عبر llama.cpp وvLLM وOllama

يعرف معظم المطورين تدريب النماذج اللغوية الكبيرة على النحو التالي: تأخذ نموذجًا جاهزًا، وتربط مكتبة، وتكتب عشرة أسطر تقريبًا، فيُعاد تدريب كل شيء «من تلقاء نفسه». هذا مريح، لكن الداخل يبقى صندوقًا أسود. يقترح مشروع MiniMind، الذي حصد 188 نجمة خلال يوم واحد في GitHub Trending، العكس تمامًا: أن تبني نموذجًا لغويًا صغيرًا وتدرّبه كاملًا بيديك.

وفيما يلي معنى الأرقام الواردة في العنوان. «64 مليون معامل» هو عدد الأوزان القابلة للضبط في النموذج؛ أما لدى المساعدات الذكية المعتادة فتبلغ عشرات المليارات ومئاتها، ما يعني أن MiniMind أصغر منها بمئات المرات. «ساعتان» هو الزمن الفعلي المقيس لمرحلة SFT (التدريب على الحوار بأمثلة «سؤال — جواب») على بطاقة رسوميات واحدة من نوع NVIDIA RTX 3090.

و«3 يوانات» هي تكلفة استئجار وحدة GPU طوال هاتين الساعتين.

يشبّه المؤلف Jingyao Gong الأغلفة المعتادة فوق عملية التدريب بالسفر في الدرجة الأولى، ويشبّه نهجه بتجميع طائرة من قطع التركيب. وينتقد أيضًا الدورات على الإنترنت التي تشرح النماذج اللغوية الكبيرة بسطحية وبأخطاء. لذلك كُتبت جميع الخوارزميات الأساسية في المستودع بلغة PyTorch «العارية»، من دون واجهات عالية المستوى من مكتبات خارجية.

ماذا يوجد في الداخل وكيف تُقرأ «الساعتان»

يفتح المشروع المسار كاملًا: تنظيف البيانات وإزالة التكرار، والتدريب المسبق (يقرأ النموذج مدوّنة نصية ويتعلم التنبؤ بالرمز التالي)، وSFT، وLoRA، وDPO، والتعلم المعزّز، والتقطير. LoRA هي ضبط خفيف يُدرَّب فيه جزء إضافي صغير على الأوزان بينما يبقى النموذج الأساسي دون مساس؛ وهي هنا مكتوبة من دون مكتبة peft. أما DPO فيدرّب النموذج على أزواج «إجابة جيدة — إجابة سيئة». وPPO وGRPO وCISPO خوارزميات تعلم معزّز يقيّم فيها الإجابةَ نموذجٌ آخر أو قاعدة يمكن التحقق منها. وهناك كذلك Tool Use وAgentic RL (استدعاء الأدوات والتدريب على نتيجة سيناريو متعدد الخطوات)، إضافة إلى مفتاح «فكّر أو أجب فورًا».

ملاحظة مهمة: الساعتان وال3 يوانات تخصّان مرحلة SFT فقط. فالتدريب المسبق خطوة منفصلة، لكن المؤلفين أعدّوا لمن يملك بطاقة واحدة مجموعات بيانات مخففة: pretrain_t2t_mini بحجم 1,2 غيغابايت وsft_t2t_mini بحجم 1,6 غيغابايت. أما النسخ الكاملة فيبلغ حجمها 10 غيغابايت وأكثر. ومنصة الاختبار لدى المؤلفين ثماني بطاقات RTX 3090 بسعة 24 غيغابايت، لكن المشروع يدعم بطاقة واحدة وعدة بطاقات أيضًا (DDP وDeepSpeed)، ويتيح استئناف التدريب بعد الانقطاع، ورسم المخططات في wandb وswanlab.

وللتشغيل والتحقق يتوفر كل ما يلزم: التقييم على C-Eval وC-MMLU وOpenBookQA، وتوسيع السياق عبر YaRN، وخادم بسيط متوافق مع واجهة OpenAI API، وواجهة دردشة على Streamlit. وتعمل الأوزان الجاهزة عبر llama.cpp وvLLM وOllama، ويمكن ربط Open-WebUI وFastGPT.

ماذا يعلّمنا هذا وأين حدّه

يتضمن ملف README أيضًا ملاحظات هندسية مفيدة خارج نطاق المشروع. فالمجزّئ (tokenizer) هنا صغير عمدًا: إذ يستحوذ المعجم الكبير في نموذج ضئيل على حصة ملحوظة من المعاملات، ولذلك لا ينصح المؤلفون بإعادة تدريبه. وبحسب ملاحظة وردت في ورقة MobileLLM، تكون البنية «العميقة والضيقة» في النماذج الصغيرة أجدى عادةً من «العريضة والضحلة»، وإن كان للضيق حدٌّ أدنى. أما نسخة MoE (حيث تُوزَّع الطلبات بين «خبراء») فتتدرب في التنفيذ الأصلي على PyTorch أبطأ بكثير من النموذج العادي، ولا يمكن تسريعها إلا بمكتبات محسّنة متخصصة.

ويصف المؤلفون القيود بأنفسهم. فنموذج الـ 64 مليون معامل ضعيف المعرفة بالحقائق، وقد تُنتج الإصدارات المبكرة منه كلامًا بلا معنى بدل الإجابة. والأدوات في بيانات التدريب لا تتعدى بضع محاكاة، مثل طلب الوقت والرياضيات والطقس، ولذلك لا توجد حتى الآن قدرة فعلية على العمل مع واجهات API اعتباطية. وإذا فُعّل التفكير واستدعاء الأدوات معًا، فإن النموذج عادةً لا يعرض مسار الاستدلال، لأن البيانات لا تتضمن أمثلة مشتركة.

الخلاصة العملية: لن يحل MiniMind محل نموذج إنتاجي، لكنه منصة اختبار زهيدة التكلفة. فعليه يسهل المقارنة بين DPO وGRPO، وفهم كيف تتصرف مجموعة بياناتك في SFT، وتعليم الفريق قراءة شيفرة التدريب دون سحر المكتبات. ويتيح ترخيص Apache 2.0 استخدام الشيفرة بحرية، وحين تحتاج إلى معرفة موضع انكسار خط المعالجة، فأرخص طريقة لذلك هي اختباره على نموذج يمكن إعادة تدريبه في أمسية واحدة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ماذا يوجد في الداخل وكيف تُقرأ «الساعتان»؟

يفتح المشروع المسار كاملًا: تنظيف البيانات وإزالة التكرار، والتدريب المسبق (يقرأ النموذج مدوّنة نصية ويتعلم التنبؤ بالرمز التالي)، وSFT، وLoRA، وDPO، والتعلم المعزّز، والتقطير. LoRA هي ضبط خفيف يُدرَّب فيه جزء إضافي صغير على الأوزان بينما يبقى النموذج الأساسي دون مساس؛ وهي هنا مكتوبة من دون مكتبة peft. أما DPO فيدرّب النموذج على أزواج «إجابة جيدة — إجابة سيئة». وPPO وGRPO وCISPO خوارزميات تعلم معزّز يقيّم فيها الإجابةَ نموذجٌ آخر أو قاعدة يمكن التحقق منها.

ما أبرز التفاصيل حول ماذا يعلّمنا هذا وأين حدّه؟

يتضمن ملف README أيضًا ملاحظات هندسية مفيدة خارج نطاق المشروع. فالمجزّئ (tokenizer) هنا صغير عمدًا: إذ يستحوذ المعجم الكبير في نموذج ضئيل على حصة ملحوظة من المعاملات، ولذلك لا ينصح المؤلفون بإعادة تدريبه. وبحسب ملاحظة وردت في ورقة MobileLLM، تكون البنية «العميقة والضيقة» في النماذج الصغيرة أجدى عادةً من «العريضة والضحلة»، وإن كان للضيق حدٌّ أدنى. أما نسخة MoE (حيث تُوزَّع الطلبات بين «خبراء») فتتدرب في التنفيذ الأصلي على PyTorch أبطأ بكثير من النموذج العادي، ولا يمكن تسريعها إلا بمكتبات محسّنة متخصصة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…