IBM تكشف كيفية بناء Granite 4.1: 15 تريليون توكن، نافذة سياق 512K والتركيز على الجودة

في 29 أبريل 2026، نشرت IBM تحليلاً مفصلاً على مدونة Hugging Face حول كيفية تم إنشاء عائلة Granite 4.1. كشفت الشركة ليس فقط عن بنية النماذج بل أيضاً عن خط الأنابيب بأكمله: من تكوين مجموعات البيانات والسياق الطويل إلى تصفية بيانات SFT والتعلم بالتعزيز متعدد المراحل.

كيف يتم هيكلة سلسلة Granite 4.1

Granite 4.1 هي عائلة من النماذج الكثيفة الترميز الفقط بـ 3B و 8B و 30B معاملات. في جميع الثلاث متغيرات، تستخدم IBM نفس المنطق الأساسي: Grouped Query Attention و Rotary Position Embeddings و SwiGLU و RMSNorm والتضمينات المشتركة للإدخال والإخراج.

الفرق الرئيسي هو الحجم — عدد الطبقات وحجم الحالة المخفية ومعاملات MLP. يسمح هذا النهج بمقارنة النماذج ضمن نفس الأسرة دون خصومات للفلسفة المعمارية المختلفة. الأطروحة الرئيسية لـ IBM هي أن جودة النموذج الصغير يتم تحديدها ليس فقط بواسطة الميزانية الحسابية بل أيضاً بالانضباط في العمل مع البيانات.

لذلك، تم بناء Granite 4.1 كنماذج كثيفة وليس نماذج MoE، وتم المراهنة على تغييرات حذرة في خلطات البيانات أثناء التدريب. يتم إصدار جميع النماذج بموجب ترخيص Apache 2.

0، وتدعم نسخ الإرشادات 12 لغة، بما في ذلك الإنجليزية والألمانية والإسبانية واليابانية والعربية والصينية والبرتغالية.

خمس مراحل التدريب

بدأ التدريب المسبق لـ Granite 4.1 من الصفر وغطى حوالي 15 تريليون رمز. قسمت IBM العملية إلى خمس مراحل: أولاً يبني النموذج قاعدة لغوية واسعة على بيانات الويب، ثم يقوي الرياضيات والأكواد، وبعد ذلك ينتقل تدريجياً إلى عينات أعلى جودة ومتخصصة. في المراحل اللاحقة، تتم إضافة مسارات التفكير الطويلة والبيانات الاصطناعية ومجموعات التعليمات إلى الخليط، وأخيراً يحدث التدريب المنفصل للتعامل مع السياق الطويل جداً.

• المرحلة 1: 10 تريليون رمز من التدريب المسبق العام، حيث يأتي حوالي 59% من الخليط من CommonCrawl.
• المرحلة 2: 2 تريليون رمز آخر مع ارتفاع حاد في نسبة الرياضيات والأكواد — حتى 35% و 30% على التوالي.
• المرحلة 3: 2 تريليون رمز من التلدين عالي الجودة، حيث تظهر chain-of-thought والبيانات الاصطناعية والتعليمات.
• المرحلة 4: 0.5 تريليون رمز آخر مع التركيز على أعلى جودة خليط وتقليل معدل التعلم إلى الصفر.
• المرحلة 5: امتداد السياق الطويل، الذي يوسع النافذة من 4K إلى 32K و 128K ثم إلى 512K.

لمنع السياق الطويل من كسر الأداء في الاستعلامات القصيرة، تدمج IBM النموذج بعد كل مرحلة LCE. لتوسيع نهائي إلى 512K في الإصدارات 8B و 30B، تم استخدام خليط من الكتب والمستودعات البرمجية. على النماذج الأساسية أعطى هذا نتائج ملحوظة على RULER: يحتفظ المتغير 8B بقياسات عالية حتى عند 128K، و 30B يذهب أعلى أيضاً. هذه إشارة مهمة للفرق التي تحتاج ليس فقط إلى إجابات الدردشة بل أيضاً العمل مع المستندات الطويلة والسجلات ومقتطفات الأكواد الكبيرة.

الضبط الدقيق والجودة

بعد التدريب المسبق، مرّرت IBM مجموعة بيانات SFT عبر حلقة صارمة من مراقبة الجودة. وصل حوالي 4.1 مليون مثال إلى الاختيار النهائي، لكن قبل ذلك تم التحقق من كل إجابة من خلال مخطط LLM-as-Judge ومجموعة من القواعس الحتمية.

فحص نموذج المقيّم اتباع التعليمات والصحة والاكتمال والإيجاز والطبيعية والمعايرة، بينما تشمل أسباب الرفض الصارمة الهلوسات والافتراضات الخاطئة والأخطاء الحسابية. بالإضافة إلى ذلك، تم تطبيق التطبيع والتحقق من الصيغة وتصفية الطول وإلغاء التكرار العام. في مرحلة RL، لم تقتصر IBM على مسار واحد.

استخدمت الشركة GRPO on-policy مع DAPO loss وجمعت أربع مراحل متسلسلة: RL متعدد المجالات و RLHF للفائدة العامة والحوار و RL الهوية ومعايرة المعرفة، ثم RL الرياضيات المنفصل، الذي يعيد ويحسّن المهارات الرياضية بعد RLHF. وفقاً لـ IBM، أضافت RLHF وحدها في المتوسط حوالي 18.9 نقطة على AlpacaEval بالنسبة إلى نقاط تفتيش SFT.

النتيجة الأكثر لفتاً للنظر هي أن نموذج التعليمات Granite 4.1 8B يقارن باستمرار مع Granite 4.0-H-Small 32B-A9B ويتفوق عليه في عدة معايير.

بالتوازي، أطلقت IBM متغيرات FP8، والتي تقلل تقريباً نصف متطلبات الذاكرة والمساحة على القرص.

ما يعنيه هذا

أثبتت IBM أن المنافسة في LLMs ذات المصدر المفتوح ممكنة ليس فقط من خلال حجم النموذج بل من خلال جودة وصفة التدريب. بالنسبة للشركات، هذا يجعل Granite 4.1 مرشحاً عملياً: زمن انتظار متوقع دون مسارات تفكير طويلة وسياق طويل وترخيص مفتوح وتكاليف تشغيل أقل مقارنة بالأنظمة الأثقل.