IBM تكشف كيف بنت Granite 4.1: 15 تريليون رمز، وسياق يصل إلى 512K، وتركيز على الجودة

في 29 أبريل 2026 نشرت IBM على مدونة Hugging Face تحليلًا مفصلًا لكيفية بناء عائلة Granite 4.1. ولم تكتفِ الشركة بالكشف عن معمارية النماذج، بل عرضت خط الإنتاج بأكمله: من تركيب مجموعات البيانات والسياق الطويل إلى تصفية بيانات SFT وreinforcement learning متعدد المراحل.

كيف صُمّمت السلسلة

Granite 4.1 عائلة من النماذج الكثيفة (dense) بمعمارية decoder-only، بحجم 3B و8B و30B معامل. وتعتمد IBM في الأحجام الثلاثة المنطق الأساسي نفسه: Grouped Query Attention وRotary Position Embeddings وSwiGLU وRMSNorm، إضافة إلى مشاركة التضمينات (embeddings) بين المدخلات والمخرجات. ويكمن الاختلاف أساسًا في الحجم: عدد الطبقات، وأبعاد الحالات المخفية، ومعاملات MLP. ويتيح هذا النهج مقارنة النماذج داخل الخط الواحد دون تنازلات ناجمة عن اختلاف الفلسفة المعمارية.

وتتمثل الفكرة المحورية لدى IBM في أن جودة النموذج الصغير لا تحددها ميزانية الحوسبة وحدها، بل الانضباط في التعامل مع البيانات أيضًا. ولهذا بُنيت Granite 4.1 كنماذج كثيفة لا نماذج MoE، وجرى الرهان على التبديل المدروس لمزيج البيانات أثناء التدريب. وصدرت جميع النماذج برخصة Apache 2.0، وتدعم نسخ instruct منها 12 لغة، بينها الإنجليزية والألمانية والإسبانية واليابانية والعربية والصينية والبرتغالية.

خمس مراحل للتدريب

جرى التدريب المسبق لـGranite 4.1 من الصفر، وشمل نحو 15 تريليون رمز. وقسّمت IBM العملية إلى خمس مراحل: يكتسب النموذج أولًا قاعدة لغوية واسعة من بيانات الويب، ثم تُعزَّز مهاراته في الرياضيات والبرمجة، ثم ينتقل تدريجيًا إلى عينات أعلى جودة وأكثر تخصصًا. وفي المراحل المتأخرة تُضاف إلى المزيج مسارات استدلال (reasoning) طويلة وبيانات اصطناعية (synthetic) ومجموعات بيانات تعليمات، وفي الختام يُدرَّب النموذج على حدة على التعامل مع سياق طويل جدًا.

• المرحلة 1: 10 تريليونات رمز من التدريب العام المسبق، يشكّل CommonCrawl نحو 59% من المزيج فيها.
• المرحلة 2: 2 تريليون رمز إضافية مع ارتفاع حاد في حصة الرياضيات والبرمجة إلى 35% و30% على التوالي.
• المرحلة 3: 2 تريليون رمز من annealing عالي الجودة، تظهر فيها بيانات chain-of-thought والبيانات الاصطناعية وبيانات التعليمات.
• المرحلة 4: 0,5 تريليون رمز إضافية مع التركيز على أجود مزيج وخفض learning rate إلى الصفر.
• المرحلة 5: توسيع السياق الطويل (long-context extension)، الذي يمدّ النافذة من 4K إلى 32K ثم 128K ثم 512K.

ولكي لا يضر السياق الطويل بالجودة في الطلبات القصيرة، تجري IBM دمج النموذج (merge) بعد كل مرحلة من مراحل LCE. وللتوسيع النهائي إلى 512K في نسختي 8B و30B استُخدم مزيج من الكتب ومستودعات الشيفرة. وحققت النماذج الأساسية نتائج لافتة على RULER: تحافظ نسخة 8B على مقياس مرتفع حتى عند 128K، بينما تتفوق عليها نسخة 30B. وهذه إشارة مهمة للفرق التي لا تحتاج إلى إجابات المحادثة فحسب، بل إلى العمل مع المستندات الطويلة وملفات السجلات (logs) والمقاطع البرمجية الكبيرة.

ما بعد التدريب المسبق والجودة

بعد التدريب المسبق مرّرت IBM مجموعة بيانات SFT عبر منظومة صارمة لضبط الجودة. وضمّت العينة النهائية نحو 4,1 مليون مثال، لكن كل إجابة خضعت قبل ذلك للفحص وفق مخطط LLM-as-Judge ومجموعة من القواعد الحتمية. ونظر النموذج المُقيِّم في الالتزام بالتعليمات والصحة والاكتمال والإيجاز والطبيعية والمعايرة (calibration)، وشملت أسباب الرفض القاطعة الهلوسات والمقدمات الخاطئة والأخطاء الحسابية. وطُبّقت أيضًا عمليات تطبيع (normalization) والتحقق من المخطط (schema validation) ومرشحات الطول وإزالة التكرار على المستوى الشامل.

وفي مرحلة RL لم تكتفِ IBM بمسار واحد. فقد استخدمت on-policy GRPO مع DAPO loss، وبنت أربع مراحل متتابعة: RL متعدد المجالات، وRLHF للفائدة العامة والحوار، وRL للهوية ومعايرة المعرفة، ثم RL رياضي منفصل يعيد المهارات الرياضية ويحسّنها بعد RLHF. وبحسب IBM، أضاف RLHF وحده في المتوسط نحو 18,9 نقطة على AlpacaEval قياسًا بنقاط SFT المرجعية (checkpoints).

أبرز النتائج أن نموذج instruct Granite 4.1 8B يُقارَن باستمرار بـGranite 4.0-H-Small 32B-A9B ويتفوق عليه في عدد من الاختبارات. وفي موازاة ذلك أصدرت IBM نسخ FP8 التي تقلّص متطلبات الذاكرة ومساحة القرص إلى النصف تقريبًا.

ماذا يعني ذلك

أظهرت IBM أن المنافسة في مجال LLM المفتوحة المصدر لا تقوم على حجم النموذج وحده، بل على جودة وصفة التدريب (training recipe) كذلك. وبالنسبة إلى الشركات، يجعل ذلك Granite 4.1 مرشحًا عمليًا: زمن استجابة يمكن التنبؤ به دون مسارات reasoning طويلة، وسياق طويل، ورخصة مفتوحة، وتكلفة تشغيل أقل مقارنة بالأنظمة الأثقل.