Reflection تطلق Beam: نموذج MoE مفتوح بـ 501B معامل بترخيص Apache 2.0

أتاحت Reflection، وهي مختبر أمريكي جديد، نموذجها الأول Beam على Hugging Face. النموذج من نوع MoE بـ 501 مليار معامل، منها 23 مليارًا نشطة لكل رمز، ويقبل مدخلات نصية، وسياقه 1M رمز، وترخيصه Apache 2.0. صُمم النموذج للبرمجة والمهام الوكيلية، وجمهوره المستهدف واضح: الفرق التي تحتاج إلى نموذج بحجم الجبهة المتقدمة على عتادها الخاص أو في سحابتها، مع إمكانية إعادة تدريبه وفق احتياجاتها.

يرافق الإصدار harness خاص مكتوب بلغة Rust، وهو مفتوح المصدر مثل النموذج نفسه. أعدّت Reflection وHugging Face معًا وصفات للاستدلال وSFT وRL، ويتوفر الدعم في transformers وvLLM وSGLang منذ اليوم الأول. ويُقترح تشغيل RL كامل المعاملات عبر Miles.

أين يوفّر Beam، وأين تظهر فاتورة الذاكرة

هذه هي الصفقة المعتادة في نماذج MoE المتناثرة: تحسب كلفة نموذج صغير، لكنك تدفع ثمن الذاكرة كنموذج كبير. يتألف Beam من 52 طبقة، الطبقات الثلاث الأولى منها كثيفة، وحلّت محل الـ 49 الباقية كتل من 256 خبيرًا، يُوجَّه إلى 8 منهم لكل رمز. كل خبير هو SwiGLU MLP بحجم وسيط 2560 وبنحو 39M معامل، ويحمل الخبراء مجتمعين 98,4% من الأوزان. لا يوجد خبير مشترك. ويكرر الموجّه (router) تصميم DeepSeek-V3 مع تقييد حسب المجموعات: درجات سيغمويدية، و8 مجموعات بواقع 32 خبيرًا في كل منها، ثم اختيار أفضل 4 مجموعات، ثم top-8 داخلها. تُطبَّع مخرجات الخبراء وتُضرب بالعامل 2,5.

يزن النموذج بصيغة BF16 نحو 1 TB. أما NVFP4 لمعمارية Blackwell فتختصره إلى نحو 280 GB، مع إبقاء جزء من المعاملات بصيغة BF16 حفاظًا على الدقة. وتتوفر صيغة FP8 لمعماريتي Hopper وAmpere. يتسع جهازا B200 بسعة 180 GB لكل منهما للأوزان من الناحية الحسابية، لكن دون أي مساحة متبقية لـ KV-cache، ولذلك ينصح المطورون بأربعة أجهزة B200 (720 GB). كما تصلح عقدة 8×B200، وجهازا B300 بسعة 288 GB لكل منهما، وحتى 8×RTX Pro 6000. أما على H200 فيلزم 16 بطاقة على الأقل: عند استخدام 8 وحدات GPU تبلغ حصة الأوزان 139 GB لكل وحدة، ولا تترك مساحة في بطاقة سعتها 141 GB.

الانتباه الهجين وبقايا غير مألوفة

يمثّل الـ cache البند الثاني في الإنفاق، وهنا يبدو تصميم Beam محكمًا. من أصل 52 طبقة، تستخدم 43 طبقة نافذة منزلقة بطول 512 رمزًا مع RoPE، وتنظر 9 طبقات فقط (كل طبقة سادسة إضافة إلى الأخيرة) إلى السياق كاملًا دون ترميز موضعي. وبدلًا من الترميز الموضعي، يُضرب الاستعلام (query) في عامل تحجيم ينمو ببطء (1 + (pos + 1) / 2048) ** 0.1، ويعمل هذا العامل كدرجة حرارة تمنع softmax من «التمدد» على المسافات الطويلة. ينمو الـ cache بمقدار 36 KiB لكل رمز بدلًا من 208 KiB. وعلى السياق الكامل 1M يعني ذلك 36,08 GiB مقابل 208 GiB، وعلى 128K يعني 4,6 GiB مقابل 26 GiB. والأرقام محسوبة لتسلسل واحد بصيغة BF16.

يستخدم الانتباه GQA بـ 48 رأس استعلام و8 رؤوس KV، مع RMSNorm على الاستعلامات والمفاتيح، إضافة إلى بوابة سيغمويدية قابلة للتدريب لكل قناة من قنوات الرأس. أما التفصيل الأكثر غرابة فهو التيار المتبقي (residual stream). عند الخطوة k يُضاف خرج الطبقة الفرعية بوزن 1/sqrt(k)، ويُضرب التيار المتراكم في sqrt((k-1)/k). مجموع مربعات الأوزان يساوي واحدًا، فيبقى مقياس التيار ثابتًا، وبعد 104 عمليات جمع يسهم التضمين (embedding) وكل طبقة فرعية بالقدر نفسه. وتمر اللوغيتات عبر tanh-softcap عند ±30 بصيغة FP32.

ماذا تُظهر المقاييس وكيف يُشغَّل النموذج

قدّم فريق Reflection هذه الأرقام، بالترتيب BF16 / FP8 / NVFP4:

• SWE-bench Verified: 81,6% / 80,2% / 80,7%
• SWE-bench Pro v1: 66,1% / 65,9% / 65,6%
• SWE-bench Pro v2-Hard: 76,5% / 78,4% / 78,6%
• SWE-bench Multilingual: 78,3% / 78,1% / 77,5%
• Terminal Bench v2.1: 80,1% / 78,9% / 78,2%
• DeepSWE v1.1: 43,3% / 43,0% / 42,7%
• AIME 2026: 97,7% / 98,0% / 97,5%
• GPQA Diamond: 90,6% / 90,3% / 89,3%
• LiveCodeBench: 88,3% / 88,1% / 87,4%
• HLE بدون أدوات: 36,0% / 36,0% / 34,8%؛ ومع الأدوات: 51,1% في الصيغ الثلاث جميعها
• MCP Atlas: 80,8% / 81,5% / 80,5%
• BrowseComp مع إدارة السياق: 76,8% / 76,7% / 75,6%
• DeepSearchQA: 80,5% / 79,6% / 81,1%
• LongBench v2: 67,5% / 67,6% / 67,2%
• IFBench: 79,6% / 80,7% / 79,2%
• AA-LCR: 78,2% / 79,4% / 78,7%

الاستنتاج الرئيسي من الجدول: الانتقال إلى NVFP4 يكلّف في المتوسط كسورًا من النقطة المئوية فقط، بينما يجعل حجم الأوزان الأصغر بمقدار النصف الاستضافة الذاتية خيارًا واقعيًا.

يوفّر النموذج خمسة مستويات للاستدلال (low، وmedium الافتراضي، وhigh، وxhigh، وmax). ويحفظ الخيار preserve_thinking خطوات الاستدلال بين الأدوار، بينما يستخدم استدعاء الأدوات قواعد نحوية منفصلة شبيهة بـ XML. ويحتوي الـ tokenizer على قالب الإجابة، وتفصل الدالة parse_response بين الاستدلال والإجابة واستدعاءات الأدوات دون استخدام التعبيرات النمطية (regex)، وتحوّل الوسائط إلى الأنواع المحددة في مخططات الأدوات. وللتسريع يتوفر الترميز التخميني DFlash2: يقترح نموذج مسودة ما يصل إلى 15 رمزًا، ويتحقق Beam منها في تمريرة واحدة.

أما عمليًا فيجري التشغيل على النحو التالي. في vLLM يُشغَّل BF16 بـ tensor-parallel-size 16 على عقدتين من 8×H200، وفي SGLang تتسع نسخة NVFP4 على 4 أجهزة B300 مع سياق 1 048 576. وفي transformers (الإصدار 5.20.1 وما فوق) يعمل expert parallelism، حيث يوضع خبير واحد على كل جهاز، بينما تُنسخ طبقات الانتباه والطبقات الكثيفة والتضمينات (8B معامل، 16 GB). ويجب أن يكون عدد الأجهزة قاسمًا للعدد 256. وللذين لا يملكون Blackwell، تُتاح خدمة Inference Providers بلا خوادم (serverless). وستوزّع Reflection إضافة إلى ذلك $10 000 من رصيد Hub على أفضل المشاريع: العروض التجريبية، والتكميم، ومجموعات البيانات الاصطناعية، وبيئات RL، أو المقاييس.