Mamba-3: بديل للمحوّلات بتعقيد حسابي خطي

في 17 مارس 2026، نشر فريق بحثي من Carnegie Mellon University وPrinceton University وCartesia AI وTogether AI ورقة بحثية عن بنية جديدة باسم Mamba-3، وهي نموذج فضاء حالة (state space model, SSM) صُمّم في المقام الأول لكفاءة الاستدلال (inference) لا لكفاءة التدريب، على عكس سلفه Mamba-2. وأبرز النتائج أن نسخة Mamba-3 SISO تتفوق على Mamba-2 وعلى بنية Gated DeltaNet وحتى على المحوّل Llama-3.2-1B في زمن الاستجابة الإجمالي لمرحلتي prefill وdecode عند جميع أطوال التسلسلات، وذلك على نموذج بحجم 1.5 مليار معامل.

أبرز الحقائق عن الإصدار

• تاريخ النشر — 17 مارس 2026
• المؤلفون — Aakash Lahoti وKevin Y. Li (Carnegie Mellon University)، وBerlin Chen وCaitlin Wang (Princeton University)، وAviv Bick وJ. Zico Kolter (Carnegie Mellon University)، وTri Dao (Princeton University وTogether AI)، وAlbert Gu (Carnegie Mellon University وCartesia AI)
• حجم الاختبارات — نماذج بمستوى 1.5 مليار معامل
• أهم المستجدات المعمارية — صيغة تكرارية (recurrence) أكثر تعبيرًا، وتتبّع للحالة بقيم عقدية (complex-valued)، ونسخة MIMO (multi-input, multi-output)
• الشيفرة المفتوحة — نُشرت نوى الحوسبة المكتوبة بـ Triton وTileLang وCuTe DSL في متناول الجميع

لماذا لم يعد Mamba-2 يلبّي احتياجات الصناعة؟

منذ صدور Mamba-2 في منتصف 2024، انتقلت معظم البنى القائمة على SSM من Mamba-1 إليه. فقد راهن المطوّرون على أن سرعة التدريب هي عنق الزجاجة الرئيسي، فبسّطوا الآلية الأساسية لـ SSM للحصول على تسريع للتدريب يتراوح بين 2 و8 أضعاف مقارنة بسلفه. ونجح هذا الرهان وأسهم في انتشار Mamba-2 على نطاق واسع في الصناعة.

لكن مشهد النماذج اللغوية الكبيرة تغيّر كثيرًا منذ ذلك الحين: فرغم أن التدريب المسبق لا يزال مهمًا، بات الاهتمام الأكبر منصبًّا على مرحلة ما بعد التدريب والنشر، وكلتاهما تتطلب استدلالًا مكثفًا. ويتطلب توسيع نطاق أساليب ما بعد التدريب، ولا سيما التعلم المعزز بمكافآت قابلة للتحقق (RLVR) لمهام البرمجة والرياضيات، توليد أعداد ضخمة من المسارات (rollouts). أما سير العمل الوكيلي (agentic) في أدوات مثل Codex وClaude Code وOpenClaw فقد رفع الطلب على الاستدلال بشكل حاد.

ومع ذلك، صُمّمت كثير من البنى الخطية، ومنها Mamba-2، في الأصل بإعطاء الأولوية للتدريب: فلتسريع التدريب المسبق جرى تبسيط الآلية الأساسية لـ SSM تدريجيًا، فاختُزل مثلًا الانتقال القطري للحالة إلى عدد قياسي (scalar) مضروب في مصفوفة الوحدة، ما قلّل من قدرة النموذج التعبيرية مقابل سرعة التدريب.

ما الذي يغيّره

Mamba-3 ولماذا نحتاج إلى بنية محسّنة للاستدلال؟

يعكس Mamba-3 هذا المنطق: فقد أعاد الفريق إلى النموذج صيغة تكرارية أكثر تعبيرًا وتتبّعًا للحالة بقيم عقدية، وهما آليتان بسّطهما Mamba-2 من أجل سرعة التدريب. كما أضاف نسخة MIMO ترفع الدقة دون إبطاء فك الترميز (decoding). والنتيجة بنية يقل زمن استجابتها في الاستدلال عن Mamba-2 وGated DeltaNet وحتى عن المحوّل التقليدي Llama-3.2-1B، مع بقاء هذه الأفضلية عند جميع أطوال التسلسلات التي جرى اختبارها على نموذج بحجم 1.5 مليار معامل. وبما أن بنى SSM تعالج التسلسل بتعقيد حسابي خطي لا تربيعي كما في المحوّلات، يبرز مكسب Mamba-3 خصوصًا في السياقات الطويلة وعند الحمل العالي في مرحلة التوليد، أي تحديدًا حيث يتركز اليوم معظم طلب الصناعة على استدلال سريع ومنخفض التكلفة.

ماذا يعني ذلك للقطاع

يخفض نشر نوى الحوسبة بـ Triton وTileLang وCuTe DSL في المتناول العام عتبة الدخول أمام الفرق التي ترغب في دمج Mamba-3 ضمن بنيتها التحتية للاستدلال. ويعكس التعاون بين المختبرات الأكاديمية (Carnegie Mellon University وPrinceton University) والجهات الصناعية (Together AI وCartesia AI) اتجاهًا أوسع: فالأبحاث المعمارية المتقدمة باتت تُرفق في كثير من الأحيان ببنية تحتية جاهزة للنشر العملي، بدل أن تبقى نتيجة نظرية على الورق. وبالنسبة للسوق، هذه إشارة إلى أن بدائل المحوّلات ذات التعقيد الحسابي الخطي تنتقل من فئة التجارب المخبرية إلى فئة المرشحين الحقيقيين لدور البنية الأساسية للمنتجات الموجّهة نحو الاستدلال في الجيل القادم، من المساعدين الوكيليين إلى خدمات ما بعد التدريب واسعة النطاق.