Xiaomi MiMo تنتقل إلى بنية المشفّر-فك التشفير: prefill أقل بخمسة أضعاف على سياق 1M

لم يعد السياق الطويل في نماذج اللغة الكبيرة ميزة، بل صار فاتورة أجهزة. تحمّل مليون رمز في النموذج فتدفع مرتين: أولًا وقتًا وحسابات في مرحلة prefill، ثم ذاكرة لـ KV-cache الذي يتضخم مع السياق. والآن تحاول Xiaomi، بحسب SemiAnalysis، حل هذه المشكلة على مستوى البنية المعمارية.

ما الذي يتغير بالضبط

يكتب محللو SemiAnalysis أن الجيل القادم من نماذج Xiaomi MiMo ينتقل إلى causal encoder-decoder. ويأتي ذلك بعد أن سلك DeepSeek V4.1 Flash مسارًا مشابهًا. تُسمى البنية HySparse2، وأبرز تفاصيلها في المنشور هي: يمر الإدخال عبر 25 طبقة فقط من أصل 49، ولا يُحسب KV-cache الخاص بفك التشفير من الصفر، بل يُشتق من حالات المشفّر.

في النموذج التقليدي القائم على فك التشفير فقط، تعالج كل طبقة كل رمز من رموز الإدخال وتحتفظ بمفاتيحها وقيمها الخاصة. أما هنا فالمخطط مختلف: يتولى المشفّر الجزء الثقيل من قراءة المدخل الطويل، بينما يتلقى فك التشفير منه حالات جاهزة ويبني منها KV الخاص به.

تخيّل محاميًا سُلّم عقدًا من 500 صفحة. يمكن إجباره على إعادة قراءته كاملًا في كل مرة يجيب فيها عن سؤال. أو يمكنه أن يعدّ ملخصًا مرة واحدة ثم يعمل به. التشبيه فجّ، لكنه ينقل الفكرة: القراءة المكلفة للمدخل تُنقل إلى مرحلة مستقلة، لا تشارك فيها سوى جزء من الطبقات.

الأرقام

على سياق بطول 1M رمز، وبالمقارنة مع MiMo-V2، تذكر SemiAnalysis نتيجتين:

• حسابات prefill أقل بخمسة أضعاف؛
• KV-cache أصغر بمقدار 4.5 مرة.

يعني الرقم الأول أن الزمن حتى أول رمز على المدخلات الضخمة قد ينخفض بشكل ملحوظ، وأن تكلفة معالجة المدخل ستقل. أما الثاني فيمس الذاكرة: كلما صغر الكاش زاد عدد الطلبات المتزامنة على وحدة GPU نفسها، أو أمكن تشغيل سياق طويل على تهيئة أكثر تواضعًا.

ومن المهم هنا فهم مصدر المقارنة. فهي مقارنة بالنموذج السابق من Xiaomi نفسها، وليست اختبار benchmark مستقلًا أمام المنافسين. كما لا يتضمن المنشور أي بيانات عن الجودة: وكيف تحافظ البنية الجديدة على الدقة في السياق الطويل لا يزال مجهولًا.

لماذا هذا مهم

الإشارة الرئيسية هنا هي الاتجاه. فمختبران صينيان بارزان يتحركان تباعًا نحو مخطط يُعالَج فيه الإدخال والتوليد بطريقتين مختلفتين. وبالنسبة لصناعة عاشت سنوات في نموذج «فك التشفير فقط»، يُعد هذا تحولًا ملحوظًا. وتصبح كفاءة الاستدلال على السياق الطويل ميزة تنافسية على قدم المساواة مع الجودة.

أما لمن يبنون منتجات على السياق الطويل — RAG دون تقطيع مكثف، وتحليل قواعد الشيفرة، والوكلاء ذوو الذاكرة الطويلة — فهذا يعني خفضًا محتملًا لتكلفة سيناريوهات تصطدم اليوم بحدود الذاكرة وزمن الاستجابة.

القيود وما العمل

لنبدأ بما لا نعرفه. لا يتضمن المنشور بيانات عن الجودة، ولا عن سلوك النموذج في مهام السياق الطويل، ولا عن موعد صدور النماذج تحديدًا، ولا عما إذا كانت الأوزان ستُفتح. الأرقام مذكورة لـ 1M رمز، وعلى المدخلات القصيرة قد يكون المكسب أقل بكثير. والمصدر منشور لمحللين، وليس تقريرًا تقنيًا من Xiaomi.

الخلاصة العملية للمطورين ومديري المنتجات:

• لا تعيدوا كتابة منظومتكم من أجل البنية الجديدة ما دامت لا توجد أوزان مفتوحة ولا قياسات مستقلة؛
• إذا كنتم تحسبون اقتصاديات السياق الطويل، فضعوا في حساباتكم سيناريو تنخفض فيه تكلفة prefill والذاكرة بأضعاف؛
• تابعوا دعم encoder-decoder في محركات الاستدلال: فمن هذا الدعم يتوقف مدى سرعة وصول المكسب إلى المنتجات الفعلية.

إذا تأكدت الأرقام المعلنة 5x و4.5x عمليًا دون فقدان في الجودة، فستكون من أكثر الخطوات الملموسة نحو مليون رمز رخيص.