DeepSeek-V4.1-Flash يخفّض KV cache في HBM إلى 890 بايت لكل رمز بدلًا من 3514

قدّمت DeepSeek نموذج V4.1-Flash، وهو نموذج MoE متعدد الوسائط بسياق 1M رمز. يضم جسمه الرئيسي 552B معامل، ويوجد 196B معامل إضافية في جداول ذاكرة Engram. وتتعلق النتيجة الأبرز بالتشغيل: فقد ضُغطت KV cache العامة في HBM إلى 890 بايت لكل رمز، بينما كان النموذج السابق DeepSeek-V4-Flash يحتاج إلى 3514 بايت. وانخفضت ذاكرة SSD طويلة الأمد إلى نحو ثُمن حجمها السابق. وفي جلسات الوكلاء التي تبلغ مليون رمز، يزيل هذا عنق الزجاجة الرئيسي: إذ لم تعد ذاكرة التخزين المؤقت تحدد عدد الجلسات التي يتحملها الخادم.

يشير منشور في قناة gonzo_ML على Telegram إلى ورقة بحثية يشارك فيها نحو 500 مؤلف (arXiv 2609.19969)، ومراجعة على Substack، والأوزان على Hugging Face. والشيفرة ليست متاحة للعموم، إذ تشير بطاقة النموذج إلى N/A.

ثلاث آليات لتوفير الذاكرة

الآلية الأولى هي بنية سببية من نوع المشفّر-المفكّك، CED. يبتعد النموذج عن بنية decoder-only المعتادة: ففي مرحلة prefill، عند قراءة موجّه طويل، يعمل 8B معامل، وعند توليد الإجابة 16B. ويلاحظ كاتب المراجعة أن هذا يبدو النموذج المفتوح الرائد الوحيد بهذه البنية. وأقرب النظائر هي encoder-decoder T5Gemma وبنية decoder-decoder المسماة YOCO.

الآلية الثانية هي انتباه CSA2. فهو يعيد استخدام الذاكرة المؤقتة بصيغة FP4 بين الطبقات، ولذلك لا تحتاج كل طبقة إلى تخزين نسخة خاصة بها. ومن هنا يأتي الجزء الأكبر من الضغط حتى 890 بايت لكل رمز.

الآلية الثالثة هي إعادة الحساب المحدودة للنافذة المنزلقة، SWA Bounded Replay. لم تعد ذاكرة النافذة المنزلقة المحلية تُكتب على القرص، بل تُستعاد عند الحاجة بإعادة الحساب على مقطع محدود. وهذا يخفف جزءًا من الحمل عن SSD ويفسر انخفاض حجم الذاكرة على القرص بنحو ثماني مرات.

الاختبارات: تعادل مع Opus-5 في مهام الوكلاء

في DeepSWE v1.1 (مجموعة مهام إصلاح الأخطاء في مستودعات حقيقية) يحل V4.1-Flash نسبة 74.2% من المهام. أما V4-Flash فنسبته 54.4%، وOpus-5 نسبته 74.0%. وفي Terminal-Bench 2.1 (مهام للوكيل في سطر الأوامر) يبلغ النموذج 90.6% في Pass@1، أي أنه يحل المهمة من المحاولة الأولى. وسجّل V4-Flash هنا 82.7% وOpus-5 نسبة 89.1%.

يتبين إذن أن التحديث لم يخفض كلفة الاستدلال فحسب، بل رفع الجودة أيضًا في البرمجة وسيناريوهات الطرفية. ويبلغ الارتفاع في DeepSWE نحو 20 نقطة مئوية قياسًا بالنموذج السابق. وبالنسبة إلى المطورين الذين يبنون حلقات وكلاء طويلة، فهذه حجة لافتة لصالح النموذج المفتوح.

ما ليس في الورقة

هناك أيضًا قيود. فالورقة لا تتضمن اختبارات استئصال (ablations) لكل مكوّن، ولذلك يبقى غير واضح ما يسهم به كل من CED وCSA2 وإعادة حساب النافذة في توفير الذاكرة وفي الجودة. كما لا توجد منحنيات لجودة الاسترجاع على سياق 1M رمز. فالرقم المعلن 890 بايت لكل رمز يبيّن كلفة التخزين، لكنه لا يثبت أن النموذج يعثر بموثوقية على المقطع المطلوب على امتداد الطول كله.

وفي المهام العلمية المعقدة تبدو النتيجة أكثر تواضعًا بوضوح. ففي Terminal-Bench 4.0 يسجل V4.1-Flash نسبة 31.2% بينما يسجل Opus-5 نسبة 51.8%. ويتأكد التعادل مع النظام المغلق في Terminal-Bench 2.1 وDeepSWE v1.1، لكن ليس في أصعب الاختبارات المذكورة.

أما الخلاصة العملية لمن ينشرون النماذج بأنفسهم: بحسب الورقة، عند سياق بحجم مليون رمز يصبح القيد هو الحوسبة، لا HBM ولا SSD المخصصة للذاكرة المؤقتة. وهذا يغيّر حساب كلفة جلسات الوكلاء الطويلة. لكن إلى أن تصدر الشيفرة ونتائج الاستئصال وقياسات مستقلة للسياق الطويل، تبقى الأرقام ادعاءات من المؤلفين. ويمكن تنزيل الأوزان واختبارها على مهامك الخاصة.