Moonshot AI تكشف عن Attention Residuals: بديل للوصلات المتبقية في نماذج الترانسفورمر

أطلقت Moonshot AI تقنية Attention Residuals، وهي تحديث معماري للترانسفورمر يغيّر أحد أبسط عناصر النموذج وأكثرها أساسية: الوصلات المتبقية. وبدلاً من الجمع الثابت لمخرجات جميع الطبقات السابقة، يقترح الفريق آلية depth-wise attention تتيح للنموذج أن يقرر بنفسه أي التمثيلات من عمق الشبكة يحتاج إليها فعلاً.

أين تكمن نقطة الاختناق

في معظم نماذج LLM الحديثة، لا تكتفي كل طبقة جديدة بمعالجة المدخلات، بل تضيف ناتجها إلى الحالة الخفية المشتركة. وقد انتقلت هذه البنية من نهج residual، وهي شائعة خصوصاً في معماريات PreNorm، وتساعد على تدريب الشبكات العميقة دون انهيار التدرجات (gradients). لكن لها ثمناً: تُدمج كل التمثيلات السابقة بوزن متساوٍ، ويتلاشى إسهامها مع مرور الوقت. ومع زيادة العمق تنمو الحالات الخفية بصورة خطية تقريباً، فيصعب استخراج الإشارات المبكرة بشكل مفيد.

تسمّي Moonshot AI هذا الأمر مشكلة depth-wise aggregation: فالنموذج أتقن اختيار الرموز (tokens) المهمة على امتداد التسلسل، وأتقن توجيه الخبراء في MoE، لكنه لا يزال يعتمد على الجمع الثابت عبر عمق الشبكة. ويعقد الباحثون مقارنة مباشرة مع حقبة RNN، حين كان التسلسل يُضغط في حالة واحدة إلى أن أتاح attention لكل رمز الوصول إلى جميع الخطوات السابقة. والمقترح هنا هو فعل الشيء نفسه تقريباً، لكن على مستوى الطبقات لا على مستوى الزمن.

كيف تعمل AttnRes

في Attention Residuals، لا تتلقى كل طبقة المجموع الكلي للمخرجات السابقة، بل مزيجاً موزوناً من التمثيلات السابقة عبر softmax-attention. ويعتمد الوزن على الطبقة نفسها وعلى بيانات الإدخال، ولذلك تستطيع الشبكة تعزيز الإشارات المفيدة وإضعاف الضجيج، بدلاً من وراثة كل شيء بالتساوي.

وفي النسخة العملية تُستخدم آلية خفيفة جداً لهذا الغرض: متجه واحد قابل للتدريب بدور استعلام زائف (pseudo-query) لكل طبقة. ولذلك تبدو الفكرة أقرب إلى استبدال مدمج نسبياً لمخطط residual المعتاد منها إلى إعادة بناء جذرية للترانسفورمر.

تتطلب النسخة الكاملة من AttnRes تخزين جميع الحالات السابقة، ولذلك تقترح Moonshot AI نسخة Block AttnRes للنماذج الكبيرة. تُقسَّم الطبقات إلى كتل، ويبقى التراكم المعتاد داخل الكتلة الواحدة، بينما يُطبَّق attention بين التمثيلات الملخِّصة للكتل. ووفق بيانات الفريق، فإن إعداداً يضم نحو ثماني كتل يحتفظ بمعظم مكاسب النسخة الكاملة، ويخفض متطلبات الذاكرة والاتصالات من O(Ld) إلى O(Nd)، ويُبقي التأخير الإضافي في الاستدلال دون 2%.

ماذا أظهرت الاختبارات

لم تكتفِ Moonshot AI باختبار النهج في تجارب scaling-law، بل جرّبته أيضاً على نموذج Kimi Linear الكبير المدرَّب مسبقاً، وهو بـ48 مليار معامل (parameter) يُفعَّل منها 3 مليارات، بعد تدريبه على 1,4 تريليون رمز. والفكرة المحورية أن Block AttnRes يبلغ دالة الخسارة نفسها التي يبلغها النموذج الأساسي المدرَّب بميزانية حوسبة أكبر بمقدار 1,25 مرة. أي أن الأمر لا يتعلق بتحسين شكلي، بل بتوسّع (scaling) أكثر جدوى محتملاً.

• GPQA-Diamond: 36.9 → 44.4
• HumanEval: 59.1 → 62.2
• MMLU: 73.5 → 74.6
• C-Eval: 79.6 → 82.5
• التأخير في الاستدلال: أقل من 2%

وتبرز ديناميكية التدريب بصورة خاصة. فبحسب تقرير الفريق، تخفف AttnRes من أثر PreNorm dilution: إذ لا يتضخم نطاق الحالات الخفية مع العمق، وتتوزع معايير التدرجات بين الطبقات توزيعاً أكثر انتظاماً. وعملياً يعني ذلك تدريباً أسهل في التحكم، واحتمالاً أقل في أن يعمل جزء من عمق النموذج كحمل زائد مكلف قليل الفائدة.

وجاءت أبرز المكاسب في الاستدلال متعدد الخطوات وتوليد الشيفرة البرمجية، ما يجعل العمل مثيراً للاهتمام بوجه خاص لنماذج LLM المستقبلية والأنظمة الوكيلية (agentic).

ماذا يعني ذلك

هذه ليست روبوت دردشة جديداً ولا ميزة للمستخدمين، بل محاولة لإعادة كتابة أحد اللبنات الأساسية في الترانسفورمر. وإذا تأكدت نتائج Moonshot AI على معماريات أخرى وفي بيئات صناعية، فلن يقتصر السباق على جودة LLM على زيادة البيانات وGPU، بل سيمر أكثر فأكثر عبر آليات داخلية أذكى في النماذج نفسها.