هندسة الانتباه: كيف يعلّم QK Norm النموذج فهم المعنى

غالبًا ما يُنظر إلى QK Norm، أي تطبيع query وkey قبل الجداء السلّمي في آلية attention، على أنه تفصيل تقني صغير لضمان الاستقرار العددي. لكنه في الواقع قيد هندسي عميق يدفع المحوّل إلى التعبير عن المعنى بطريقة مختلفة تمامًا.

المشكلة في غياب التطبيع

طبقات الشبكة العصبية «كسولة». فعندما لا توجد معايير (norms) مقيِّدة، لا يلجأ المحوّل إلى تدوير المتجهات ببراعة للتعبير عن المعنى عبر العلاقات الزاوية، بل يسلك الطريق الأسهل: يزيد المقدار. فيصبح الرمز المهم «أعلى صوتًا» ببساطة. ويفعل ذلك لأنه قادر على ذلك.

الجداء السلّمي q⃗ · k⃗ = |q⃗| |k⃗| cos(θ) ينمو عبر الزاوية وعبر المقدار معًا. فتتعلم الشبكة الاثنين: تنظر إلى الزاوية وتضخّم المتجه في الوقت نفسه. وتضخيم المقدار أرخص من الفهم.

ويؤدي ذلك إلى «attention sink»، حيث تبدأ الرموز النحوية المساعدة (الفواصل وأدوات التعريف والضمائر) بالهيمنة، لأنها كثيرة التكرار وتكتسب مقدارًا كبيرًا بلا سبب دلالي.

كيف يعمل QK Norm

التطبيع هو قيد على المتجهات. فعندما نطبّع query وkey إلى طول وحدوي، يتحول الجداء السلّمي إلى تشابه جيب التمام. وتصبح المتجهات «محبوسة» على سطح كرة فائقة ذات N بُعدًا.

ولم تعد الشبكة قادرة على تضخيم المتجه لجذب الانتباه. ولا يبقى أمامها سوى خيار واحد: تدوير المتجه بحيث تعبّر زاويته مع المتجهات الأخرى عن العلاقة الدلالية المطلوبة. فإذا أردتَ ربطًا بين كلمتين، فأظهره بالزاوية لا بشدة الصوت.

هذا يغيّر جوهريًا طريقة عمل التمثيلات الداخلية:

• يُرمَّز المعنى بالزوايا بين المتجهات، لا بمقدارها
• تقع جميع الرموز على المسافة نفسها من نقطة الأصل
• لا تضيع الكلمات النادرة، لأن الجميع متساوون على الكرة الفائقة
• يقوم الانتباه على التشابه الدلالي، لا على معدل التكرار

الموضع الصحيح في المعمارية

ثمة تفصيل حاسم واحد: يجب أن يأتي QK Norm قبل RoPE (Rotary Position Embedding)، لا بعده. فإذا طُبّق التطبيع بعد RoPE، تتشوّش المعلومات الموضعية ولا تُرمَّز بشكل صحيح. والترتيب هو: تطبيع query-key ثم RoPE.

ماذا يعني ذلك

هذا ليس مجرد حيلة هندسية لتحقيق الاستقرار العددي، بل إعادة تعريف لمعنى «الانتباه» على المستوى الهندسي. فالشبكة التي تعتمد على الزوايا بدلًا من المقادير تتعلم تعميمًا أفضل على الرموز النادرة، وتتجنب عادة هيمنة الكلمات المساعدة.

وفي غياب نتائج تجريبية على نماذج بمليارات المعاملات، يبقى هذا حجة نظرية، لكن منطقها سليم هندسيًا.