باحثون يكشفون كيف يشكّل الترميز الموضعي RoPE «بصمة» رؤوس الانتباه في نماذج اللغة الكبيرة

نشرت مجموعة من الباحثين على arXiv ورقة بحثية حول الكيفية التي يحدد بها نظام الترميز الموضعي — RoPE أو learned-absolute أو ALiBi — البنية الرياضية لرؤوس الانتباه «الاستقرائية» في المحوّلات، أي الآلية التي يقوم عليها تعلّم النموذج في السياق.

ما الذي قاسه الباحثون بالضبط

يُوصَف تقدير الانتباه قبل softmax بصيغة ثنائية الخطية تعتمد على مصفوفة قابلة للتعلّم M = W_q^T W_k. وبما أن هذه المصفوفة غير متماثلة في العادة، فإن لها طيفًا مركّبًا من القيم الذاتية. وقد اعتمد المؤلفون هذا الطيف تحديدًا بوصفه «بصمة» تعكس البنية الداخلية لرأس الانتباه. واختُبر العمل على سبعة نماذج مدرَّبة مسبقًا تعتمد ثلاثة أنظمة مختلفة للترميز الموضعي، مع التركيز على رؤوس «previous-token» و«induction»، وهي الآليات المسؤولة عن العثور على الرمز السابق المشابه والتنبؤ بالرمز التالي بالقياس عليه.

• فُحصت سبعة نماذج مدرَّبة مسبقًا وثلاثة أنظمة للترميز الموضعي: RoPE وlearned-absolute وALiBi
• جاء الفصل بين النماذج بحسب نوع الترميز دقيقًا في كل شريحة خضعت للفحص (p = 0,029)
• في نقاط حفظ Pythia تظهر البصمة الطيفية «الدورانية» في الوقت نفسه الذي يتشكّل فيه السلوك الاستقرائي، وليس قبله
• في النماذج التجريبية المبسّطة ذات الطبقتين، يلتفّ التدريب على حظر القناة الطيفية لكن مع تأخّر (q_BH ≤ 0,016)
• فرض تماثل المصفوفة يبطّئ تدريب النماذج ذات الترميز learned-absolute بمقدار 2,9 مرة

ماذا أظهرت تجربة الحظر

في الرؤوس التي تستخدم RoPE، تبيّن أن الطيف «دوراني»، وأدّى تصفير المكوّن الطوري إلى تعطيل الاستقراء تمامًا في الرأس الذي جرى تحديده مسبقًا، وذلك في النماذج الثلاثة كلها التي تعتمد RoPE. أما في النماذج ذات الترميز learned-absolute وALiBi، حيث يُحتسب الموضع خارج مصفوفة الانتباه لا داخلها، فقد سلك الطيف سلوكًا مختلفًا: «مضمونيًا» ودون دوران واضح. وفي المقابل، أظهر المؤلفون على نماذج تجريبية مبسّطة أنه إذا مُنع الرأس صراحةً من استخدام القناة الطيفية، فإن التدريب يجد مسارًا بديلًا ويستعيد القدرة على الاستقراء، لكن بتأخّر في تشكّلها.

ماذا يعني ذلك

تُظهر الدراسة أن اختيار نظام الترميز الموضعي ليس تفصيلًا تقنيًا، بل عامل يحدد «اللغة» الداخلية التي يحلّ بها النموذج مهمة التعلّم في السياق. وبالنسبة إلى قابلية تفسير نماذج اللغة الكبيرة، يعني ذلك أن التحليل الطيفي لمصفوفات الانتباه يمكن استخدامه أداةَ تشخيص، غير أن «البصمة» الطيفية نفسها نتيجة للتدريب، وليست قيدًا صارمًا على ما يستطيع النموذج تعلّمه.

أسئلة شائعة

ما هي الرؤوس الاستقرائية في المحوّلات؟

هي رؤوس انتباه تعثر في السياق على رمز مشابه للرمز الحالي، ثم تتنبأ بالرمز التالي بالقياس على ما جاء بعد الرمز المشابه سابقًا. وهي الآلية الأساسية المسؤولة عن قدرة النموذج على التعلّم مباشرة داخل سياق الطلب (in-context learning).

أي نظام للترميز الموضعي تبيّن أنه أكثر مرونة؟

يُعدّ RoPE النظام الوحيد من بين الأنظمة الثلاثة الذي يستطيع فيه رأس الانتباه نقل المعلومات بصورة موجَّهة عبر قناة طورية، حتى لو كانت مصفوفة أوزانه متماثلة. أما الترميز learned-absolute فلا يتيح هذه الإمكانية، وهو ما يفسّر تباطؤ التدريب بمقدار 2,9 مرة عند فرض التماثل بصورة مصطنعة.