LexFrame يقرأ الحالات المخفية في LLM: تماسك 0,97 مقابل سقف 0,30 للعدسات

اقترح باحثون طريقة لقراءة الحالات المخفية في النموذج اللغوي بالطريقة التي يقرؤها بها النموذج نفسه. تحمل الطريقة اسم Lexical Reference Frames. في منتصف العمق لدى SmolLM3-3B وOLMo3-7B، تقف أي عدسة باتجاهات ثابتة لكل طبقة عند حدّي 0,30 و0,35. أما الرتبة الأولى من الطريقة، LexFrame[1]، فتحقق تماسكًا قدره 0,97 على النموذجين معًا. ولا تختلف الحالة المقروءة عن المخرجات الفعلية للنموذج بأكثر من 0,16 نات.

لماذا تصطدم العدسات الثابتة بسقف؟

يحدد معجم النموذج دلالاته الأصلية. فالتضمين (embedding) وعكس التضمين (unembedding) يحددان معنى الحالة عند طرفي residual stream. وبين الطرفين تنقسم المقاربات القائمة إلى معسكرين. يأخذ الأول عدسة ثابتة ويطبق الاتجاهات نفسها على حالات طبقة معينة. ويعامل الثاني الحالات كسحابة نقاط ويبحث فيها عن بنية. ويرى المؤلفون أن أيًّا من الأسلوبين لا يقرأ الحالة كما يقرؤها النموذج.

وحجتهم أن لكل حالة مخفية إطارًا مرجعيًا خاصًا بها. تحدده الطبقات التي ستقرأ هذه الحالة لاحقًا، ويتكيّف مع السياق. والعدسة الثابتة لا بد أن تفقد هذا الاعتماد على السياق، لأن اتجاهاتها محددة سلفًا. ومن هنا ينشأ حد رسمي: لا يمكن لعدسة ذات اتجاهات ثابتة لكل طبقة أن تتجاوز الجذر التربيعي لتماسك الإطار الأصلي. وفي منتصف العمق يبلغ هذا الحد 0,30 لـ SmolLM3-3B و0,35 لـ OLMo3-7B.

كيف يعمل LexFrame

يقرّب الإطار المرجعي المعجمي (Lexical reference frame) نظام الإسناد الأصلي للنموذج. تُمرَّر الحالة عبر الطبقات المتبقية من النموذج نفسه. وتُجرى بين المواضع جولات انتباه بعدد محدد، أما بقية المساهمات فيُستعاض عنها بناتج انتباه نموذجي. لا يوجد ضبط للطريقة على مخرجات النموذج، ولا تُدرَّب المعاملات على تنبؤاته. وفي الصيغة LexFrame[1] يشير الرقم، بحسب الوصف، إلى عدد جولات الانتباه، أي أن الإطار من الرتبة الأولى.

تُقرأ النتيجة في أساس معجمي، أي بدلالة رموز (tokens) المعجم. ولذلك تحصل كل حالة وسيطة على تفسير بالوحدات نفسها التي يصدر بها النموذج إجابته.

ماذا أظهرت القياسات

قارن المؤلفون LexFrame[1] بالعدسات وبـ attribution patching على نموذجين. وهذه هي النتائج المعلنة:

• تماسك LexFrame[1] في منتصف العمق: 0,97 لدى SmolLM3-3B و0,97 لدى OLMo3-7B؛
• السقف لأي عدسة باتجاهات ثابتة: 0,30 و0,35؛
• الانحراف عن مخرجات النموذج: ضمن 0,16 نات؛
• إسناد التنبؤات بحسب معاملات الإطار أدق منه في attribution patching؛
• الخروج المبكر بناءً على القراءات الواثقة يتيح تخطي 0,45 من الطبقات لدى SmolLM3-3B و0,42 لدى OLMo3-7B، في حين لا تتخطى العدسات تقريبًا أي طبقة.

ويشير المؤلفون بصورة منفصلة إلى أن الأساس المعجمي يتيح توجيه التنبؤ دون المساس ببقية الرموز. وهذا ما يميّزه عن الإزاحة الفجة للتنشيطات، التي عادةً ما تشوّش التوزيع بأكمله.

أين يفيد ذلك عمليًا؟

أهم ما في الأمر بالنسبة إلى قابلية التفسير أن أداة واحدة تحل ثلاث مهام: قراءة الحالة، والإسناد، والتوجيه. وكانت هذه المهام تُعالَج سابقًا بطرق مختلفة تقوم على افتراضات مختلفة.

أما في الاستدلال (inference) فالأكثر إثارة هو الخروج المبكر. فإذا طابقت القراءة الواثقة في طبقة وسيطة إجابة النموذج، يمكن عدم حساب بقية الطبقات. وبحسب الأرقام المعلنة، يبلغ ذلك قرابة نصف العمق لدى النموذجين اللذين جرى اختبارهما. وهذا توفير كبير في بيئة الإنتاج، لكن للدراسة تحفظات. فقد اختبر المؤلفون نموذجي 3B و7B فقط، وقيس جودة الخروج المبكر في الملخص بمدى القرب من مخرجات النموذج، لا بمقاييس المهام من البداية إلى النهاية (end-to-end). وقبل التعويل على تسريع في خدمة فعلية، ينبغي الاطلاع على الشيفرة وعلى سلوك الطريقة مع نماذج أكبر وسياقات أطول.

وينبغي لباحثي الأمان والتنقيح أن يمعنوا النظر في التوجيه الموضعي. فإذا كان الأساس المعجمي يغيّر تنبؤًا واحدًا فعلًا دون أن يمس الرموز المجاورة، أمكن استخدامه في تعديلات محلية للسلوك وفي اختبار الفرضيات السببية حول كيفية وصول النموذج إلى إجابته.