بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

استعادة موضع التوكن في ترانسفورمر NoPE بنسبة 99%، وفي RWKV-7 بنسبة 29–42%

درّب الباحث 12 نموذجًا صغيرًا، هي RWKV-7 وترانسفورمرات بترميز RoPE وأخرى بلا ترميز موضعي (NoPE)، وفحص كل طبقة بمجسّ خطي. استعاد المجسّ رقم التوكن في النص من NoPE بنسبة 99% (R²)، ومن RoPE بنسبة 38–51%، ومن RWKV-7 بنسبة 29–42%. أما البنية النحوية والمعنى فتُقرأ بصورة متقاربة في جميع النماذج عند تساوي loss. لذلك قارنوا بين النماذج عند loss متساوٍ. وإلا فقد ينسب المرء «الفوز» إلى انخفاض الخطأ فقط، لا إلى البنية المعمارية.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
استعادة موضع التوكن في ترانسفورمر NoPE بنسبة 99%، وفي RWKV-7 بنسبة 29–42%
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1أنهى RWKV-7 التدريب بقيمة loss أقل من RoPE بمقدار 0.10–0.13، ولذلك لا يصح مقارنة النتائج النهائية
حقيقة رئيسية #2بلغت مجسّات النحو ذروتها في RWKV قبل غيره بـ1–4 طبقات، وهذا مجرد مؤشر أولي
حقيقة رئيسية #3الكود ونقاط الحفظ (checkpoints) للبذرة 0 (86.5 غيغابايت) مفتوحة بترخيص Apache 2.0

تخيّلوا أنكم تقارنون نسختين من إعدادات RAG، فتجدون أن الجديدة تجيب بدقة أكبر. لا داعي للاحتفال بعد، فقد تكون النسخة الجديدة «ضُبطت» مدة أطول فحسب، فتتفوق في أي مقياس، بينما لا دخل للفكرة نفسها بالأمر. هذه المشكلة بعينها واجهت باحثًا مستقلًا قارن بنية RWKV-7 (نموذج تكراري بلا آلية انتباه) بالترانسفورمرات المعتادة.

درّب الباحث 12 نموذجًا صغيرًا لا تختلف إلا في البنية المعمارية، وفحص كل طبقة في كل نقطة حفظ (checkpoint). وكانت خلاصته الأهم أن الفارق الأوضح على هذا النطاق يكمن في طريقة تخزين موضع التوكن، أي رقم الكلمة في النص. أما في النحو والمعنى، فتبدو النماذج متشابهة عند تساوي خطأ التدريب (loss).

والرقمان البارزان في العنوان، 99% و29–42%، هما مقياس R²، أي مدى دقة نموذج بسيط في تخمين رقم التوكن من الحالة المخفية للطبقة (100% تعني الدقة التامة).

ما الذي قورن وكيف

اعتمد الباحث ثلاث طرق لإعطاء النموذج ترتيب الكلمات. يحتفظ RWKV-7 بحالة تكرارية، والترتيب مدمج في طريقة تحديثها. أما ترانسفورمر RoPE فيحصل على الموضع عبر تدوير الاستعلامات (queries) والمفاتيح (keys) داخل آلية الانتباه. وأما ترانسفورمر NoPE فلا يملك أي ترميز موضعي، ومصدره الوحيد للترتيب هو القناع السببي (causal mask)، أي المنع من النظر إلى الكلمات التالية.

جرّب الباحث حجمين (56.6M و115M معامل) ولغتين (الروسية والإنجليزية)، وخصّص لكل نموذج 1–2 مليار توكن. يتألف المدوّنة النصية بنسبة 76% تقريبًا من ويكيبيديا. وحُفظت 21 نقطة حفظ لكل تشغيل، وتتوفر لـ9 من أصل 12 تشغيلًا بذرة تهيئة (seed) ثانية.

والأداة المستخدمة هي المجسّات الخطية. المجسّ نموذج بسيط يحاول تخمين خاصية ما من الحالة المخفية المجمّدة للتوكن: رقم الموضع، أو الدور في الجملة، أو الحالة الإعرابية، أو زمن الفعل، أو النبرة. وإذا نجح المجسّ في ذلك، فالمعلومة موجودة في الطبقة «على السطح». ويستدرك الباحث بأن المجسّ يُظهر ما يمكن قراءته، لا ما يستخدمه النموذج فعليًا.

الموضع يُخزَّن بطرق مختلفة

حقّقت أفضل طبقة في NoPE قيمة R² بلغت 99%، وفي RoPE 38–51%، وفي RWKV-7 29–42%. ويتكرر الترتيب نفسه في اللغتين وفي الحجمين وفي جميع البذور. ويصل NoPE إلى R² بنحو 98% منذ الطبقة الثالثة، ويحافظ على قيمة لا تقل عن 85% حتى الطبقة 11، ثم تنخفض إلى 22–44% في الطبقة الأخيرة.

وثمة تفصيل لافت: حتى الترانسفورمر المهيأ عشوائيًا يقرأ الموضع بقيمة R² تبلغ 44–56%، لأن القناع السببي وحده يعطي إشارة. وفي RoPE ينخفض هذا المؤشر أثناء التدريب، ففي النموذج الروسي 56.6M تراجع من 51% إلى 38%. ويفترض الباحث أن الموضع، ما دام يُمرَّر مباشرة إلى الانتباه، لم تعد هناك حاجة إلى تخزينه في التيار المتبقي (residual stream)، لكنه لم يتحقق من ذلك.

وتُظهر عمق الكلمة في شجرة الاعتماد النحوي الترتيب نفسه، لكن الفجوة أصغر بكثير، إذ تبلغ 2–6 نقاط مئوية. وترتبط العمق برقم الكلمة في الجملة، ولذلك يرى الباحث أن هذا هو التأثير نفسه وليس اكتشافًا منفصلًا.

لماذا تهمّ المقارنة عند loss متساوٍ

قيمة val-loss النهائية في RWKV-7 أقل منها في RoPE بمقدار 0.10–0.13، ولذلك فمقارنة نقاط الحفظ النهائية غير منصفة، فالنموذج ذو الخطأ الأقل يبدو «أذكى» في أي مجسّ تقريبًا. مثال ذلك أن RWKV في المرحلة النهائية يميّز المتجانسات اللفظية الروسية بصورة أفضل (87.6% مقابل 81.9%)، لكن هذا التفوق يتقلص أو يختفي عند تساوي loss. لذا استكمل الباحث نتائج المجسّات بالاستيفاء (interpolation) بحسب loss بين نقاط الحفظ الـ21، وقارن البنى عند أربعة مستويات من loss. ولم يعتبر الفرق ثابتًا إلا إذا تطابق في البذرتين، وحمل الإشارة نفسها عند جميع المستويات، وتجاوز التباين بين البذور.

أما الفروق الأخرى فصغيرة، وتتراوح بين 0.3 و3 نقاط مئوية. فـNoPE أضعف قليلًا في دور الكلمة في الجملة وزمن الفعل وصيغته (بمقدار 0.4–2.3 نقطة مئوية)، بينما لا توجد فروق تُذكر بين RWKV وRoPE. وفي النماذج الإنجليزية يتفوق RWKV قليلًا على NoPE في المتجانسات اللفظية والنبرة، لكن المجموعات صغيرة جدًا (16 كلمة لكل معنى)، ويعتبر الباحث الإشارة ضعيفة.

وهناك مؤشر أولي أيضًا: تقع ذروة مجسّات النحو في RWKV في طبقات أدنى بمقدار 1–4 طبقات منها في الترانسفورمرات. لكن المنحنيات مسطّحة عند القمة، ولم يُقدَّر التباين في رقم الطبقة بين البذور.

ماذا نفعل عمليًا

الدرس منهجي قبل كل شيء. عند مقارنة البنى المعمارية أو نقاط الحفظ أو الإعدادات، ثبّتوا loss لا عدد الخطوات ولا حجم النموذج، ولا تصدّقوا عبارة «البنية X تفهم Y بصورة أفضل» دون هذا الضبط.

والقيود جدّية: النماذج صغيرة، والبذور اثنتان ولا تغيّر إلا التهيئة، ولم يُغيَّر ترتيب البيانات، واختبارات الدلالة كتبها الباحث بنفسه، ولم يتحقق من تسرّب البيانات إلا في النحو الروسي. ولا تقول النتيجة شيئًا عن نماذج أكبر من 115M، ولا عن أيّها يستخدم الموضع على نحو أفضل.

كل شيء مفتوح: كود المجسّات والنتائج على GitHub بترخيص Apache 2.0، وجميع نقاط الحفظ الـ21 لكل تشغيل من التشغيلات الـ12 للبذرة 0 (86.5 غيغابايت) على Hugging Face. أما كود التدريب والإعدادات فلم يُنشرا بعد، ولذلك يمكن إعادة تجربة المجسّات فورًا، بينما لا يمكن إعادة التدريب نفسه.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي قورن وكيف؟

اعتمد الباحث ثلاث طرق لإعطاء النموذج ترتيب الكلمات. يحتفظ RWKV-7 بحالة تكرارية، والترتيب مدمج في طريقة تحديثها. أما ترانسفورمر RoPE فيحصل على الموضع عبر تدوير الاستعلامات (queries) والمفاتيح (keys) داخل آلية الانتباه. وأما ترانسفورمر NoPE فلا يملك أي ترميز موضعي، ومصدره الوحيد للترتيب هو القناع السببي (causal mask)، أي المنع من النظر إلى الكلمات التالية. جرّب الباحث حجمين (56.6M و115M معامل) ولغتين (الروسية والإنجليزية)، وخصّص لكل نموذج 1–2 مليار توكن. يتألف المدوّنة النصية بنسبة 76% تقريبًا من ويكيبيديا.

ما أبرز التفاصيل حول الموضع يُخزَّن بطرق مختلفة؟

حقّقت أفضل طبقة في NoPE قيمة R² بلغت 99%، وفي RoPE 38–51%، وفي RWKV-7 29–42%. ويتكرر الترتيب نفسه في اللغتين وفي الحجمين وفي جميع البذور. ويصل NoPE إلى R² بنحو 98% منذ الطبقة الثالثة، ويحافظ على قيمة لا تقل عن 85% حتى الطبقة 11، ثم تنخفض إلى 22–44% في الطبقة الأخيرة. وثمة تفصيل لافت: حتى الترانسفورمر المهيأ عشوائيًا يقرأ الموضع بقيمة R² تبلغ 44–56%، لأن القناع السببي وحده يعطي إشارة. وفي RoPE ينخفض هذا المؤشر أثناء التدريب، ففي النموذج الروسي 56.6M تراجع من 51% إلى 38%.

ما أبرز التفاصيل حول لماذا تهمّ المقارنة عند loss متساوٍ؟

قيمة val-loss النهائية في RWKV-7 أقل منها في RoPE بمقدار 0.10–0.13، ولذلك فمقارنة نقاط الحفظ النهائية غير منصفة، فالنموذج ذو الخطأ الأقل يبدو «أذكى» في أي مجسّ تقريبًا. مثال ذلك أن RWKV في المرحلة النهائية يميّز المتجانسات اللفظية الروسية بصورة أفضل (87.6% مقابل 81.9%)، لكن هذا التفوق يتقلص أو يختفي عند تساوي loss. لذا استكمل الباحث نتائج المجسّات بالاستيفاء (interpolation) بحسب loss بين نقاط الحفظ الـ21، وقارن البنى عند أربعة مستويات من loss.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…