نماذج تتعلم أثناء القراءة: خطوة SGD واحدة تخفض الخسارة بنسبة 8% وتتفوق على سياق 32k

إذا سُمح لنموذج لغوي بإجراء خطوات تدرّج مباشرة على النص الذي يقرؤه، يصبح أفضل في التنبؤ ببقية المستند. تُعرف هذه التقنية باسم dynamic evaluation، وهي قديمة نسبيًا. لكن قياس أثرها نادر على المعماريات الهجينة ذات الانتباه الخطي، وعلى النماذج اللغوية الانتشارية، وعلى المعايير القياسية للسياق الطويل. وهذا ما فعله Surya Saka. في النماذج ذات انتباه softmax التقليدي تنخفض الخسارة على التوكن التالي بنسبة 5–8%. والنموذج ذو النافذة من 2k توكن والأوزان المحدَّثة يتفوق على النموذج نفسه مجمَّدًا حتى لو عُرضت عليه 32k توكن كاملة. أما في المهام التي تتطلب العثور على حقيقة داخل مستند طويل، فلا يوجد أي مكسب على الإطلاق.

خطوة SGD واحدة لكل 128 توكن بدلًا من السياق الطويل

الإعدادات بسيطة. خطوة SGD واحدة لكل مقطع (chunk) من 128 توكن، وتُحدَّث فقط إسقاطات المخرجات في MLP ضمن الربع الأخير من الكتل، دون أي تدريب مسبق، ونافذة انتباه بطول 2k توكن. هذه تفصيلة مهمة للبنية التحتية: فـ KV-cache لسياق 2k أقصر بنحو 16 مرة منه لسياق 32k، ولا يُحسب التدرّج إلا على ذيل الشبكة. على Qwen3-1.7B وQwen3-4B وGemma-4-E4B بلغ المكسب في الـ loss نسبة 5–8% لكل مستند.

وخُصص اختبار منفصل لمهام استخراج المعلومات. شغّل المؤلف RULER وBABILong وLongBench-v2 وSCOTUS وHotpotQA وMuSiQue وContractNLI، إضافة إلى إكمال الاقتباسات، بما لا يقل عن 100 مثال لكل اختبار وعلى حجمين من النماذج. الأوزان المحدَّثة على المستند الكامل لم تستعد أي نقطة من الدقة التي فُقدت بسبب اقتطاع السياق. خلاصة المؤلف: التكيف يضبط الأسلوب والمفردات، ولا يتولى استخراج الحقائق.

النماذج الهجينة تتكيف أصلًا، والانتشار يستفيد بضعف أكبر

في النماذج الهجينة المبنية على Gated-DeltaNet، وهي Qwen3.5-4B وQwen3.8-27B، لا يتجاوز التحسن 1% مهما كان learning rate. والتفسير بسيط: كتل الانتباه الخطي تحدّث حالتها بنفسها أثناء القراءة، أي أنها تجري التكيف ذاته دون تدرّج خارجي. لذلك لا تضيف طبقة SGD الإضافية هنا شيئًا يُذكر.

تتصرف النماذج الانتشارية ذات القناع بشكل مختلف. فالآلية تنتقل إليها، لكن بشرط خفض learning rate وقصّ التحديثات (clipping). عندها يكون الأثر أكبر منه في النماذج ذاتية الانحدار.

• Qwen3-1.7B وQwen3-4B وGemma-4-E4B (انتباه softmax): انخفاض الـ loss بنسبة 5–8%، والنتيجة أفضل من نموذج مجمَّد بسياق 32k.
• Qwen3.5-4B وQwen3.8-27B (هجينة Gated-DeltaNet): أقل من 1% مهما كان learning rate.
• Nemotron-Diffusion-8B (انتشار بقناع): نحو 8%.
• DiffusionGemma-26B (انتشار بقناع): 17–20%.
• الإعدادات: خطوة SGD واحدة لكل 128 توكن، وإسقاطات MLP في الربع الأخير من الكتل، ونافذة 2k.
• المعايير التي لم تُظهر مكسبًا في الدقة: RULER وBABILong وLongBench-v2 وSCOTUS وHotpotQA وMuSiQue وContractNLI وcitation completion.

الحقائق لا تُكتب في الأوزان، أما الاستنتاجات فتُكتب

الفكرة الساذجة هي: نسجّل الحقيقة بتدرّج على next-token loss فيحفظها النموذج. لكن عمليًا يحفظ النموذج صيغة الـ prompt. ففي الـ prompting عبر المحادثة يتذكر النموذج 30% من الحقائق مقابل 80% عند تقديمها في السياق. والثمن مرتفع أيضًا: على GSM8K يخسر النموذج 36–38 نقطة مهما كانت جرعة التحديث.

البديل الذي يقترحه المؤلف يسجّل الاستنتاج بوصفه سلوكًا. تُقطَّر أحكام النموذج نفسه، المشروطة بالاستنتاج، إلى محوّل (adapter) منخفض الرتبة. وعلى 100 لعبة بلغت النتيجة 0.83 و0.88 مقابل 0.84 و0.88 للاستنتاج نفسه مقدَّمًا في السياق. ولا يتغير أداء GSM8K في هذه الحالة. ويمكن أن يأتي الاستنتاج نفسه من inquiry loop، وهي حلقة يبحث فيها النموذج عن الجواب بطرح أسئلة وفق معيار information gain.

أين يمكن دمج هذا في حزمة الاستدلال

بالنسبة إلى الفرق التي تشغّل نماذج softmax على مستندات طويلة، قد تحلّ dynamic evaluation محل جزء من السياق المكلف: نافذة قصيرة مع تحديث خفيف عبر الإنترنت (online) تعطي loss أقل من 32k توكن على أوزان مجمَّدة. لكنها تناسب النمذجة اللغوية وتطويع الأسلوب والعمل مع المفردات المتخصصة، مثل النصوص القانونية أو الطبية. أما في RAG والبحث عن الحقائق في العقود فلا فائدة منها، وما زال السياق أو الذاكرة الخارجية ضروريًا هناك.

وفي المعماريات الهجينة لن تعوّض طبقة SGD المنفصلة تكلفتها. وفي النماذج الانتشارية تبدو واعدة، لكنها تتطلب ضبط learning rate وclipping. أما إذا كان المطلوب تثبيت معرفة محددة في النموذج، فتقطير الاستنتاج إلى محوّل LoRA أفضل من كتابة الحقائق مباشرة عبر الـ loss: فهو يحافظ على الجودة بمستوى السياق ولا يُفسد القدرات الرياضية. تقع الدراسة في 19 صفحة و13 شكلًا و12 جدولًا، ونُشرت على arXiv برقم 2610.33025.