هل يمكن تعليم نموذج اللغة أثناء القراءة مباشرة؟ اختبار على جميع البنى المعمارية

هل يمكن تعليم نموذج اللغة أثناء القراءة مباشرة؟ اختبار على جميع البنى المعمارية

طرح فريق من الباحثين سؤالًا بسيطًا: ماذا لو تعلّم نموذج اللغة بالفعل من نص طويل أثناء قراءته — عن طريق تنفيذ خطوات صغيرة جدًا من الانحدار التدرجي عند كل جزء جديد من النص، بدلًا من مجرد تمريره عبر نافذة الانتباه؟ الفكرة ليست جديدة: فقد جُرّبت منذ عام 2019 على بنية Transformer-XL، وفي عام 2024 على نماذج صغيرة تتراوح بين 150 مليون ومليار معلمة. لكن منذ ذلك الحين، تقدّمت الصناعة كثيرًا: ظهرت نماذج instruct بحجم 2-30 مليار معلمة، وبنى هجينة ذات انتباه خطي، ونماذج لغوية قائمة على الانتشار. ولم يُقاس أثر هذه التقنية على هذه النماذج من قبل على الإطلاق.

ولتصحيح ذلك، اعتمد الباحثون وصفة بالحد الأدنى: حرّروا فقط إسقاطات الخروج في طبقات MLP في الربع الأخير من كتل النموذج، وأبقوا نافذة الانتباه عند 2000 رمز، ولم يقوموا بأي إعادة تدريب من الصفر — بل اتخذوا خطوة واحدة من SGD بعد كل جزء من النص مكوّن من 128 رمزًا، بناءً على خطأ التنبؤ بالرمز التالي. لا ضبط دقيق، ولا سحر — مجرد اختبار نظيف لما تضيفه خطوة التدرج فوق ما يستطيع النموذج فعله بالفعل عبر الانتباه.

المحولات التقليدية تستفيد منها حقًا

على النماذج ذات الانتباه التقليدي softmax — Qwen3-1.7B وQwen3-4B وGemma-4-E4B — كان الأثر ثابتًا وملحوظًا: انخفض خطأ التنبؤ بالنص بنسبة 5-8% بشكل مطلق في كل واحد من 98 كتابًا تم اختبارها، وفي جميع أحكام المحاكم البالغ عددها 100 في مجموعة الاختبار. والأهم من ذلك أن هذا كان أفضل من إعطاء النموذج الوثيقة كاملة دفعة واحدة (32 ألف رمز) دون أي تعديل للأوزان — حيث حذفت خطوة التدرج 0.17 نات إضافية من الخطأ في الحالات التي لم يُضف فيها الانتباه التقليدي شيئًا. يبدو أن الانتباه "ينسخ" النص الذي رآه النموذج سابقًا، بينما تُغيّر خطوة التدرج طريقة النموذج نفسه — فتُكيّف مفرداته وأسلوبه مع الوثيقة.

النماذج الهجينة لا تحتاجها تقريبًا

المشهد مختلف تمامًا مع النماذج ذات بنية Gated-DeltaNet — وهي نماذج هجينة تستخدم فيها ثلاث من كل أربع كتل الانتباه الخطي بدلًا من الانتباه التقليدي (Qwen3.5-4B، Qwen3.8-27B). فقد كانت المكاسب من تعديل التدرج أقل من 1%، وعند اختيار معدل تعلّم غير موفق، بدأ النموذج فعليًا يتنبأ بالنص بشكل أسوأ. والسبب أن الانتباه الخطي في هذه الكتل مصمم بالفعل كـ"ذاكرة سريعة": فهو يُحدّث حالته الداخلية باستمرار أثناء القراءة وفق قاعدة delta-rule، أي أنه يتكيّف من نفسه بشكل مستمر مع الوثيقة. فخطوة التدرج الإضافية تكرر فقط ما تقوم به البنية مجانًا أصلًا.

نماذج الانتشار تستفيد بشكل أقوى — لكن مع تحفظات

على نماذج اللغة القائمة على الانتشار (Nemotron-Diffusion-8B وDiffusionGemma-26B)، أعطت نفس الحيلة نتيجة أوضح حتى — مكاسب بنسبة 8% و17-20% على التوالي. لكن تطلّب ذلك خفض معدل التعلّم والحدّ من مقدار كل تحديث للأوزان: فعند استخدام المعدل المعتاد للمحولات، كان النموذج يتباعد سريعًا — وارتفع الخطأ من 9.3 إلى 41.6.

القيد الأساسي: هذه ليست ذاكرة، بل أسلوب

في ثمانية اختبارات جادة لفهم الوثائق الطويلة (RULER، HotpotQA، MuSiQue، SCOTUS وغيرها)، لم يُرجع تعديل الأوزان على الوثيقة الكاملة أي نقطة دقة فُقدت عند اقتطاع السياق. أي أن النموذج يتنبأ بالنص فعلًا بدقة أكبر، لكنه لا يحفظ حقائق محددة بحيث يمكن استرجاعها لاحقًا. فإذا "سُجّلت" الحقيقة مباشرة عبر التدريب على الرمز التالي، يحفظ النموذج صيغة الجملة لا الحقيقة نفسها: فعند السؤال العادي، يُتعرّف على 30% فقط من الحقائق مقابل 80% عند تقديمها مباشرة ضمن السياق، كما تتضرر القدرات الرياضية — بانخفاض 36-38 نقطة في اختبار GSM8K.

وهناك طريقة أخرى تنجح: فبدلًا من تسجيل الحقيقة مباشرة، قام الباحثون بتقطير استنتاجات النموذج نفسه (التي تم الحصول عليها، مثلًا، عبر سلسلة من أسئلة التوضيح) في محوّل LoRA مُصغّر. وهذا التسجيل لـ"السلوك" بدلًا من "الحقيقة" يصل إلى جودة العمل بالسياق الكامل (0.83-0.88 مقابل 0.84-0.88) ولا يُفسد القدرات الرياضية للنموذج.

والاستنتاج للمهندسين الذين يفكرون في التعلّم أثناء التنفيذ: هذه التقنية منطقية فقط مع المحولات التقليدية ذات انتباه softmax ومع نماذج الانتشار، وذلك فقط كوسيلة لتكييف أسلوب النموذج ومفرداته مع نص طويل، لا كبديل عن البحث الفعلي عن الحقائق في الوثيقة. أما بالنسبة للبنى الهجينة ذات الانتباه الخطي، فهي زائدة عن الحاجة، وفيما يتعلق بتسجيل حقائق محددة، فمن الأصح استخدام تقطير الاستنتاجات بدلًا من التدريب المباشر على النص.