Google تعلّم نماذج LLM «النوم»: SLEEP يثبّت المعرفة في الأوزان، وحتى 10 ملايين توكن

نشرت Google Research إطار SLEEP، وهو نهج جديد للتعلّم المستمر في النماذج اللغوية. يفصل هذا النهج زمنيًا بين استقبال البيانات الجديدة وتثبيتها، على غرار اليقظة والنوم عند الإنسان. وخلال «النوم» تنتقل المعرفة من الذاكرة المؤقتة إلى أوزان كتل MoE إضافية. وأظهر الفريق في التجارب عملًا مع تسلسلات تصل إلى 10 ملايين توكن على BABILong، وتراجعًا شبه معدوم في الجودة عند التدريب المتتابع على الترجمة، ونتيجة 79.2% على AIME 2024 مقابل 69% على AIME 2025.

ثغرتان في ذاكرة النموذج

للتعلّم المستمر مشكلتان قديمتان. الأولى تُعرف بالنسيان الكارثي: يستوعب النموذج معلومات جديدة ويفقد مهارات اكتسبها من قبل. فتحديثات التدرّج الخاصة بالمهمة الجديدة تُعيد كتابة الأوزان المهمة للمهام القديمة.

المشكلة الثانية أن المعرفة الموجودة في نافذة السياق لا تتحول من تلقاء نفسها إلى ذاكرة دائمة. فما دامت المعلومة في الـ prompt يستخدمها النموذج. وحين ينتهي السياق تختفي كل المعلومات. والسياق الطويل مكلف أيضًا: إذ يجب إعادة معالجته وتخزينه في الذاكرة العاملة مع كل طلب. أما إذا سُجّلت المعرفة في المعاملات، فلا تشغل مساحة من السياق، وتصبح متاحة دون إعادة تمريرها.

اليقظة والنوم و«الأحلام»

يتناوب SLEEP بين نمطين.

• اليقظة. يعمل النموذج على البيانات المُدخلة ويحفظ المعلومات في ذاكرة قصيرة المدى.
• النوم. يتوقف استقبال البيانات الجديدة. يفعّل النموذج كتل ذاكرة MoE إضافية وينقل المعرفة إلى أوزانها، بحيث يقلّ المساس بالمعلومات المثبّتة أصلًا. وبعد النقل تُفرَّغ الذاكرة المؤقتة.

تُسمّى إحدى المراحل «الأحلام». تولّد تركيبات عشوائية من الخبراء أمثلة تدريب، ويختار النظام أكثرها فائدة ويستخدمها في مواصلة التعلّم. وهكذا يُعدّ النموذج بنفسه مادة التثبيت، دون مجموعة بيانات خارجية لكل دورة.

وثمة تحفّظ مهم في الوصف: «النوم» هنا دورة إعادة تدريب مضبوطة وفق قواعد يضعها الباحثون. أما بنية النموذج وشيفرته فتبقيان ثابتتين. وهو ليس كائنًا يطوّر نفسه ذاتيًا، بل إجراء منظَّم فوق نموذج MoE اعتيادي.

ماذا أظهرت التجارب

• BABILong. التعامل مع معلومات من تسلسلات تصل إلى 10 ملايين توكن عبر تثبيتها في المعاملات، لا عبر إبقائها في السياق.
• التدريب المتتابع على الترجمة. تراجع شبه معدوم في النتائج على اللغات التي تعلّمها النموذج سابقًا بعد إتقانه لغات جديدة.
• AIME 2024. دقة 79.2%.
• AIME 2025. دقة 69%.

لعل أكثر النتائج دلالة هنا هي الترجمة. فاللغات تُتعلَّم بالتتابع، وهذا اختبار كلاسيكي لقياس النسيان: وعادةً ما تتراجع الجودة على اللغات الأولى بأوضح صورة في هذا الاختبار تحديدًا. وتُظهر نتائج الرياضيات أن تثبيت المعرفة الجديدة لا يُتلف القدرة على الاستدلال. ونلاحظ أيضًا أن النتيجة على AIME 2025 أدنى منها على AIME 2024. وهذا الفارق بين العامين هو نفسه الذي نراه لدى كثير من النماذج، ومن المبكر استخلاص استنتاجات عن أسبابه من منشور واحد.

أين سيصطدم الإطار بالواقع العملي

بالنسبة للمهندسين، السؤال الرئيسي هو التكلفة. فنقل المعرفة إلى الأوزان يعني دورات إعادة تدريب إضافية، أي حوسبة يجب التخطيط لها: فعندما «ينام» النموذج، لا يخدم الطلبات. وسيتعيّن تحديد عدد مرات النوم، وحجم الذاكرة المتراكمة عند كل مرة، وعدد كتل MoE المخصصة للتخزين. وتُحدَّد هذه المعاملات بقواعد الباحثين، وسيكون على الفرق ضبطها بنفسها لتناسب حملها التشغيلي.

يكمن المكسب المحتمل في اقتصاديات السياق. فإذا ثُبّتت معرفة الشركة أو المراسلات الطويلة أو قاعدة مستندات متجددة في الأوزان، فلا حاجة إلى حمل ملايين التوكنات في كل طلب ولا إلى دفع تكلفة إعادة معالجتها. وللوكلاء ذوي تاريخ العمل الطويل، يعني ذلك توفيرًا مباشرًا في الذاكرة وزمن الاستجابة.

ويبقى خطر لا يعالجه الوصف: الكتابة في الأوزان لا يمكن التراجع عنها، ومراجعتها أصعب من مراجعة مستند في السياق أو في قاعدة بيانات خارجية. وفي المجالات الخاضعة للتنظيم، سيلزم بحث مستقل في كيفية حذف المعرفة المثبّتة والتحقق منها. وحتى الآن، ينبغي النظر إلى SLEEP على أنه نتيجة بحثية قوية ومرشح جيد للاختبار في مشاريع البيانات المتجددة باستمرار. لكنه ليس بعد مكوّنًا منتجيًا جاهزًا.