Google تُعلّم نماذج اللغة "النوم" لنقل المعرفة من الذاكرة إلى الأوزان

Google تُعلّم نماذج اللغة "النوم" لنقل المعرفة من الذاكرة إلى الأوزان

نشرت Google Research إطار العمل SLEEP، وهو طريقة لتعليم نماذج اللغة معلومات جديدة بحيث لا تفقد ما كانت تعرفه سابقًا. وقد نشأت هذه الفكرة من معضلتين قديمتين في التعلم المستمر.

المعضلة الأولى هي النسيان الكارثي: عندما يُعاد تدريب النموذج على مهمة جديدة، تُعيد تحديثات الأوزان كتابة ما كان مهمًا للمهام السابقة. والمعضلة الثانية هي أن المعرفة المستمدة من نافذة السياق لا تتحول إلى ذاكرة دائمة. فما دامت المعلومة موجودة في الطلب، يستخدمها النموذج، لكن بانتهاء السياق تختفي. والاحتفاظ بسياق طويل أمر مكلف، لأنه يتطلب معالجته من جديد وتخزينه في الذاكرة العشوائية مع كل طلب.

اليقظة، النوم، و"الأحلام"

يُقسّم SLEEP عمل النموذج إلى وضعين.

• اليقظة - يستقبل النموذج البيانات المُدخلة ويُخزّن المعلومات في ذاكرة قصيرة المدى، كما هو معتاد.
• النوم - يتوقف استقبال البيانات الجديدة. يُنشّط النموذج وحدات ذاكرة إضافية من نظام MoE (خليط من الخبراء)، وينقل المعرفة المتراكمة إلى أوزانها، محاولًا التأثير بأقل قدر ممكن على ما تم تثبيته مسبقًا. وبعد اكتمال النقل، تُفرَّغ الذاكرة المؤقتة.

وتُوصف بشكل منفصل مرحلة "الأحلام": حيث تُولّد تركيبات عشوائية من الخبراء أمثلتها التدريبية الخاصة، ويختار النظام منها الأكثر فائدة لاستخدامها في مواصلة التدريب. أي أن النموذج يُحضّر لنفسه، إلى حد ما، المادة اللازمة للتثبيت دون الحاجة إلى مجموعة بيانات خارجية في كل دورة.

وتفصيل مهم هنا: "النوم" هو دورة إعادة تدريب مُتحكَّم بها وفق قواعد يضعها الباحثون، وليس إعادة بناء ذاتية للنموذج. فالبنية والكود يبقيان ثابتين، ولا يتغير سوى أوزان وحدات MoE المخصصة.

ما أظهرته التجارب

اختبر الفريق هذا النهج على ثلاث مهام مختلفة.

• BABILong - اختبار للتعامل مع سياق طويل جدًا. احتفظ النموذج بمعلومات من متتاليات تصل إلى 10 ملايين رمز، ليس عن طريق توسيع نافذة السياق، بل بتثبيت المعرفة مباشرة في المعاملات.
• التدريب المتسلسل على الترجمة - اختبار كلاسيكي للنسيان. تُتعلَّم اللغات بالتتابع، وعادةً ما تنخفض جودة الأداء في اللغات الأولى بشكل ملحوظ بعد تعلم لغات جديدة في مثل هذا النوع من الاختبارات. ومع SLEEP، كان الانخفاض شبه معدوم.
• الرياضيات (AIME) - دقة بلغت 79.2% في AIME 2024 و69% في AIME 2025. والفارق بين السنتين ليس مفاجئًا: فمثل هذا التباين موجود في نماذج عديدة على هاتين المجموعتين من المسائل، ومن السابق لأوانه استخلاص أسباب هذا التباين من دراسة واحدة فقط. والأهم هو أن نقل المعرفة إلى الأوزان لم يُضعف قدرة النموذج على الاستدلال الرياضي.

ماذا يعني ذلك لفرق الهندسة

السؤال الجوهري هو التكلفة. فنقل المعرفة إلى الأوزان يتطلب دورات تدريب إضافية، وبالتالي موارد حسابية يجب التخطيط لها: فخلال "النوم" لا يُعالج النموذج الطلبات. وسيتعين تحديد وتيرة تشغيل هذه الدورة، وكمية الذاكرة التي تُجمَّع قبلها، وعدد وحدات MoE المخصصة للتخزين - وكل هذه المعايير تُحدَّد بقواعد يضعها المطورون، وسيكون عليهم ضبطها بأنفسهم حسب حمل العمل الخاص بهم.

وتكمن الفائدة المحتملة في اقتصاديات السياق. فإذا تم تثبيت قاعدة معرفة لشركة، أو محادثة طويلة، أو وثائق تُحدَّث باستمرار، في الأوزان، لن يكون ضروريًا معالجة ملايين الرموز عبر النموذج في كل مرة ودفع تكلفة إعادة معالجتها. وبالنسبة للعملاء الذين يعملون بسجل طويل، فهذا يعني توفيرًا مباشرًا في الذاكرة وزمن الاستجابة.

ويبقى هناك خطر لم يُحسم في وصف الإطار: فالتثبيت في الأوزان أصعب تتبعًا وإلغاءً من وثيقة في السياق أو في قاعدة بيانات خارجية. وفي القطاعات الخاضعة للتنظيم، سيتعين التفكير بشكل منفصل في كيفية التحقق من ما ثبّته النموذج خلال "نومه"، وحذفه عند الحاجة. وفي هذه المرحلة، ينبغي النظر إلى SLEEP كنتيجة بحثية قوية ومرشح لتجارب تجريبية في مشاريع ذات بيانات تُحدَّث باستمرار، لا كمكوّن جاهز للمنتجات.