مؤلف LANN-4 يُظهر: إعادة التدريب المتكرر لنموذج لغوي صغير يصطدم بسقف

إذا دُرِّب نموذج لغوي صغير بالأمثلة نفسها عدة جولات متتالية، فلن يتحسن من جولة إلى أخرى. تحقق الجولة الأولى مكسباً ملحوظاً، ثم يتوقف التحسن. هذا ما خلص إليه كاتب سلسلة ملاحظات على Habr، وتجري تجاربه على نموذج يعمل على بطاقة رسومات منزلية عادية. التجربة التالية ستستهلك نحو يوم من وقت GPU، ويطلب المؤلف من القراء قبلها البحث عن نقاط الضعف في خطة التحقق.

لماذا بدأت هذه التجارب

تناول المؤلف في مقالته الأولى سؤالاً: هل يمكن لنموذج صغير أن يزداد ذكاءً مع الوقت دون زيادة عدد المعاملات؟ وبدلاً من تضخيم الأوزان، راهن على ثلاثة أمور: الذاكرة، والتدريب الإضافي الدقيق، والتحقق من الإجابات. وفي النص الثاني كشف إلى أين يقود ذلك. فالتجارب خطوات نحو معمارية LANN-4، وهي شبكة عصبية تتعلم طوال «حياتها». ويُفترض أن يكون لها «دماغ» صغير ثابت لا يتغير وذاكرة مفصولة عنه في الخارج.

ويوضح المؤلف منذ البداية أن LANN-4 نفسها غير موجودة بعد. فالمعمارية لم تُختر ولم تُبنَ، والنماذج في التجارب مجرد أدوات اختبار. ولا يتضمن المنشور منتجاً جاهزاً ولا نتائج اختبارات قياسية (بنشمارك) للنظام الجديد. إنه تقرير بحثي، ونتيجته سلبية.

ما الذي لم ينجح

كان الاختبار بسيطاً: هل يحدث أثر تراكمي إذا دُرِّب النموذج نفسه على الأمثلة مرات كثيرة متتالية؟ لم يحدث تراكم. ويمكن تلخيص ما يرد في النص على النحو التالي:

• حجم النموذج: يتسع لبطاقة رسومات منزلية عادية؛
• الجولة الأولى من التدريب الإضافي: تحسن ملحوظ في الجودة؛
• الجولات اللاحقة: يتوقف التحسن، ويُبلغ السقف بسرعة؛
• استنتاج المؤلف: إعادة التدريب الإضافي البسيطة لا تحوّل النموذج الصغير إلى نظام يتحسن طوال حياته؛
• كلفة الاختبار الحاسم: نحو يوم من عمل بطاقة الرسومات.

لم تُكشف أسباب التوقف في الملخص التمهيدي، ويبدو أنها تُناقش في النص الأساسي. وتشير أدبيات التعلم المستمر عادةً إلى نسيان ما سبق تعلمه، والتشبع بالبيانات المتشابهة، وبلوغ حدود سعة النموذج نفسه. لكن هذا سياق عام وليس من أقوال المؤلف. ولا يمكن معرفة أي هذه التفسيرات هو الذي انطبق هنا من الملخص التمهيدي وحده.

لماذا هذه النتيجة مفيدة

نادراً ما تُنشر النتائج السلبية في تجارب الذكاء الاصطناعي المفتوحة، مع أنها توفر على الآخرين وقتهم. وهي هنا تمس سؤالاً عملياً. ففكرة «دماغ صغير ثابت مع ذاكرة خارجية» جذابة، لأنها تعد بتعلّم دون إعادة تدريب جميع الأوزان، وبالعمل على عتاد استهلاكي. أما إذا كان النموذج نفسه يكف عن استيعاب الجديد بعد التكرار الأول، فإن العبء يقع كله على الذاكرة الخارجية وعلى آلية التحقق من الإجابات. وإلى هناك بالذات ينقل المؤلف تركيزه.

ويستحق الشكل نفسه ذكراً منفصلاً: فالمؤلف لا يطلق التشغيل الحاسم مباشرة، بل ينشر تصميمه مسبقاً لتُنتقد. ويوم واحد على بطاقة رسومات واحدة ليس مكلفاً جداً، لكنه على عتاد منزلي يوم كامل لا تُجرى فيه تجارب أخرى. وخطأ في صياغة التجربة سيكلّف أكثر من الحسابات نفسها.

ماذا يفعل الممارسون بهذه النتيجة

إذا كنت تُدرّب نماذج صغيرة لمهامك الخاصة، فيمكن استخلاص ثلاثة أمور من هذه الملاحظة. لا تفترض أن الجولات المتكررة على البيانات نفسها ستعطي مكسباً مماثلاً: قِس الجودة بعد كل جولة على مجموعة بيانات محجوزة، وتوقف حين يصل المنحنى إلى مرحلة الثبات. واحتفظ بالتحقق من الإجابات منفصلاً عن بيانات التدريب، وإلا فقد تحسب السقف تقدماً أو العكس. وإذا كان موضوع التعلم المستمر يهمك، فاطّلع على المقالة الأصلية على Habr وحاول العثور على ثغرات في خطة التجربة الحاسمة: فالمؤلف يطلب ذلك صراحةً قبل التشغيل.