OPST: نموذج يواصل تدريب نفسه على أسئلته الخاصة دون تدخل بشري

هل يمكن تحسين نموذج لغوي دون أن نعرض عليه سؤالًا واحدًا أو إجابة واحدة كتبها إنسان؟ يجيب ليون سيك ولوكاس هوير ويانيك شتريومبلر وكريستيان رايسفيغ وتيمو روبينسكي وفيديريكو تومباري: نعم. نُشر منهجهم On-Policy Self-Training (OPST) في ورقة أولية على arXiv برقم 2610.32770، وفي ملخص Hugging Face Daily Papers. يبني النموذج بنفسه منهجه الدراسي، ويحلّ المسائل بنفسه، ويتطور من خلال ذلك. ولا يحدد الإنسان سوى محاور موضوعية عامة.

من التقطير الذاتي إلى التعلّم الذاتي

أصبح On-policy self-distillation (التقطير الذاتي على السياسة) أسلوبًا عمليًا في مرحلة ما بعد التدريب: إذ يُواصَل تدريب النموذج الأساسي دون معلّم خارجي قوي. يؤدي النموذج نفسه دور المعلّم، لكن بمعلومات «مميّزة» لا تتوافر للطالب في سياقه، مثل حل جاهز أو عرض توضيحي لمسار الاستدلال. يتدرب الطالب على مخرجاته الخاصة ويقترب تدريجيًا من سلوك المعلّم.

لكن في النهج القائمة نقطة ضعف. فالمعلومات المميّزة لا تزال تأتي من أزواج «سؤال — جواب» مرجعية، أو من مجموعات مسائل موسومة، أو من إشارات إشراف أخرى. ويزيل المؤلفون هذا الاعتماد الأخير. فهم يعيدون صياغة التقطير الذاتي بوصفه تعلّمًا ذاتيًا: النموذج نفسه يولّد الأسئلة والأجوبة وعروض الاستدلال.

كيف يضع النموذج مهامه بنفسه

يتألف خط المعالجة في OPST من عدة حلقات:

• أوصاف موضوعية عليا. هي المدخل الخارجي الوحيد. وهي صياغات عامة لمجالات المعرفة دون مسائل محددة.
• أسئلة وأجوبة مولّدة ذاتيًا. يؤلّف النموذج لكل موضوع مجموعته الخاصة من الاستعلامات، أي منهجه الدراسي.
• مسارات استدلال مميّزة. يُنشئ النموذج لكل سؤال عرضًا توضيحيًا للحل. ويعمل هذا العرض بوصفه إشارة «المعلّم» في التقطير الذاتي.
• مرشّح التحقق الزائف. تبقى المسألة فقط إذا أعاد النموذج إنتاج إجابته في سياق جديد وعند إعادة صياغة السؤال. وبذلك تُستبعد الإجابات العشوائية وغير المستقرة، أي الهلوسات.
• تقطير ذاتي على السياسة (On-policy). يجري التدريب على المسارات التي يولّدها النموذج نفسه، لا على بيانات الآخرين.
• Visual OPST. امتداد للمنهج إلى المدخلات المتعددة الوسائط، مع اختباره على مهام Visual Question Answering.

لعل المرشّح هو أهم تفصيل هنا. فبلا وسم خارجي، لا يملك النموذج طريقة لمعرفة ما إذا كان على صواب. ويستبدل المؤلفون الحقيقة بالاتساق الذاتي. فإذا تكررت الإجابة في سياق نظيف وصمدت أمام إعادة الصياغة، فمن المرجح ألا تكون أثرًا عشوائيًا لتوليد واحد. وهذا ليس ضمانًا للصحة، لكنه إشارة جودة رخيصة وقابلة للتوسع.

ما الذي اختُبر وما النتائج

قيّم المؤلفون المنهج على ثلاثة محاور. الأول هو التحسّن داخل المجال الذي تعلّم فيه النموذج ذاتيًا. والثاني هو الحفاظ على المعرفة في المعايير الخارجية عند خلط مجالات التوليد. وهذا اختبار مباشر لـ«النسيان»، فالتعلّم الذاتي على بيانات اصطناعية كثيرًا ما يُفسد ما تعلّمه النموذج سابقًا. والثالث هو الانتقال إلى المدخلات المتعددة الوسائط عبر Visual OPST.

خلاصة المؤلفين: يحسّن OPST الاستدلال اللغوي والمتعدد الوسائط دون أسئلة وأجوبة بشرية، ويتفوق على استراتيجيات التدريب البديلة. وينمو النموذج في عدة مجالات في آن واحد، ولا يفقد مهاراته في المجالات التي لم يُعاد تدريبه عليها. وجاء في ملخص الورقة أن النماذج الأساسية تمتلك قدرات كامنة غنية يمكن تعزيزها دون وسم مهام خارجي ودون توزيعات مهام منتقاة.

لماذا يهم هذا الصناعة

انتقلت عقبة ما بعد التدريب منذ فترة طويلة من الحوسبة إلى البيانات. فالمسائل الموسومة عالية الجودة ذات الإجابات القابلة للتحقق مكلفة، أما مجموعات البيانات المفتوحة الجيدة فسرعان ما «تُستنزف» وتدخل في مجموعات التدريب. ومنهج يكفيه محاور موضوعية يخفض عتبة الدخول أمام الفرق التي لا تملك ميزانيات كبيرة للوسم. كما يفتح الطريق لتكييف النماذج في مجالات متخصصة لا توجد فيها مجموعات بيانات خبيرة أصلًا.

وهناك تحفظات ينبغي أن يضعها الممارسون في اعتبارهم. فالاتساق الذاتي لا يساوي الصحة: قد يكرر النموذج الخطأ نفسه بثبات، وسيمرّره المرشّح. ويتحدد سقف التحسّن الذاتي بما هو مودَع أصلًا في النموذج الأساسي، والمؤلفون أنفسهم يتحدثون عن تعزيز القدرات الكامنة، لا عن ظهور معارف جديدة. لذلك فإن الخطوة الأولى المعقولة للفرق التي تواصل تدريب نماذجها الخاصة هي التالية: اعتماد المنهج مكمّلًا لما بعد التدريب القائم، والاحتفاظ بعيّنة مؤجلة ذات تحقق خارجي، ومراقبة التدهور في المجالات غير المرتبطة على نحو منفصل. وهذا بالتحديد هو المعيار الذي درسه المؤلفون أولًا.

والسؤال العملي الرئيسي الآن هو إلى أي مدى يتوسع هذا المخطط من حيث حجم النموذج وعدد دورات التعلّم الذاتي. وتُظهر الورقة أنه حتى مع انعدام الإشراف البشري، يمكن استخراج إشارة النمو من النموذج نفسه.