80 حوارًا اصطناعيًا تكفي لمجسّات التنشيط في Gemma-3-27B، لكن ليس في كل الحالات

كم حوارًا اصطناعيًا نحتاج لتدريب مجسّ يراقب سلوك نموذج لغوي في بيئة الإنتاج؟ قاس مؤلفو ورقة بحثية حديثة على arXiv (قسم cs.LG) ذلك مباشرة، وتوصلوا إلى إجابة تعتمد على ما يرصده المجسّ تحديدًا. في Gemma-3-27B-IT، تصبح مجسّات «المواقف عالية المخاطر» ومجسّات الردود الضارة بالإنسان ضمن بضعة أجزاء من مئة من مستوى الثبات (plateau) لديها عند 80 عينة فقط. أما المجسّات التي ترصد عدم اتباع تعليمات المستخدم فتحتاج إلى عدد أكبر بعدة أضعاف.

كيف صُمّمت التجربة

مجسّ التنشيط مصنِّف صغير يعمل فوق التمثيلات الداخلية للنموذج. وعادةً يُدرَّب على محادثات يولّدها نموذج لغوي آخر، وكانت ميزانية هذا التوليد تُحدَّد حتى الآن بالتقدير. بنى الباحثون منحنيات تعلّم على نطاق يمتد من 10 إلى 590 عينة اصطناعية لثلاثة مفاهيم: المخاطر العالية، والردّ الضار بالإنسان، والردّ الذي لا يتبع التعليمات. وقيسَت الجودة على 14 توزيعًا مستبقى (held-out). كما غيّروا كلًّا من النموذج المولِّد ودرجة تفصيل الموجِّه (prompt) كلٌّ على حدة.

أبرز معالم الدراسة:

• ثلاثة مفاهيم للمراقبة: high-stakes وharmful وinstruction؛
• أربعة نماذج للمجسّات، والنموذج الرئيسي هو Gemma-3-27B-IT؛
• 14 توزيعًا مستبقى للتقييم؛
• من 10 إلى 590 عينة اصطناعية على المنحنى؛
• يبقى ترتيب المفاهيم من حيث «شراهتها» للبيانات ثابتًا في ثلاثة نماذج أصغر وعلى عينات حقيقية من مجموعة dev.

التغطية لا الصعوبة

لمقارنة المنحنيات، أدخل المؤلفون مقياس half-gain size، وهو عدد العينات الذي يتحقق عنده نصف المكسب النهائي في الجودة. ويفسّر المفهوم والتوزيع معًا 42–45% من تباينه. أما النموذج المولِّد والنموذج المجسّ وتفصيل الموجِّه فتفسّر مجتمعةً أقل من 10%. وبحسب هذه البيانات، فإن اختيار نموذج توليد أغلى أو موجِّه أكثر تفصيلًا يؤثر في الحاجة إلى البيانات أقل بكثير من تأثير موضوع المراقبة نفسه.

يرفض المؤلفون التفسير البديهي القائل إن بعض المفاهيم أصعب ببساطة. فإذا أُخذ كل «نوع» من البيانات على حدة (نوع واحد لكل توزيع تقييم)، يبلغ الوسيط لـ half-gain size ما بين 7 و11 عينة اصطناعية من النوع نفسه، وبالقدر ذاته للمفاهيم الثلاثة. أي أن الصعوبة داخل النوع الواحد متقاربة في كل مكان. والفرق يكمن في أمر آخر: إلى أي حد تفيد عينات نوع ما في بقية أنواع المفهوم نفسه. تنتقل العينات بشكل شبه كامل في high-stakes، وبدرجة أقل في harmful، وأضعف ما يكون في instruction. ويفسّر المؤلفون بهذا التفاوت معظم الفجوة بين المفاهيم، في البيانات المولَّدة والحقيقية على حد سواء.

ومن هنا يخرج موقف من الجدل حول «الاتساع أم العمق». فالتوصية السابقة بإنفاق ميزانية التوليد على تنويع أنواع البيانات بدل حجم كل نوع صحيحة بدرجات متفاوتة. ففي instruction لا بد من أنواع كثيرة، إذ لا يغطي أي نوع غيره. أما في high-stakes فهي شبه زائدة عن الحاجة، لأن نوعًا واحدًا يغطي البقية.

ماذا نفعل بميزانية التوليد

يفيد الفريق الذي يبني مراقبة للنشر أن يبدأ بفحص انتقال الفائدة بين أنواع البيانات، لا باختيار المولِّد. فإذا كان المفهوم شبيهًا بـ high-stakes، تكفي بضع عشرات من الأمثلة المنتقاة جيدًا، والإنفاق الإضافي بعدها قليل الجدوى. وإذا كان شبيهًا بـ instruction، فيجب إدراج تنوع الأنواع منذ البداية، وحساب الحجم بالمئات. ونموذج التوليد الغالي والموجِّه الفائق التفصيل يوفّران أقل مما يُظن، إذ تقل مساهمتهما في تباين الحاجة إلى البيانات عن 10%.

تنبيه: جميع الاستنتاجات مستخلصة من ثلاثة مفاهيم وأربعة مجسّات. وفي المفاهيم الأخرى سيتعيّن قياس الحاجة من جديد، ويبدو فحص الانتقال بين الأنواع أداة عملية لذلك. وقد نشر المؤلفون مجموعات التقييم ومجموعات dev والبيانات المولَّدة، ما يتيح إعادة إنتاج المنحنيات على بنيتك التقنية دون تصنيف يدوي خاص بك.