نموذج لغوي كبير يرفع درجة F1 لمصنّف من 45% إلى 82% عبر تعديل الأوزان من دون تدريب

تخيّل أن مصنّفًا يخلط بين القطط والكلاب، بينما لا تتوافر بيانات أو مهلة لإعادة تدريبه. عادةً ما يبحث مهندس تعلّم آلي عن خطأ في مجموعة البيانات، أو يغيّر البنية، أو يبدأ دورة تدريب أخرى. في التجربة الموصوفة، أُسند هذا العمل إلى نموذج لغوي كبير: مُنح إمكانية الوصول إلى أوزان شبكة عصبية صغيرة، وسُمح له بإجراء عدد محدود من تشغيلات التحقق، وطُلب منه تحسين النتيجة مباشرةً.

تبدو النتيجة لافتة: ارتفعت درجة F1 للمصنّف من 45% إلى 74% بعد عمل نموذج لغوي كبير أول، ثم إلى 82% بعد تعديلات أعمق أجراها نموذج آخر. لكن وصف الأمر بأنه «نموذج يقرأ دماغ نموذج آخر» يضلل أكثر مما يوضح. فلم تظهر حتى الآن لغة عالمية للأوزان. استخدم النموذج اللغوي الكبير بُنى معروفة، وأساليب مألوفة لقابلية التفسير، وتغذية راجعة من المقاييس.

كيف نجحت الطريقة

كان نموذج الاختبار MobileNetV3-Small، وهو يصنّف الصور ضمن ثلاث فئات: القطط والكلاب والحيوانات الأخرى. بعد كل تعديل، كان بإمكان النموذج اللغوي الكبير تشغيل الاستدلال ومعرفة ما إذا كان المقياس قد تحسن. ومُنح عشر محاولات من هذا النوع إجمالًا.

كانت الاستراتيجية الأولى بسيطة إلى حد بعيد: تعديل الطبقة الأخيرة من المصنّف، حيث تتحول السمات إلى احتمالات للفئات. ساعد ذلك، لكنه لم يكشف تقريبًا شيئًا عن القدرة على فهم البنية الداخلية للشبكة. وعندما مُنع تعديل الطبقة الأخيرة، تعمّق النموذج اللغوي الكبير أكثر: عثر على القنوات التي كانت تنتج إشارات ضارة، واستبدل مخرجاتها بقيم متوسطة. وبعد ذلك بلغت درجة F1 نسبة 82%.

على المستوى اليومي، يشبه الأمر إصلاح جهاز تحكم عن بُعد يحوي عشرات الأزرار. لا يحتاج الفني إلى فهم آلية عمل كل ترانزستور. فهو يضغط الأزرار، ويقيس النتيجة، ثم يعثر تدريجيًا على العنصر الذي يفسد الإشارة. والاختلاف هنا أن النموذج اللغوي الكبير يستطيع أن يكتب بنفسه سيناريو هذا الاختبار، ويقرأ بنية النموذج، ويختار التعديل التالي.

أين ينتهي السحر

لا تثبت التجربة أن النموذج اللغوي الكبير يفهم مصفوفة اعتباطية من الأوزان باعتبارها لغة مستقلة. فبُنى النماذج الشائعة وأسماء الطبقات وأساليب التفسير الآلي موثقة بالتفصيل في الشفرة مفتوحة المصدر والمنشورات العلمية. وربما دخلت كل هذه المعلومات ضمن بيانات تدريب النموذج الكبير.

إضافة إلى ذلك، أدت التغذية الراجعة دورًا مهمًا. فعندما يُسمح للنموذج اللغوي الكبير بتعديل الأوزان مرارًا ومراقبة المقياس، تبدأ العملية في التشابه مع التحسين بأسلوب التجربة والخطأ. وإذا كانت مجموعة التحقق صغيرة أو استُخدمت بطريقة غير صحيحة، يستطيع الوكيل تكييف التعديلات معها. يقلل التحسن على مجموعة بيانات مستقلة هذا الخطر، لكنه لا يلغي ضرورة إعادة إنتاج التجربة.

كذلك ينبغي التعامل بحذر مع الادعاءات المتعلقة باستنتاج وظيفة النموذج من أوزانه وحدها. فكثيرًا ما تكشف أبعاد المصفوفات والمفردات والمدخلات عن عائلة البنية. كما أن الوصف التفصيلي لتنسيق المدخلات والمخرجات في المهمة قد يكشف عمليًا وظيفة الشبكة.

ما الذي يمكن تطبيقه عمليًا

لا تكمن القيمة العملية هنا في «تخاطر» بين النماذج. بل تكمن في ظهور وكيل يستطيع أتمتة تشخيص الشبكات العصبية الصغيرة وإجراء إصلاحات دقيقة لها. وقد يفيد هذا النهج نماذج الحافة، والمصنّفات القديمة، والأنظمة التي فُقدت مجموعة بياناتها الأصلية أو أصبحت إعادة تدريبها باهظة للغاية.

ينبغي للمطورين التعامل مع هذا بوصفه أداة تجريبية: الاحتفاظ بالأوزان الأصلية، وتقييد عدد التكرارات، وفصل مجموعة العمل عن الاختبار النهائي، والتحقق من متانة كل تعديل. وسيتعين على فرق الأمن اعتبار ملفات الأوزان أصولًا قابلة للتنفيذ؛ فالوكيل المخوّل بتعديلها لا يستطيع تحسين النموذج فحسب، بل يمكنه أيضًا إزالة القيود خفيةً أو زرع سلوك جديد.

التحول الأساسي حقيقي تمامًا. فالنموذج اللغوي الكبير لا يصبح مولّدًا للشفرة فحسب، بل مشغّلًا لأدوات تعلّم الآلة أيضًا. ومع ذلك، لا تزال هناك مسافة كبيرة بين هذا المشغّل وجرّاح أعصاب مستقل.