علماء يخصّصون ثلاثة نماذج لغوية كبيرة من نوع MoE ويحددون الخبراء المسؤولين عن التكيّف

يُبنى تخصيص النماذج اللغوية عادةً كصندوق أسود: يُعاد تدريب النموذج على بيانات المستخدم، فيبدأ بالإجابة «بأسلوبه». أما موضع هذه المعرفة داخل الشبكة تحديدًا فيبقى غير واضح. وتقترح ورقة بحثية جديدة ظهرت في Hugging Face Daily Papers تغيير موضوع الدراسة: بدلًا من تكييف النماذج اللغوية الكبيرة الكثيفة، تُكيَّف نماذج المزيج من الخبراء (Mixture-of-Experts, MoE). فقد اختار المؤلفون ثلاثة نماذج MoE مفتوحة، وأعادوا تدريبها على مجموعة بيانات كبيرة للتخصيص، وبيّنوا أن سمات التخصيص المنفردة يمكن ربطها بخبراء محددين.

لماذا يصعب تحليل النماذج الكثيفة؟

المشكلة الرئيسية في الشبكات الكثيفة هي تعدّد الدلالات. فالعصبون الواحد يرمّز عدة مفاهيم غير مترابطة في آن واحد، ولذلك يصعب جدًّا العثور على المكوّن المسؤول تحديدًا عن «يفضّل الإجابات المختصرة» أو «يكتب بنبرة غير رسمية». ومن دون تحديد الموضع لا يمكن فهم الآلية ولا التحكم بها.

تعمل بنية MoE بطريقة مختلفة. فكل رمز (token) يُوجَّه إلى بضعة خبراء متخصصين فقط، وهذا التناثر يقلّل تعدّد الدلالات بحسب فرضية المؤلفين. وهكذا يصبح الخبراء وحدات تحليل أكثر دلالة.

كيف أُجريت التجربة

تتألف المنهجية من عدة خطوات. أولًا، كُيّفت ثلاثة نماذج MoE لغوية كبيرة مفتوحة على مجموعة بيانات تخصيص واسعة النطاق. ثم دُرّبت مُرمِّزات متقاطعة (crosscoders) على تنشيطات مزدوجة للنموذج المخصّص والنموذج الأصلي. وهذه قواميس سمات متناثرة تقابل الحالات الداخلية لنسختين من الشبكة نفسها، وتُنتج متغيّرات كامنة مخصّصة يمكن تفسيرها. وبالاعتماد عليها حدّد المؤلفون الخبراء الذين يرمّزون سمات التخصيص المختلفة.

أبرز النتائج كما تصفها الخلاصة:

• تحقق نماذج MoE المخصّصة جودة بمستوى النماذج اللغوية الكبيرة الكثيفة، مع تنشيط جزء فقط من معاملاتها؛
• عند تقارب عدد المعاملات النشطة، يكون تعدّد الدلالات في نماذج MoE أقل منه في النماذج الكثيفة؛
• ضمن العائلة الواحدة من النماذج، تتداخل المتغيّرات الكامنة المخصّصة في نماذج MoE بدرجة أقل مع متغيّرات النسخة غير المخصّصة، أي إن التخصيص يقع في مكوّنات أكثر انعزالًا؛
• تؤكد التدخلات السببية أن المتغيّرات الكامنة المحددة كافية لاستعادة سلوك النموذج المخصّص.

التحقق السببي

تحديد الموضع وحده لا يثبت شيئًا: فقد يعثر الباحث على ارتباط لافت لا يؤثر في شيء. لذلك تحقق المؤلفون من السببية. فإذا عُزّز الخبراء المرتبطون بالمتغيّرات الكامنة التي جرى العثور عليها، يتحول النموذج غير المخصّص نحو النموذج المخصّص. وهذا يعني أن الخبراء لا يتطابقون مع السمة فحسب، بل يشاركون في تشكيل السلوك. كما أن سمات التخصيص المختلفة تسلك مسارات مختلفة عبر الشبكة.

لا تتضمن الخلاصة أي مقاييس رقمية: لا زيادة في الجودة، ولا نسبة المعاملات النشطة، ولا أسماء النماذج. ولن يكون ممكنًا تقدير حجم الأثر ومقارنته بالطرق القائمة مثل LoRA إلا من النص الكامل للورقة. وحتى الآن، هذا طرح لمنهج وليس منتجًا جاهزًا.

الخلاصة العملية

أمام الفرق التي تبني مساعدين مخصّصين إشارتان. الأولى: بنى MoE لا توفّر في الاستدلال (inference) فحسب، بل تتيح أيضًا نقطة أنسب للتفسير. والثانية: إذا كان التخصيص مرتبطًا بخبراء محددين، فيمكن التحكم فيه بدقة، مثلًا بتعزيز سمات منفردة أو إضعافها من دون إعادة تدريب النموذج بأكمله. وهذا مفيد للمهام التي تتطلب الرقابة والتدقيق: الخصوصية، وإمكانية التنبؤ بالأسلوب، والتراجع عن إعدادات المستخدم غير المرغوبة.

قبل إدراج هذا النهج في أي منتج، من الأفضل انتظار الشيفرة البرمجية والجداول الكاملة، والتحقق من قابلية إعادة الإنتاج على نماذج MoE الخاصة بالفريق، ومقارنة تكلفة تدريب المُرمِّزات المتقاطعة بالمكسب في الشفافية. فالمُرمِّزات المتقاطعة نفسها تتطلب موارد حوسبة وضبطًا دقيقًا.