تجربة مع نموذج لغوي كبير تكشف كيف تتشكل «شخصية» النموذج في الفضاء الكامن

في تقرير جديد عن تجربة على بنية معيارية لنموذج لغوي كبير، أظهر المؤلف أن متجهًا كامنًا منفصلًا قد يحفظ الأسلوب، وكذلك سمات ثابتة في طريقة العرض. وتُعامَل هذه الطبقة بوصفها نواة أولية لما يمكن تسميته «تضمين الشخصية» (personality embedding) للنموذج.

مشكلة الإجابة المتوسطة

في النموذج الانحداري الذاتي التقليدي، تمثل خطوة التوليد التالية توزيعًا احتماليًا على المفردات. ولهذا قد يكون للعبارة الواحدة عدة استكمالات مقبولة، بينما تغيّر درجة الحرارة (temperature) طريقة الاختيار داخل التوزيع المتعلَّم أصلًا فحسب.

أما في البنية المعيارية التي يصفها المؤلف، فالوضع مختلف: يجب أن تُخرج النواة متجهًا كامنًا تاليًا واحدًا، ثم يُفك ترميزه ليعود نصًا. ولذلك يضطر التمثيل المضغوط الواحد إلى استيعاب عدة خيارات ممكنة للإجابة دفعة واحدة.

وعمليًا يؤدي ذلك إلى التسوية والمتوسط. فبدلًا من اختيار صيغة بارزة ومحددة، يميل النموذج إلى استكمال «متوسط» تذوب فيه النبرة والطابع وأسلوب الشرح. ومن هنا تنشأ فكرة فصل المضمون عن طريقة العرض. فإذا كانت الدلالات مسؤولة عما يقوله النموذج، فينبغي لكامن الأسلوب المنفصل أن يكون مسؤولًا عن كيفية قوله: بجفاف أم بحيوية، بثقة أم بحذر، خطوة بخطوة أم بتدفق حر.

كيف صُمّمت التجربة

لاختبار الفرضية، درّب المؤلف النموذج على نصوص مستخدمين حقيقيين بحيث يستخرج متجهًا مضغوطًا يصف أسلوب الكلام الثابت لا المعنى. ويمكن بعد ذلك تمرير هذا المتجه إلى النموذج الرئيسي عبر الانتباه المتقاطع (cross-attention). وأثناء التدريب يُؤخذ الأسلوب من الإجابة المستهدفة، أما في مرحلة الاستدلال (inference) فيمكن تحديده بشكل مستقل.

وبذلك يحل مجموعة من أدوات الضبط الأدق لسلوك النموذج محل أداة واحدة هي درجة الحرارة.

ويشدد الباحث على أن المهمة لم تقتصر على التعرف على مؤلف بعينه. فقد كان الهدف مختلفًا: الحصول على فضاء سلس للسمات تتجاور فيه نصوص أشخاص يتشابه أسلوب كلامهم، حتى لو كتبوا في موضوعات مختلفة. وبدأت في هذا الفضاء تظهر عدة محاور يمكن التحكم بها:

• الرسمية مقابل العامية
• الثقة مقابل الحذر
• التنظيم مقابل العفوية
• العرض «الهندسي» مقابل العرض الأقرب إلى الطابع الإنساني
• النبرة المحايدة مقابل النبرة المشحونة عاطفيًا

ماذا أظهرت المقاييس

وفق بيانات المؤلف، يميّز النموذج بثقة معقولة بين التباينات الأسلوبية المنفردة على معيار اختبار اصطناعي. فقد بلغت balanced accuracy في التمييز بين الرسمية والعامية 0.93، وبين الثقة وعدمها 0.94، وبين العرض المتعاطف والعرض البارد 0.93، وبين السرد الحر والسرد خطوة بخطوة 0.92.

وفي الوضع المختلط، حيث تتداخل عوامل كثيرة في آن واحد، تنخفض النتائج كما هو متوقع، لكنها تظل ذات دلالة: إذ يثبت الأسلوب المعجمي والانحياز الدلالي (semantic bias) عند 0.85 و0.84، والسمات العمرية عند 0.72، والتعاطف عند 0.73، والبنية عند 0.70.

ومن اللافت أيضًا أن فضاء السمات لا يتفكك عند الجمع بين عدة انزياحات أسلوبية. فقد بلغ متوسط التطابق بين التركيب المتوقع والتركيب الفعلي لهذه الانزياحات، بحسب المؤلف، cos = 0.97. وهذا يعني أن النموذج يمكنه أن يتحرك في آن واحد، مثلًا، نحو إجابة أكثر رسمية وثقة وتقنية.

مع ذلك، لم يكتمل العمل بعد: فما زال في الفضاء الكامن انحياز ملحوظ بحسب طول النص، كما تبدو الإشارات الاجتماعية مثل العمر والجنس والمهنة حتى الآن أقرب إلى ملف احتمالي منها إلى تعرّف موثوق.

«الأسلوب يعيش فعلًا في الفضاء الكامن».

ماذا يعني ذلك

بالنسبة لفرق المنتجات، يبدو ذلك انتقالًا من الضبط الخشن لدرجة الحرارة إلى تحكم أدق في طريقة الإجابة: رسمية أو لينة أو هندسية أو تفسيرية. وإذا أمكن توسيع هذا النهج، فلن تكتفي النماذج اللغوية الكبيرة بتوليد النص، بل ستحافظ بثبات على طابع تواصل محدد دون نسخ مضمون مؤلف بعينه.

وهذا ما يجعل فكرة «تضمين الشخصية» فرضية هندسية عملية فعلًا، لا مجرد استعارة.