تجربة على LLM أظهرت كيف تتشكل «شخصية» النموذج في الفضاء الكامن

في تقرير جديد عن تجربة مع معمارية LLM معيارية، يُظهر المؤلف أن متجهاً كامناً واحداً يمكن أن يخزن ليس فقط النمط، بل أيضاً خصائص مستقرة لكيفية تقديم المعلومات. تُعتبر هذه الطبقة بمثابة أساس لما يمكن أن يُدعى "تضمين الشخصية" للنموذج.

مشكلة المتوسط

في النموذج الانحداري الكلاسيكي، الخطوة التالية للإنشاء هي توزيع احتمالي على المفردات. يسمح هذا بأن يكون للعبارة نفسها العديد من الاستمرارات المقبولة، وتغير درجة الحرارة فقط كيفية عمل الاختيار ضمن توزيع تم تعلمه بالفعل. في المخطط المعياري الموصوف من قبل المؤلف، الحالة مختلفة: يجب أن تُخرج النواة متجهاً كامناً واحداً فقط، والذي يتم فك تشفيره بعد ذلك إلى نص.

لهذا السبب، يجب ضغط عدة متغيرات جواب ممكنة في تمثيل مضغوط واحد. في الواقع العملي، يؤدي هذا إلى المتوسط. يبدأ النموذج باختيار ليس متغيراً واضحاً وملموساً، بل استمراراً "متوسطاً"، حيث يتم تنعيم النبرة والشخصية وطريقة الشرح.

هنا يظهر الفكرة الخاصة بفصل المحتوى عن التقديم. إذا حددت الدلالات ما يقوله النموذج، فيجب أن يحدد كامن النمط المنفصل بالضبط كيف يُقال: جافاً أو حياً، بثقة أو بحذر، خطوة بخطوة أو في تدفق حر.

كيف تم تنظيم التجربة

لاختبار الفرضية، قام المؤلف بتدريب النموذج على نصوص من مستخدمين حقيقيين بحيث يستخلص متجهاً مضغوطاً يصف ليس المعنى، بل أنماط الكلام المستقرة. يمكن بعد ذلك إطعام هذا المتجه في النموذج الرئيسي عبر cross-attention. أثناء التدريب، يأتي النمط من الإجابة الهدف، وأثناء الاستدلال يمكن تعيينه بشكل منفصل. بشكل أساسي، بدلاً من مقبض درجة حرارة واحد، تظهر مجموعة من آليات التحكم في السلوك الأكثر دقة. يؤكد الباحث بشكل خاص أن المهمة لم تكن تتعلق بالتعرف على مؤلف محدد. الهدف كان مختلفاً: الحصول على فضاء سمات سلس حيث تنتهي النصوص من الأشخاص ذوي أنماط الكلام المتشابهة بالقرب من بعضهم البعض، حتى لو كانوا يكتبون على مواضيع مختلفة. في مثل هذا الفضاء، بدأت عدة محاور بالظهور يمكن التحكم فيها:

• الرسمية مقابل المحادثة
• الثقة مقابل الحذر
• الهيكلية مقابل العفوية
• تقديم "هندسي" مقابل أكثر إنسانية
• النبرة المحايدة مقابل الملونة عاطفياً

ما أظهرته المقاييس

وفقاً للمؤلف، على معيار اصطناعي، يميز النموذج بالفعل بثقة تباينات النمط الفردية. يتم تحديد الرسمية مقابل المحادثة بدقة متوازنة 0.93، الثقة مقابل عدم التأكد — 0.

94، التقديم المتعاطف مقابل البارد — 0.93، والعرض الحر مقابل الخطوة بخطوة — 0.92.

في الوضع المختلط حيث توجد عوامل عديدة في نفس الوقت، النتائج متوقعة أن تكون أقل، لكنها لا تزال ذات مغزى: الطريقة المعجمية والانحياز الدلالي يبقيان عند 0.85 و 0.84، الخصائص المرتبطة بالعمر — 0.

72، التعاطف — 0.73، الهيكل — 0.70.

ما يثير الاهتمام بشكل خاص هو أن فضاء السمات لا ينهار عند دمج عدة تحولات نمطية. متوسط المراسلة بين التركيب المتنبأ والفعلي لمثل هذه التحولات، وفقاً للمؤلف، وصل إلى cos = 0.97.

هذا يعني أن النموذج يمكنه أن يتحرك في نفس الوقت، على سبيل المثال، نحو إجابة أكثر رسمية وأكثر ثقة وأكثر تقنية. ومع ذلك، العمل لم يكتمل بعد: الكامن لا يزال يحتوي على انحياز ملحوظ في طول النص، والإشارات الاجتماعية مثل العمر والجنس أو المهنة تبدو أكثر مثل ملف تعريف احتمالي بدلاً من التعرف الموثوق.

"النمط يعيش حقاً في الكامن."

ماذا يعني هذا

بالنسبة لفرق المنتج، يبدو هذا وكأنه انتقال من التعديل الخام لدرجة الحرارة إلى تحكم أكثر دقة في أسلوب الإجابة: رسمي، لطيف، موجه للهندسة، توضيحي. إذا توسعت الطريقة، يمكن لنماذج اللغة الكبيرة أن تعمل ليس فقط على إنشاء نصوص، بل أيضاً الحفاظ على شخصية اتصال محددة بشكل مستقر دون نسخ محتوى مؤلف محدد. وهذا بالضبط ما يجعل فكرة "تضمين الشخصية" ليست مستعاراً، بل فرضية هندسية تماماً قابلة للعمل.