دراسة: وكلاء LLM لا يتعلمون أعراف المجتمع من التفاعل

نشر باحثون على arXiv ورقة بحثية أولية برقم 2610.10906 حول ما يسمونه الكفاءة المعيارية لنماذج اللغة: القدرة على تحديد الأعراف التي يدعمها المجتمع فعلًا من التفاعل وحده، دون الاعتماد على ما حفظه النموذج أثناء التدريب. والنتيجة بالنسبة إلى الأنظمة الحالية غير مطمئنة. فلم يتعلم وكلاء LLM الأساسيون القواعد في بيئة الاختبار، حتى حين كان ذلك يرفع دقتهم مباشرة. ويقول المؤلفون إن هذا أول عمل يصوغ هذه الكفاءة رسميًا ويقيسها لدى LLM. ولا تتضمن الملخّص مقاييس رقمية، لذا يقتصر ما يلي على الاستنتاجات النوعية.

كيف صُمّمت التجربة

أعراف المجتمعات البشرية كثيرة وتتغير بسرعة وكثيرًا ما تكون اعتباطية. ومن الأمثلة الواردة في الورقة: قواعد اللباس والأعراف اللغوية. ويُفرض الالتزام بها عبر عقوبات يطبقها المجتمع نفسه. ولا يمكن تعلم ذلك مسبقًا، فالقواعد يجب استخلاصها في موقعها.

ولفصل هذه القدرة عن المعرفة المكتسبة في التدريب المسبق، بنى المؤلفون بيئة مناظرات متعددة الوكلاء. تنظّم الوصول إلى النقاش فيها أعراف اصطناعية ابتُكرت خصيصًا للاختبار. ولم يكن بوسع النموذج أن يصادفها في مدونة التدريب، ولم يكن لديه ما يوحي له بالإجابة. يرى الوكيل من يُسمح له بالمشاركة في المناظرات ومن لا يُسمح له، وعليه أن يستنتج القاعدة بنفسه.

ماذا أظهرت النتائج

• لم يتعلم وكلاء LLM الأساسيون الأعراف، مع أن معرفة القاعدة كانت ستحسّن دقتهم في المناظرات.
• اختبر المؤلفون «الوحدات المعيارية»، أي مكوّنات معمارية لاستنتاج الأعراف. وتفاوت الالتزام بالقواعد كثيرًا بحسب أسلوب العرف والنموذج الذي تعمل عليه الوحدة. وهذا يدل على ضعف قابلية هذا النهج للتعميم.
• حين ظهرت بجانب العرف الحقيقي سمات سلوكية عشوائية غير معيارية، نسخ الوكلاء كل شيء. ويسمي المؤلفون ذلك unselective attribution failure: النموذج لا يميّز القاعدة الملزمة من عادة غيره.
• واستمر هذا الأثر حتى عندما فُرضت صراحةً غرامة على التقليد الزائد.

ويتمثل الاستنتاج الرئيسي للمؤلفين في أن النماذج الحديثة تحاكي السلوك جيدًا، لكنها لا تميّز جيدًا بين ما يستند إلى إكراه اجتماعي وما جاء مصادفة.

لماذا يهم هذا مطوّري الوكلاء

معظم أساليب المواءمة (alignment) تثبّت لقطة من القيم والقواعد وقت التدريب أو الضبط. أما الوكيل المستقل الذي يعمل في دردشة مؤسسية أو مجتمع مطورين أو منتدى، فيواجه أعرافًا محلية: صيغة الرسائل، والنبرة المقبولة، والمحظورات غير المعلنة. وهذه الأعراف تتغير أسرع من صدور إصدارات جديدة من النماذج.

وتبدو مشكلة نسخ الضوضاء مزعجة بوجه خاص. فإذا اعتاد مشرف إنهاء رسائله بالعبارة نفسها، قد يتبناها الوكيل على أنها إلزامية، ويفوّت في الوقت نفسه المحظور الحقيقي. ولم تُجدِ الغرامات على التقليد الزائد في الاختبار، لذلك لا تبدو هندسة الأوامر (prompt engineering) حلًا موثوقًا هنا.

وللقيود أهميتها أيضًا. فهذه ورقة أولية لم تخضع للتحكيم، والبيئة اصطناعية، ولا يحدد الملخّص النماذج المختبرة ولا حجم الأثر. ومن المبكر نقل الاستنتاجات إلى مجتمعات حقيقية دون التحقق منها.

ماذا نفعل عمليًا

تحصل الفرق التي تبني وكلاء للعمل بين البشر على عدة مؤشرات:

• عدم افتراض أن الوكيل سيستنتج القواعد المحلية بنفسه من ردود فعل المحيطين به. فالأعراف الحرجة ينبغي كتابتها صراحةً وتحديثها يدويًا.
• اختبار الوكيل على أعراف اصطناعية غير موجودة في بيانات التدريب. عندها يتضح ما تعلمه في الموقع وما استحضره من ذاكرته.
• فحص مدى اعتماد النتيجة على النموذج الذي يعمل عليه مكوّن استنتاج الأعراف. فإذا تذبذبت الجودة بشدة عند تغيير النموذج، فالحل هش.
• قياس نسبة التقليد «الزائد» على نحو منفصل: أي السمات السلوكية التي ينسخها الوكيل دون حاجة.

وما دامت الكفاءة المعيارية لم تصبح خاصية قابلة للقياس في النماذج، يبقى سلوك الوكلاء في المجتمعات الحية منطقة مخاطر. وتقدّم هذه الدراسة على الأقل طريقة لقياسها.