ثماني نماذج LLM تفقد 35–46% من معايرة الاستراتيجية عند التوليد الحر

اختبر باحثون من Meta Superintelligence Labs وUniversity of Southern California ثمانية نماذج لغوية، مغلقة ومفتوحة، في مهارة يحتاجها أي روبوت دردشة يملك ذاكرة. فقد يتذكر المساعد بشكل صحيح أن المستخدم يحب الطعام المالح، ويواصل الإشارة إلى ذلك رغم أن المستخدم أخبره بأنه صار يحب الحلويات. يسمي المؤلفون المهارة المطلوبة التخصيص التكيّفي في ظل عدم اليقين المعرفي: إذ ينبغي أن تتغير استراتيجية الرد مع تغير موثوقية التفضيل المحفوظ. وللقياس يستخدم الباحثون معايرة الاستراتيجية، أي نسبة الردود التي يختار فيها النموذج أو يولّد تكتيكًا مقبولًا لحالة التفضيل الراهنة. وعندما تختار النماذج من خيارات جاهزة، يكون أداؤها جيدًا. أما في التوليد الحر فتنخفض معايرة الاستراتيجية بنسبة 35–46%. ويسمي المؤلفون ذلك الفجوة بين التعرّف والتوليد.

ثلاث حالات للتفضيل وخمس استراتيجيات

يحدد المؤلفون ثلاث حالات يمكن أن تكون عليها المعرفة بالمستخدم. فالتفضيل إما مستقر (ذُكر صراحةً ولم يُنقض)، وإما غير مؤكد (السياق ناقص أو ملتبس)، وإما مُراجَع (معلومات جديدة ألغت القديمة). ولكل حالة سلوك مناسب: التصرف مباشرة، أو السؤال عمّا ينقص، أو تعديل المسار.

تضم المجموعة خمس استراتيجيات إجمالًا: التصرف وفق التفضيل المعروف، وطلب المعلومات الناقصة، والتحقق مما إذا كان التفضيل ما زال سارٍيًا، وعرض خيارات دون اختيار حاسم، وتحديث السلوك بعد نقض التفضيل.

قبل بناء الاختبار، أجرى الفريق استطلاعًا بالإنجليزية والإسبانية والبرتغالية والهندية والإندونيسية. قيّم ثلاثة مدوّنين كل حوار من 500 حوار، فبلغ المجموع نحو 1500 تقييم. وفي كل حالة اختارت الغالبية العظمى من الأشخاص مجموعة صغيرة من الاستراتيجيات. وللتحقق من ذلك، جرّب المؤلفون جميع الطرق الممكنة لتقسيم الاستراتيجيات الخمس إلى مجموعتين، وعددها 15 طريقة، وقارنوا كل تقسيم باختيار البشر باستخدام اختبار حسن المطابقة. وفي كل حالة تفوّق تقسيم واحد على البقية، وصار هذا التقسيم قائمة الاستراتيجيات المقبولة.

كيف بُني المعيار

بُني الاختبار عبر خط إنتاج بثلاثة أدوار يعتمد على عدة نماذج LLM. وكان الأساس 250 شخصية من PersonaHub اختيرت بطريقة farthest-point sampling (اختيار أكثر النقاط تباعدًا عن بعضها). وأُضيفت إلى كل شخصية تفضيلات من 20 مجالًا حياتيًا. بعد ذلك خُطّطت حوارات من 10–14 جلسة، مع انتقالات مقررة مسبقًا للتفضيل بين الحالات الثلاث. وتحقق نموذج تصفية منفصل من تماسك الحوار وسلامة الوسوم.

وفي النتيجة، تكوّنت مجموعة من 25 006 ردود في 2 939 حوارًا متعدد الجلسات بخمس لغات. ويرافق كل رد أربعة مرشحين: اثنان باستراتيجيتين مقبولتين واثنان «فخّان». وتتوزع الفخاخ على سبعة أنواع من الأخطاء: التخصيص المفرط، وتجاوز الصلاحيات المعرفية، والتقادم، وعدم مطابقة الحاجة، والاستفسار الزائد، وعدم مطابقة الأسلوب، وغياب الأسئلة اللازمة.

وراجع البشر المعيار أيضًا. فقد قيّم المدوّنون 500 حوار وفق خمسة معايير: التماسك، ووضوح الحالة المعرفية، وسلامة وسم الاستراتيجية، ونوع الفخ، ومقبولية الرد. وكان اتفاق المدوّنين مع هيئة التحكيم المكوّنة من LLM كبيرًا. وبلغت دقة البشر في اختيار الرد المقبول من بين الخيارات 92%.

لماذا تخطئ النماذج وما الذي يساعد

الخطأ منهجي. فالنماذج تعمل افتراضيًا وفق مبدأ «استخدم المعروف أولًا»: إذ تفرط في الاعتماد على التفضيلات السابقة بغض النظر عن موثوقيتها. ومع ذلك، تحدد النماذج عادةً الاستراتيجية المطلوبة بشكل صحيح في الاختبار القائم على اختيار الرد.

وفحص المؤلفون ما إذا كان بالإمكان تصحيح ذلك بالتلميحات النصية. لكن تمرير سياق التفضيلات في الـ prompt لم يسدّ الفجوة. وأظهر فحص التنشيطات الداخلية بالمجسّات أن النماذج ترمّز الحالة المعرفية في تمثيلاتها الخفية. غير أن هذه المعرفة لا توجّه اختيار الاستراتيجية أثناء التوليد.

عندها درّب الباحثون النماذج بدالة مكافأة تقرّب استراتيجية الرد المتوقعة من اختيار البشر لحالة التفضيل المعنية. وضيّق هذا التدريب فجوة المقبولية بمقدار الثلث عند التعامل مع شخصيات جديدة وأساليب حوار غير مألوفة. وقد تحقق هذا الناتج مقارنةً بالضبط الدقيق القياسي.

والخلاصة العملية لمطوّري المساعدات ذات الذاكرة الطويلة: لا يكفي أن يكون البحث في السجل جيدًا. إذ يجب أن يُختبر بشكل منفصل ما إذا كان النظام يعرف كيف يعيد السؤال، أو يتحقق مجددًا، أو يغيّر تكتيكه عندما تصبح بيانات المستخدم قديمة. وقد نُشر كود المشروع على GitHub.