ID-TAP يختار شخصية لوكيل LLM عبر عشر مقارنات زوجية

يصطدم تخصيص وكيل LLM بمشكلة بسيطة: المستخدم لا يريد ملء الاستبيانات ولا شرح الطريقة التي يفضّل أن يُجاب بها. لكنه مستعد لاختيار الأفضل بين إجابتين. على هذه الإشارة بنى مؤلفو دراسة جديدة إطارًا كاملًا هو ID-TAP. يعثر الإطار، خلال عشر جولات ثابتة من المقارنات الزوجية، على الشخصية المناسبة داخل مجموعة كبيرة ومنفصلة، ويأخذ في الحسبان أن التفضيلات تتوقف على الطلب نفسه. وعلى سبعة معايير لتوليد المحتوى مع مراعاة المستخدم، حقق ID-TAP أفضل نتيجة إجمالية بين الطرق المرجعية التي جرى تقييمها.

المهمة: اختيار شخصية في ظل شبه غياب للتغذية الراجعة

يُقصد بالشخصية هنا الأسلوب والموقف اللذان يجيب بهما الوكيل: النبرة ومستوى التفصيل وطريقة العرض. قد يكون عدد المرشحين كبيرًا، ومن غير الواقعي تجربتهم جميعًا في حوار حي. وكل جولة تتطلب انتباه المستخدم، لذلك فالميزانية صارمة: عشر مقارنات.

يصوغ المؤلفون المسألة بوصفها مسألة العصابات المتبارزة (dueling bandits). يعرض الوكيل إجابتين مولَّدتين بشخصيتين مختلفتين، ويتلقى اختيارًا ثنائيًا، ثم يحدّث تصوره عن التفضيلات. الصعوبة أن الشخصية الجيدة لسؤال عن وصفة البورش قد تكون سيئة لسؤال عن الخصم الضريبي. ولا ينفع هنا «ملف المستخدم» الثابت، إذ يجب أن يعتمد التقييم على الطلب.

كيف يقرر ID-TAP من يضع في مواجهة المتصدّر الحالي

يقوم النهج على فكرة أخذ العينات الموجَّه بالمعلومات (information-directed sampling، IDS): اختيار الإجراء لا بحسب أعلى مكافأة متوقعة، بل بحسب التوازن بين الفائدة المتوقعة وكمية المعلومات التي يوفرها. وفي صيغة المواجهة الزوجية يتحول ذلك إلى اختيار «متحدٍّ» يُوضع في مواجهة المتصدّر الحالي.

لدى ID-TAP مكوّنان عاملان:

• نموذج منفعة عصبي يعتمد على الطلب: يتشارك القوة الإحصائية بين الطلبات المختلفة، لكنه يحتفظ بتقديرات منفصلة لكل طلب؛
• مستكشف خفيف قائم على نموذج برادلي–تيري: يتحدّث بسرعة ويقيّم المتحدّين الافتراضيين، أي يقدّر ما الذي ستضيفه المقارنة التالية.

أما العنصر الثالث فيتولى نقل المعرفة. تنتقل المقارنات المتراكمة على بعض الطلبات إلى الطلبات المرتبطة بها عبر warm start بأوزان تعتمد على التشابه. فلا يبدأ الطلب الجديد من الصفر إذا سبق للنظام أن رأى طلبات مشابهة.

ماذا أظهر الاختبار

جرى التقييم على سبعة معايير لتوليد المحتوى يجب أن تراعي فيها الإجابة المستخدم. حاكى الباحثون التفضيلات بطريقتين: بحسب الإجابات المرجعية، وبواسطة نموذج حَكَم. وهذه حيلة معتادة في التعلم الإلكتروني (online) من المقارنات، لأن إشراك أشخاص حقيقيين في كل تشغيل مكلف. والأثر الجانبي واضح أيضًا: المحاكي يبقى محاكيًا، وقد يختلف سلوك الناس الحقيقي عنه.

أهم معطيات التجربة:

• الإشارة: مقارنة ثنائية بين إجابتين؛
• الميزانية: عشر جولات مقارنة؛
• الفضاء: مجموعة كبيرة ومنفصلة من الشخصيات؛
• مجموعة الاختبارات: سبعة معايير مشروطة بالمستخدم؛
• النتيجة: أفضل مقياس مجمّع بين الطرق المرجعية التي جرى تقييمها.

يصوغ المؤلفون استنتاجهم بحذر: اختيار المتحدّي بحسب قدرته على توفير المعلومات يعمل كمخطط لتكييف الشخصية أثناء الاستدلال. ولا تتضمن الدراسة ادعاءات كبيرة بالتفوق على السوق كله، وهذا إطار صادق.

أين يفيد ذلك عمليًا

يكتسب التخصيص وقت الاختبار (test-time) أهميته من أنه لا يتطلب إعادة تدريب النموذج. يبقى نموذج LLM الأساسي مجمّدًا، ويتغير فقط نوع الشخصية التي يتبناها لطلب معيّن. وهذا طريق رخيص لفرق المنتجات: فالتكيف يجري داخل الجلسة، ولا حاجة إلى تحويل بيانات المستخدم إلى مجموعة تدريب.

أوضح تطبيق مباشر هو المساعدات والوكلاء الذين اعتاد المستخدم فيها الاختيار بين صيغتين للإجابة. تظهر أزرار «هذه أفضل» في واجهات الدردشة منذ زمن طويل، ويقدّم ID-TAP طريقة لاستخدامها لا لجمع بيانات التوسيم فحسب، بل أيضًا للضبط الفوري.

قبل التطبيق ينبغي التحقق من ثلاثة أمور. أولًا، مدى تطابق محاكيات التفضيلات مع الأشخاص الحقيقيين في مجالكم. ثانيًا، كيف تتصرف الطريقة عندما يناقض المستخدم نفسه، فالاختيارات الزوجية مشوّشة. ثالثًا، كم ستكلّف عملية توليد إجابتين في كل جولة، إذ تعني عشر مقارنات ما لا يقل عن عشرين عملية توليد لكل طلب. وإذا حُسمت هذه الأسئلة، يبدو المخطط مرشحًا عمليًا للتخصيص دون إعادة تدريب.