باحثون يفسرون 86% من الفجوة في اختبار التخصيص لدى نماذج اللغة الكبيرة بالموضوعات وحدها

أضفتَ سجل القراءة إلى مساعدك فصار أدق في اختيار الأخبار. يبدو أن الذاكرة تعمل. لكن هناك تفسيرًا أبسط: لاحظ النموذج أن الشخص يحب التقنية. وللتحقق من فائدة السجل الشخصي نفسه، ينبغي أن تمنحه سجل محبّ آخر للتقنية وتقارن النتيجة. يساعد هذا الاختبار على فهم ما الذي تدفع ثمنه من تعقيد النظام.

في ورقة Not Your Diary, Just Your Topic يحلل الباحثون هذه المشكلة في مهمة تحديد فئة الخبر. والسؤال العملي واضح: ما مقدار الفائدة التي تقدمها معلومات عن شخص بعينه فوق معرفة موضوعاته المفضلة؟

سجل الآخرين قد يكون خصمًا مريحًا أكثر من اللازم

تخيّل قارئين. كلاهما يتابع التقنية، لكن أحدهما يهتم بأدوات المطورين والآخر بالأجهزة الاستهلاكية. وهناك قارئ ثالث يفتح الأخبار الرياضية في الغالب.

إذا استبدلنا سجل القارئ الأول بسجل القارئ الثالث، فلن يفاجئنا تراجع النتيجة كثيرًا. فقد أزلتَ معلومات عن الشخص وغيّرتَ الموضوع في الوقت نفسه. ومن مقارنة كهذه يصعب فهم أي إشارة فقدها النموذج.

أما سجل القارئ الثاني فهو اختبار أكثر صرامة. فالاهتمام العام باقٍ، بينما تختلف التفضيلات الفردية. يوضح هذا المثال بنية الاختبار، ولا يصف مشاركين فعليين في الدراسة.

بالنسبة إلى فريق المنتج، الفرق جوهري. فبعد اختبار ضابط ضعيف يسهل الظن بأن المطلوب ملفات تعريف مفصلة وأحداث محفوظة أكثر ومعالجة معقدة للذاكرة. ومع ذلك، من المفيد أن تفحص أولًا البديل الرخيص: هل تكفي بضع فئات من الاهتمامات لمهمتك؟

ماذا حدث في التجربة

استخدم المؤلفون نموذجًا لغويًا مجمّدًا ومجموعة LaMP-2. أعطى السجل الشخصي زيادة في الدقة قدرها 2.3 نقطة مئوية مقارنة بنموذج دُرّب من دون سجل. وإذا أُزيل السجل عند الاختبار فقط، يرتفع تقدير الزيادة إلى 4.8 نقطة. وأعادت أسماء الفئات وحدها إنتاج 86% من الفجوة بين السجل الخاص وسجل مستخدم عشوائي. وعندما أنشأ الباحثون سجلات اصطناعية بفئات ونصوص متشابهة، تقلصت الفجوة إلى 0.9 نقطة. وهذه النتائج واردة في وصف الدراسة.

من المهم قراءة رقم 86% قراءة صحيحة. فهو نسبة من فجوة محددة في التجربة، وليس دقة النموذج ولا تقديرًا لعدم جدوى التخصيص كله.

وبالنسبة إلى المستخدمين الذين لم يرهم النموذج أثناء التدريب، بلغت أفضلية سجلهم الخاص على سجل شخص مشابه 0.65 نقطة مئوية. ويرى المؤلفون أن الأدلة على وجود مثل هذه الأفضلية غير مقنعة. والعمل محدود بالمهمة المختارة وظروف التجربة؛ ومن السابق لأوانه تعميم الاستنتاج على المساعدين الحواريين برمّتهم. المصدر.

كيف تطبّق هذا قبل تطوير الذاكرة

لنفترض أنك تبني نشرة يومية للمختصين. ابدأ بسؤال: ما الذي ينبغي أن يحسّنه الملف الشخصي تحديدًا؟ اختيار الموضوع، أم عمق المادة، أم تنوّع النتائج، أم احتمال القراءة؟ لكل إجابة فحصها الخاص. فإصابة الفئة الصحيحة لا تعني بعد أن الشخص تلقّى مجموعة مفيدة.

ثم جهّز عدة صيغ لبيانات الإدخال: قائمة قصيرة بالاهتمامات، والسجل الشخصي، وسجل شخص آخر باهتمامات قريبة. وأضف صيغة بلا سجل، مع مراعاة الطريقة التي دُرّب بها النظام على استخدامه. هذا اقتراح لتجربتك الخاصة، وليس وصفة جاهزة اختبرها المؤلفون لأي منتج.

انظر بشكل منفصل إلى المستخدمين الجدد. ففي الواقع غالبًا ما يكون ملفهم قصيرًا وعاداتهم غير معروفة بعد. وإذا ظهر المكسب فقط لدى من يعرفهم النظام منذ زمن، فسيؤثر ذلك في إطلاق المنتج وفي الوعود التي تقدمها الواجهة.

ستساعد نتيجة هذه المقارنة على اختيار الخطوة التالية. فإذا كفى الملف القصير، يمكن اعتماده نقطة انطلاق وزيادة تعقيد النظام بعد تحسن قابل للقياس. وإذا ساعد السجل الشخصي حتى أمام سجل غريب مشابه، فينبغي معرفة أي الأحداث تضيف المكسب. وهكذا يصبح لدى الفريق مبرر محدد لتخزين بيانات إضافية ومعالجتها: فائدة أمكن فصلها عن مجرد تطابق الموضوعات.