مراجعة من ستانفورد تعتبر 44% من الاستنتاجات بشأن نماذج LLM متقادمة

لديكم مجموعة اختبارات لنماذج LLM أعدها الفريق قبل عام. وهي تختبر السياق الطويل، والحساب، والصمود أمام اعتراضات المستخدم، والمصادر المختلقة. تبدو النتائج مقنعة، ولذلك يختار المنتج النموذج استنادا إلى جدول قديم. لكن المشكلة أن هذا الجدول ربما لم يعد يصف السوق، بل طبقة أثرية منه.

أعاد باحثا ستانفورد أوين كوين وجيمس زو اختبار 50 استنتاجا واسع الاستشهاد بشأن النماذج اللغوية الكبيرة، على 20 نموذجا من ثمانية مطورين. ووفقا لتقديرهما، لم يعد 44% من الاستنتاجات قابلا لإعادة الإنتاج، بينما ضعفت 34% أخرى بصورة ملحوظة. ولم يبق سوى 16% منها على حاله بالكامل، في حين ظهر 6% بقوة أكبر. وبالنسبة إلى 22 نتيجة أمكن تقدير عمرها، بلغ المتوسط 15.7 شهرا.

لا يعني ذلك أن الدراسات عديمة الفائدة. بل يعني أن عبارة «تتصرف نماذج LLM بهذه الطريقة» تكاد تكون دائما أوسع من اللازم. والأدق أن يقال: «أظهر هذا النموذج، في هذا الإصدار، وفي هذا التاريخ، وضمن هذا الاختبار، هذه النتيجة».

الإخفاقات التقنية الواضحة تختفي بأسرع وتيرة

تتقادم بسرعة خاصة الادعاءات المتعلقة بما لا يستطيع النموذج فعله. وفي الدراسة، ضعفت الاستنتاجات التسعة المختبرة والمرتبطة بالاستدلال، وعد المؤلفان خمسة منها متقادمة. ومن الأمثلة على ذلك عد الحروف في كلمة، وإجراء الحساب في نظام عد غير مألوف، وفقدان المعلومات في منتصف سياق طويل، والتراجع عن إجابة صحيحة بعد اعتراض المستخدم.

والسبب عملي إلى حد بعيد. إذا كانت للمهمة إجابة صحيحة لا لبس فيها، يرى المطورون عيبا محددا، فيضيفون أمثلة مشابهة إلى التدريب أو يغيرون إجراءات ما بعد التدريب. وهكذا يتحول إخفاق الأمس اللافت إلى اختبار انحدار للغد.

تخيلوا أن نموذجا كان قبل عام يفقد شرط المسألة في منتصف المستند. وبناء على مقال، قرر الفريق تقسيم كل ملف إلى أجزاء صغيرة وبنى حول ذلك خط معالجة معقدا. لكن الإصدار الجديد أصبح يحتفظ بالمستند كاملا بثقة، بينما تواصل البنية دفع تكلفة الاستدعاءات الزائدة وزمن التأخير وفقدان الروابط بين الأجزاء. لقد تحول الاستنتاج القديم إلى دين تقني.

المخاطر السلوكية تعيش مدة أطول

تبين أن النزعات التي لا توجد لها إجابة صحيحة وحيدة أكثر ثباتا. ومن الآثار التي استمرت تفضيل النموذج لإجاباته الخاصة، وحساسية التقييم للصياغة المقنعة، ومسايرة المستخدم. ويصعب تصحيح هذه الخصائص بمجموعة واحدة من الأمثلة الصحيحة، لأنها تعتمد على التدريب ومعايير التقييم وبنية الحوار نفسها.

كما يظل التفاوت بين النماذج هائلا. ففي اختبار للمراجع العلمية، لم يختلق أحد النماذج الحديثة أي مصدر، وأخطأ نموذج آخر في نحو 1% من الحالات، بينما أخطأ ثالث في 69%. ولذلك لا يمكن نقل نتيجة النموذج المتصدر إلى نموذج أرخص، أو بديل مفتوح، أو حتى إصدار مجاور من الجيل نفسه.

وهناك قيد مهم أيضا: اختبر المؤلفان 50 استنتاجا معروفا، لا جميع الدراسات المنشورة عن نماذج LLM. كما أن اختفاء أثر ما لا يعني دائما أن القدرة قد أصلحت بالكامل. فقد يستمر الخطأ في لغة أخرى، أو مجال مختلف، أو ضمن سياق أطول، أو بعد تعديل طفيف في الصياغة.

ما الذي ينبغي تغييره في تطوير المنتج

ينبغي حفظ كل اختبار مع المعرف الدقيق للنموذج، والتاريخ، والموجه، ومعلمات التوليد، والنتيجة المتوقعة. وبعد تغيير الإصدار أو المزود، يجب إعادة تشغيل المجموعة الحرجة بالكامل. ويكتسب ذلك أهمية خاصة في السيناريوهات التي يؤثر فيها الخطأ في المال، أو الأمن، أو حقوق المستخدمين، أو قرارات الموظفين.

من المفيد لفرق المنتجات تقسيم الاختبارات إلى طبقتين. الأولى هي متطلبات العمل المستقرة: استخراج مبلغ بصورة صحيحة، وعدم كشف البيانات الشخصية، والإحالة إلى مستند حقيقي. والثانية هي اختبارات تشخيصية مؤقتة تعكس نقاط الضعف المعروفة لنموذج بعينه. نادرا ما تتغير الطبقة الأولى، أما الثانية فينبغي إعادة النظر فيها بعد كل تحديث ملحوظ.

الخلاصة العملية بسيطة: للمقال الذي يتناول قدرات نماذج LLM مدة صلاحية. فلا تتعاملوا مع معيار أداء قديم بوصفه قانونا من قوانين الطبيعة، ولا تبنوا خريطة الطريق حول خطأ شهير من دون اختباره بأنفسكم. اختبروا النموذج الذي تعتزمون تشغيله فعليا، باستخدام بياناتكم وفي سيناريو العمل الخاص بكم.