Artificial Analysis تطلق AA-Omniscience v1.1: انخفاض متوسط في Net Score بنحو نقطتين

أطلقت Artificial Analysis النسخة AA-Omniscience v1.1، وهي نسخة محدَّثة من اختبار يقيس المعرفة الواقعية للنماذج اللغوية وميلها إلى الهلوسة. يُسمّى المقياس النهائي Net Score: ووفق منهجية الاختبار تُعاقَب الإجابات الخاطئة، ولذلك يبدو النموذج الذي يكذب بثقة أسوأ من النموذج الذي يمتنع بصدق عن الإجابة. على مجموعة الأسئلة المحدَّثة، يقلّ Net Score لدى النماذج بنحو نقطتين في المتوسط، ويبلغ الانخفاض الوسيط 0.6 نقطة، ويبلغ معامل ارتباط الرتب لسبيرمان مع النسخة الأولى 0.98. ونشر الفريق هذه الأرقام في منشور على منصة X.

ما الذي تغيّر بالأرقام

الخلاصة الرئيسية للمؤلفين: الترتيب لم يتضرر إلا قليلًا. يبيّن معامل ارتباط الرتب لسبيرمان مدى تطابق ترتيب النماذج في قائمتين، وهو بين v1 وv1.1 يساوي 0.98. والقيمة القريبة من الواحد تعني أن النموذج الذي تصدّر النسخة الأولى يبقى في معظم الحالات في أعلى الجدول في النسخة الثانية. والأمر نفسه ينطبق على الوسط والأسفل.

ومع ذلك تحرّكت الدرجات المطلقة. فعلى المجموعة المحدَّثة تحصل النماذج في المتوسط على نحو نقطتين أقل في Net Score. أما الانخفاض الوسيط فأكثر تواضعًا بوضوح: 0.6 نقطة. والفجوة بين المتوسط والوسيط تدل على أن النموذج النموذجي يخسر القليل، وأن بعض المشاركين ذوي التراجع الأشد هم من يسحبون المتوسط إلى الأسفل. وينقطع منشور X عند جملة تفيد بأن التغيرات لدى بعض النماذج أكبر بكثير، ولذلك ينبغي البحث عن تفاصيل كل نموذج في منشور Artificial Analysis الكامل.

لماذا يُحدَّث اختبار المعرفة

تشيخ الاختبارات ذات الأسئلة الثابتة. فالأسئلة تتسرب إلى بيانات التدريب، ويبدأ المطورون بتحسين النماذج لمجموعة معروفة، وتظهر في المسائل نفسها أخطاء وإجابات قديمة. وتحديث المجموعة هو الأسلوب المعتاد لإعادة القدرة التمييزية إلى الاختبار. ويتسق الانخفاض العام الطفيف في الدرجات مع هذا المنطق: ففي الأسئلة الجديدة أو المصحَّحة تكون النتائج عادة أقل قليلًا. لكن Artificial Analysis لا تذكر في النص المتاح من منشورها أسباب الانخفاض، ولذلك فهذا مجرد تفسير معقول وليس حقيقة مؤكدة.

وفي اختبار كهذا، ثبات ترتيب النماذج أهم من القيم المطلقة. فـ Net Score وُضع لمقارنة النماذج ببعضها: أيها يختلق الوقائع أقل، وأيها يعرف أفضل متى يجدر به الصمت. ولو انخفض الارتباط إلى 0.7–0.8 لكان ذلك يعني أن v1.1 تقيس شيئًا آخر، وأن الاستنتاجات القديمة تحتاج إلى مراجعة. أما عند 0.98 فتحتفظ المقارنات السابقة بقوتها في الجملة.

كيف نقرأ النتائج عمليًا

القاعدة الأولى: لا تخلطوا بين النسخ. فإذا أُخذت أرقام جدول النماذج جزئيًا من v1 وجزئيًا من v1.1، فستنحرف المقارنة بنحو نقطتين في المتوسط، وبأكثر من ذلك لدى بعض النماذج. وللتقييم الداخلي ينبغي اعتماد قيم من نسخة واحدة وتحديدها صراحةً.

الثانية: لا ينبغي اعتبار الفروق الصغيرة في Net Score دليلًا على التفوق. فالإزاحة الوسيطة البالغة 0.6 نقطة تضاهي الفارق بين النماذج المتجاورة في الجزء المزدحم من التصنيف. وقد تتبادل المواقع بسهولة نماذج ذات درجات متقاربة عند تغيير النسخة، ولا ينفي ذلك ارتفاع معامل سبيرمان: فهو يصف الصورة العامة لا كل زوج على حدة.

الثالثة: إذا كانت مهمتكم حساسة للهلوسة، كالمساعدات المرجعية والدعم والعمل مع المستندات، فمن الأجدر الانتباه إلى النماذج التي تغيّرت نتيجتها بأكثر من المتوسط بوضوح. فقد تكون هي التي استفادت من مجموعة الأسئلة القديمة. وعندما تكشف Artificial Analysis التفاصيل، ينبغي مطابقة القائمة مع النماذج التي تستخدمونها في بيئة الإنتاج.

القيود واضحة: لا يتضمن المنشور الأصلي قائمة بالنماذج، ولا بيانات عن حجم مجموعة الأسئلة المحدَّثة وتركيبها، ولا تفسيرًا للأسئلة التي جرى استبدالها. وكل ما هو معروف أن v1.1 تحافظ على ترتيب v1 بارتباط 0.98، وأن Net Score المتوسط أقل بنحو نقطتين، والوسيط أقل بـ 0.6 نقطة. والخلاصة بالنسبة إلى معظم الفرق بسيطة: يمكن مواصلة استخدام التصنيف، لكن لا يجوز وضع أرقام النسخة القديمة والجديدة في عمود واحد.