المجموعة العلنية من AA-Omniscience v1.1 تطابق المجموعة المغلقة في Net Score بارتباط 0,99

نشرت Artificial Analysis على Hugging Face مجموعة علنية جديدة لاختبار AA-Omniscience v1.1. وتفيد الشركة بأنها عُيّرت خصيصًا لتطابق صعوبتها صعوبة المجموعة المغلقة. وعند الإصدار بلغ الارتباط بين النتائج العلنية والمغلقة في مقياس AA-Omniscience Net Score قيمة 0,99، أما الفارق الوسيط فبلغ 0,0 نقطة. وقارن المؤلفون كذلك الدقة ونسبة الهلوسة على المجموعتين، لكن النص الكامل للمنشور مبتور في مصدرنا، ولذلك لا تتوافر لدينا أرقام محددة لهذين المقياسين.

لماذا يحتاج المعيار إلى مجموعتين

يختبر AA-Omniscience مدى دقة النماذج اللغوية في الإجابة عن الأسئلة الواقعية، وعدد المرات التي تختلق فيها إجابة بدلًا من الاعتراف بأنها لا تعرف. ويجمع Net Score هذين الجانبين في تقييم واحد: الإجابة الصحيحة ترفعه، والخطأ الذي يُقدَّم بثقة يخفضه. وقد يتفوق نموذج يجيب أقل لكن بلا اختلاق تقريبًا على نموذج يجيب عن كل شيء ويخطئ كثيرًا.

ولهذا الأسلوب مشكلة معروفة. فإذا كانت جميع الأسئلة متاحة للعموم، فإنها تصل عاجلًا أو آجلًا إلى بيانات التدريب، فتكفّ الأرقام عن التعبير عن المعرفة الحقيقية. لذلك يُجرى التقييم الأساسي على مجموعة مغلقة لا يعرفها سوى الجهة المنظِّمة. غير أن الفرق المستقلة تريد تشغيل النماذج بنفسها: لاختبار ما أجرته من تدريب إضافي، ومقارنة نسخ التكميم، وتصحيح الـ prompts وخطوط المعالجة (pipelines). وهي تحتاج لذلك إلى مجموعة مفتوحة. ولا تفيد هذه المجموعة إلا إذا كانت نتائجها تتنبأ بنتائج المجموعة المغلقة.

ماذا تعني القيمتان 0,99 و0,0

يعني الارتباط 0,99 أن ترتيب النماذج على المجموعتين العلنية والمغلقة لا يكاد يختلف. فإذا تفوق النموذج A على النموذج B على البيانات المفتوحة، فمن المرجح بدرجة كبيرة أن يتفوق عليه على المغلقة أيضًا. أما الفارق الوسيط 0,0 نقطة فيدل على أمر آخر: التقييمات تتطابق في الترتيب وفي القيم المطلقة معًا. فالنموذج النموذجي يحصل على المجموعة المفتوحة على Net Score نفسه الذي يحصل عليه على المغلقة.

يكمّل المؤشران أحدهما الآخر. فقد يكون الارتباط مرتفعًا مع وجود انزياح منهجي، كأن تحصل جميع النماذج على المجموعة المفتوحة على 10 نقاط أكثر. والفارق الوسيط القريب من الصفر يستبعد هذا الانزياح تحديدًا. وللممارسين يعني ذلك أن المجموعة المفتوحة تصلح لا للمقارنة فقط، بل لتقدير تقريبي لمستوى النموذج أيضًا.

قيود ينبغي وضعها في الحسبان

أولًا، يتحدث المؤلفون عن التطابق «عند الإصدار». فالأسئلة العلنية تبقى علنية، وقد تدخل في مدونات التدريب، وعندها ستنمو النتائج على المجموعة المفتوحة أسرع من نموها على المغلقة. وسيتعين إعادة التحقق من الارتباط مع مرور الوقت.

ثانيًا، تتعلق المؤشرات بالنماذج التي شغّلتها Artificial Analysis فعلًا على المجموعتين. أما المعماريات الجديدة أو استراتيجيات الامتناع غير المعتادة عن الإجابة، فالتطابق فيها غير مضمون. والمقاييس التي تعاقب على الخطأ شديدة الحساسية للطريقة التي يقرر بها النموذج هل يجيب أم يمتنع.

ثالثًا، لم نطّلع إلا على منشور قصير. أما حجم المجموعة وقائمة موضوعاتها ومنهجية معايرة الصعوبة، فالأفضل الرجوع فيها إلى بطاقة مجموعة البيانات على Hugging Face وإلى وثائق Artificial Analysis.

الخلاصة العملية بسيطة. إذا كنت تختار نموذجًا لمهام يكلّف فيها اختلاق المعلومة ثمنًا باهظًا، مثل الدعم الفني أو الاستشارات القانونية أو الطبية، فيمكنك الآن اختباره بنفسك على مجموعة AA-Omniscience المفتوحة وتوقّع نتيجة قريبة من النتيجة الرسمية. أما للمقارنة النهائية بين نماذج شركات مختلفة، فلا يزال من الأحكم الاعتماد على المجموعة المغلقة التي تحدّثها Artificial Analysis بنفسها وتتحكم فيها.