تدقيق POPE: اختيار رموز «yes/no» يزيح F1 لنموذج LLaVA-1.5 بمقدار 6,13 نقطة

حاول مؤلفو ورقة بحثية أولية (preprint) إعادة إنتاج نتيجة حديثة في الحد من الهلوسات على اختبار POPE، لكنهم اصطدموا بالتقييم نفسه. فقد سجّل النموذج الأساسي LLaVA-1.5-7B قيمة F1 تبلغ 82,21 على مجموعة adversarial. وهذا أعلى بمقدار 1,21–8,67 نقطة من خطوط الأساس التي كان من المقرر مقارنة الطريقة بها: 81,00 و79,30 و73,54. بدا هذا التفاوت مريبًا. وتبيّن السبب في الكود: الطريقة التي تُستخرج بها الإجابة «نعم» أو «لا» من اللوجيتات تُزيح المقياس بحد ذاتها.

أين يتعطل استخراج الإجابة

يقارن التنفيذ القائم على القراءة بالرمزين بين لوجيتَي معرّفين في المفردات: 3582 («yes») و1217 («no»). وفي 9000 سؤال موزعة على المجموعات الثلاث، لم يولّد النموذج أيًّا من هذين الرمزين عند فك الترميز الجشع (greedy decoding). وبدلًا منهما يُخرج « Yes» (3869) و« No» (1939). إذ يضيف SentencePiece بايت مسافة بعد لاحقة الموجّه «ASSISTANT:»، فتحصل الكلمة على معرّف مختلف.

استبدل المؤلفون هذه القراءة بجدول من ثمانية رموز يغطي الصيغ ذات المسافة البادئة. وجاءت نتائج LLaVA-1.5-7B كما يلي:

• adversarial: F1 يساوي 0,8221؛
• popular: F1 يساوي 0,8498؛
• random: F1 يساوي 0,8713؛
• الإزاحة على adversarial الناتجة عن تغيير القراءة: 6,13 نقطة.

ويُستنتج من الرقم الأخير أن الطريقة القديمة كانت تعطي نحو 76,1 على adversarial. وهذا حسابنا نحن، فالملخص الأولي للورقة لا يذكر هذه القيمة. ويتجاوز التحسن الناتج عن تغيير البروتوكول ما أعلنته خمس من الأوراق الست التي شملتها الدراسة. ولا تذكر أي منها كيف استخرجت الإجابة.

ما لا يدّعيه المؤلفون

الاستنتاج حذر. فقد جرى التشغيل المرجعي بتكميم 4-bit من نوع NF4، لذلك لا يمكن القول أي نسبة من التحسنات المعلنة كانت ستصمد أمام التحقق عند توحيد القراءة والدقة معًا. ويبقى السؤال مفتوحًا ما لم يتطابق المعياران. ولا تتضمن الورقة اتهامًا بتضخيم النتائج. فالمقصود أن المقارنات التي لا تصف بروتوكولها لا يمكن عدّها صحيحة.

وعلى خط الأساس المصحّح، اختبر المؤلفون تسعة تصحيحات ابتكروها هم وقت الاستدلال. ولم يتفوق أي منها عليه. كما فحصوا لماذا تستعصي مجموعة adversarial على التدخل على مستوى اللوجيتات. ففي عيّنة من 3000 سؤال، نالت الإجابات الخاطئة انتباهًا إلى الصورة أكبر من الإجابات الصحيحة: Cohen's d = −0,46، وp = 1,4×10⁻²⁴. وهذا يناقض افتراض الطرق التي تعزز الارتباط بالصورة، إذ تنطلق من أن الخطأ ينشأ من نقص الانتباه إلى الصورة.

مشكلة في البروتوكول لا في نموذج واحد

للتأكد من أن المشكلة لا تخص LLaVA وحدها، أخذ المؤلفون أربعة نماذج VLM أخرى من ثلاث عائلات من المُرمِّزات (tokenizers). ونقل المعرّفات من LLaVA-1.5 دون تغيير يُصفّر F1 في نموذجين لا تتقاطع مفرداتهما مع مفردات LLaVA. أما القراءة المشتقة من المُرمِّز الخاص بكل نموذج فتبقى ضمن النطاق 0,80–0,92. وهذا يعني أن الاختبار حساس لتفاصيل الترميز في أي ثنائية من النموذج والموجّه.

ماذا نفعل عند مقارنة النماذج

الخلاصة العملية لمن ينشر نتائج POPE وغيره من اختبارات yes/no المشابهة أو يقرؤها:

• تحقق من الرموز التي تظهر فعليًا عند فك الترميز الجشع، قبل حساب المقاييس.
• ابنِ جدول الإجابات المقبولة من المُرمِّز الخاص بالنموذج نفسه، بما في ذلك الصيغ ذات المسافة البادئة واختلاف حالة الأحرف.
• اذكر طريقة القراءة ودقة الأوزان (مثل NF4 أو fp16) في وصف التجربة.
• أعد حساب خطوط الأساس الخاصة بالآخرين بكودك أنت، ولا تنقل الأرقام من الجداول.

ما لم يُثبَّت البروتوكول، فقد يعكس الفارق البالغ نقطة أو نقطتين من F1 على POPE اختيار الرموز، لا جودة طريقة مكافحة الهلوسات.