اختبار EvaOmni يقيّم 24 نموذج أومني: المتصدر يسجل 79,4% في الدقة، لكن التأريض عند 35,1%

يقترح مؤلفو اختبار EvaOmni تقييم نماذج أومني عبر سلسلة الاستدلال كاملة، لا عبر خيار إجابة واحد. تضم المجموعة 392 مقطع فيديو و1027 زوجًا من «سؤال — جواب» وسمها بشر يدويًا. وعلى النموذج أن يعيد الإجابة مع الفواصل الزمنية التي استند إليها في الصوت وفي الصورة. اختُبر 24 نظامًا: 7 نماذج بأوزان مفتوحة و17 نموذجًا مغلقًا. وحقق Gemini3.7-Flash أفضل نتيجة بدقة 79,4%، لكنه لم يسجل في مقياس Bottleneck Grounded Score سوى 35,1%.

لماذا احتاج الاختبار إلى الأدلة

تقوم معظم اختبارات الاستدلال السمعي البصري على أسئلة متعددة الخيارات. ينال النموذج درجة على الحرف الصحيح، وينتهي الأمر. ولا يتبيّن من هذا التقييم هل عثر على الصوت المطلوب والإطار المطلوب، أم خمّن الإجابة من صياغة السؤال. ويشير المؤلفون إلى مشكلة ثانية: الاختصارات النصية وأحادية الوسيط. فإذا أمكن الوصول إلى الإجابة بمشاهدة الصورة وحدها أو بقراءة السؤال وحده، فإن الاختبار لا يقيس ما يدّعي قياسه.

لذلك اعتمد EvaOmni وسمًا متعدد المراحل. يحدد الخبراء أولًا الأدلة الصوتية والبصرية، ويبنون المشتتات (distractors) انطلاقًا من الفيديو نفسه. ثم يتحقق بشر من اجتياز كل سؤال للمعايير الصارمة. وتتولى النماذج آخر مرحلة تصفية، إذ تستبعد الأسئلة التي يمكن حلها بالنص أو بوسيط واحد. وتغطي الأسئلة 15 قدرة مجمّعة في ثلاثة مستويات: البحث والتحديد، والفهم الأساسي، والاستدلال المعقد.

كيف يُحتسب التأريض

إلى جانب الإجابة، يعيد النموذج فواصل زمنية للمقاطع الداعمة. ولتقييمها أدخل المؤلفون مقياسين. يبيّن Coverage Grounded Score (C.G.) نسبة الأدلة التي وسمها الخبراء وعثر عليها النموذج. أما Bottleneck Grounded Score (B.G.) فيعاقب ضعف التحديد الزمني في أي من الوسيطين: إذ تخفض نقطة الضعف في الصوت أو في الفيديو الدرجة. ويؤخذ المقياسان معًا في الحسبان مع صحة الإجابة.

الأرقام الرئيسية للمتصدر Gemini3.7-Flash:

• الدقة الإجمالية: 79,4%؛
• C.G.: 70,8%؛
• B.G.: 35,1%؛
• Level 3 (الاستدلال المعقد): الدقة 79,1%، وB.G. عند 12,3%.

تقدّم Gemini3.7-Flash في المؤشرات العامة الثلاثة على منافسيه المفتوحين والمغلقين. لكن الفجوة داخل نتائجه هو أوضح من الفجوة بين النماذج. ففي المهام الصعبة يجيب بشكل صحيح بنسبة قريبة من متوسط المجموعة، بينما لا تتطابق فواصله الزمنية مع فواصل الخبراء إلا في جزء ضئيل من الحالات.

يمكن تفسير هذه الفجوة بأكثر من طريقة. فقد يفهم النموذج المشهد ككل، لكنه لا يستطيع تحديد موضع الأصوات والإطارات المطلوبة في التدفق بدقة. كما يحتمل وجود مسارات التفافية متبقية إلى الإجابة لم تلتقطها التصفية. وتعرض الورقة أرقامًا إجمالية، ولا يمكن من خلالها تحديد السبب الغالب. ويخلص المؤلفون أنفسهم إلى استنتاج حذر: حتى أقوى نماذج أومني لا يزال أمامها مجال للتحسن في الاستدلال السمعي البصري المؤرَّض. ومن المهم كذلك مراعاة الحجم: 1027 سؤالًا مجموعة صغيرة، وB.G. بحكم بنائه مقياس صارم جدًا.

ما الذي ينبغي تغييره في التقييم والمنتجات

بالنسبة إلى الفرق التي تبني منتجات على الفيديو والصوت (تحليل مكالمات الاجتماعات، وتحليل تسجيلات الكاميرات، والدعم بالتعليمات المصورة)، فالخلاصة عملية. فالدقة في اختيار الإجابة لا تتنبأ جيدًا بإمكانية الوثوق بالنموذج عندما يلزم التحقق من ادعائه. وإذا كانت الإجابة ستدخل في تقرير أو وثيقة ذات أثر قانوني أو قرار مشغّل، فاطلبوا من النموذج أكوادًا زمنية منفصلة للكلام وللصورة، وقارنوها على عينة منها على الأقل.

ويمكن على بياناتكم الخاصة بناء نسخة مصغّرة من المخطط نفسه: 50–100 مثال موسوم بفواصل زمنية، مع تقييم الإجابة والتحديد معًا، وحساب منفصل للوسيط الأضعف. سيُظهر هذا الاختبار سريعًا المواضع التي يجيب فيها النموذج بثقة لكنه لا يستطيع إظهار مصدر إجابته. وفي الواجهة ينبغي عرض رابط إلى المقطع، كي يتحقق الشخص من الاستنتاج في بضع ثوانٍ بدلًا من إعادة مشاهدة الفيديو كاملًا.