الذكاء الاصطناعي للفيديو المباشر لا يكاد يطرح أسئلة استيضاحية: أفضل نموذج حقق 7,22% في اختبار AskStream

أصدر فريق من معهد الأتمتة التابع للأكاديمية الصينية للعلوم، وأكاديمية بكين للذكاء الاصطناعي (BAAI)، وجامعتين أخريين، اختبار AskStream لنماذج الذكاء الاصطناعي الخاصة بالفيديو، يشاهد فيه النموذج المقطع كما لو كان بثًا مباشرًا. يقيس الاختبار مهارة لا تكاد تكون متطورة لدى النماذج: أن تدرك في الوقت المناسب أن المعلومات غير كافية، وأن تسأل. ولهذا الغرض ابتُكر مقياس Ask-F1، الذي لا يحتسب السؤال إلا إذا طُرح في النافذة الزمنية الصحيحة ولسبب صحيح. حصل أفضل نموذج أوفلاين على 52,18%، وأفضل نموذج بثّ على 7,22%. أي بفارق سبعة أضعاف.

لماذا ينبغي للنموذج أن يستوضح

المخطط المعتاد هو أن يتلقى النموذج الفيديو كاملًا ثم يجيب. أما نماذج البث فتشاهد المقطع مع وصول اللقطات وتجيب في الوقت الفعلي. والخطوة التالية هي النماذج الاستباقية: فهي تختار بنفسها لحظة الإجابة، فتنبّه مثلًا إلى حالة شاذة أو ترشد المستخدم وفق تعليمات. وتفترض كل هذه المخططات أن كل ما يلزم للإجابة سيظهر في التدفق عاجلًا أم آجلًا.

لكن الواقع مختلف. فقد يكون الجسم المطلوب ضبابيًا، أو تصوّر الكاميرا من الجهة الخطأ، أو يطرح المستخدم سؤالًا ملتبسًا. عندها إما ينتظر النموذج إلى ما لا نهاية، وإما يختلق إجابة. ويقترح المؤلفون إجراءً ثالثًا إلى جانب «الانتظار» و«الإجابة»: السؤال.

واختبروا جدوى هذه الخطوة. حين كان الجسم الرئيسي في الفيديو ضبابيًا، بلغت دقة الإجابة 42,3%. وبعد طلب فيديو واضح ارتفعت إلى 62,3%. أما عند تقديم فيديو نقي تمامًا منذ البداية فتبلغ 63,1%. ولم تُفد التوضيحات غير المناسبة إلا قليلًا. فالمعلومات الصحيحة تقلل عدم اليقين لدى النموذج وتحرّك الاحتمال نحو الإجابة الصحيحة.

ثمانية مواقف تستدعي السؤال

ينقسم عدم اليقين إلى مصدرين: الفيديو والمستخدم. ومعًا ينتجان ثماني مهام فرعية:

• KVEM — الجسم الرئيسي في الإطار ضبابي، ويجب طلب فيديو واضح.
• VIM — التفاصيل المطلوبة غير مرئية من الزاوية الحالية، ويجب طلب زاوية أخرى.
• ICM — يظهر في الفيديو جسم، لكن النموذج لا يعرف دلالته الشخصية للمستخدم (مثلًا، لمن هذا الغرض)، ولذلك عليه أن يسأل.
• PACM — يؤدي المستخدم فعلًا له اسم خاص به، ولا يعرف النموذج تعريفه.
• AUQ — السؤال ملتبس، ويجب توضيح القصد.
• سؤال ذو فرضية خاطئة — على النموذج أن يلاحظ أن السؤال يناقض الفيديو، وأن يصحح للمستخدم ثم يجيب.
• UPM — تتطلب الإجابة معرفة أذواق المستخدم، مثل الأسلوب، ويجب أن يسأل عنها.
• UPC — التفضيلات المحفوظة لم تعد صالحة، وعلى النموذج أن يطلب التفضيلات الحالية.

في بعض المهام تتضح المشكلة فورًا، وعلى النموذج أن يسأل ثم ينتظر اللقطات المطلوبة. وفي مهام أخرى لا يظهر النقص إلا أثناء الفيديو، ويجب أن يأتي السؤال لاحقًا. ويُحتسب الدور إذا طُرح السؤال الصحيح في النافذة المناسبة، ثم قُدمت إجابة صحيحة.

كيف جُمعت البيانات وكيف جرى التحقق

يضم الاختبار 438 فيديو و1 401 سؤال من تسعة مجالات. وتتراوح مدة المقاطع بين 16,72 ثانية و118 دقيقة. أُخذت مقاطع الفيديو من YouTube ومن مجموعات بيانات جاهزة، وصُنع بعضها اصطناعيًا في Blender. وجرى تمويه الأجسام عبر Grounded SAM 2، واستُعين بـ PySceneDetect في تقسيم المقاطع. وولّد GPT-5.6 Sol خيارات الإجابة، وراجع البشر كل مثال: فبدون المعلومات الناقصة لا يمكن الإجابة بشكل قاطع، ومعها يمكن. وفي الاختبار كله 2 714 علامة زمنية بدقة الإطار الواحد، بمتوسط 3,2 دور لكل فيديو.

وللنماذج الأوفلاين، التي لا تستطيع العمل مع التدفق، بنى المؤلفون ذاكرة هرمية. تُحفظ آخر 10 لقطات (لقطة واحدة في الثانية) كما هي. وتُضغط كل 10 لقطات في سجل واحد متوسط المدى. ويُدمج كل أربعة سجلات من هذا النوع في سجل طويل المدى، ولا يزيد عدد الكتل طويلة المدى على ثماني. ويتخذ النموذج قراره مرة كل ثانية بهامش ±1 ثانية. وفي الوضع المفتوح يقيّم Gemini-3.8 Flash الإجابات.

ماذا أظهرت النتائج

من بين النماذج الأوفلاين يبدو Gemini-3.8 Flash الأقوى: ففي المهام الفرعية حقق 37,17% في KVEM، و43,10% في الأسئلة ذات الفرضية الخاطئة، و81,36% في UPC. ومع ذلك تتباين النتائج بشدة بين أنواع عدم اليقين.

أما نماذج البث الاستباقية فأداؤها أسوأ بكثير: ففي معظم المهام الفرعية حصلت على صفر، وعجز كثير منها عن إنجاز المهمة أصلًا. وأفضلها، AURA، حقق 7,22% فقط.

والأخطاء الأكثر شيوعًا من نوعين: سؤال مبكر أكثر من اللازم حين لا تتوفر الأدلة بعد، وسؤال لا يمس جوهر المسألة. وإذا أُبلغ النموذج متى وماذا يسأل، يرتفع Ask-F1 بمقدار 43,83 نقطة مئوية. أي أن الإخفاق الرئيسي ليس في الإجابات، بل في القدرة على اكتشاف الفجوة.

ما معنى ذلك للمطورين

بالنسبة إلى مساعدي الفيديو، سواء في النصائح اليومية أو في المرافقة عن بُعد للعمليات، تكاد هذه القدرة تكون شرطًا لازمًا. فالمساعد الذي يجيب بثقة استنادًا إلى لقطة ضبابية أخطر من مساعد يطلب إعادة العرض. أما الآن فنماذج البث غير جاهزة لذلك، ويمنحها هذا الاختبار هدفًا قابلًا للقياس. ويعيب الاختبار صغر حجمه (1 401 سؤال) واعتماده الكبير على النماذج الحَكَم في الوضع المفتوح.