باحثون من جامعة نانيانغ التكنولوجية يعلّمون نموذج ذكاء اصطناعي تجاوز الفيديو: توفير 59% من الرموز

توصّل باحثون من كلية علوم الحوسبة والبيانات بجامعة نانيانغ التكنولوجية (سنغافورة) إلى حل لمشكلة تعيق "النماذج الشاملة" — أنظمة ذكاء اصطناعي قادرة على معالجة النص والصوت والصور والفيديو في آنٍ واحد — من العمل بسرعة وبتكلفة منخفضة. فنماذج مثل Qwen2.5-Omni وQwen3-Omni تحقق نتائج قوية بالضبط لأنها تجمع بيانات من مصادر متنوعة لبناء فهم شامل للوضع. لكن هذه القوة لها ثمنها: معالجة الفيديو أغلى بأضعاف من معالجة النص والصوت، وفي الممارسة العملية، غالبًا لا يكون الفيديو ضروريًا أصلًا للوصول إلى الإجابة الصحيحة.

لماذا الفيديو كلفة باهظة وليس ضروريًا دائمًا

في اختبار WorldSense القياسي (اختبارات لفهم الأحداث من خلال الصوت والفيديو معًا)، قاس الباحثون أن طلبًا يجمع النص والصوت يستغرق في المتوسط حوالي 3000 رمز إدخال، بينما يرتفع هذا العدد إلى نحو 40000 رمز عند إضافة الفيديو — أي أكثر من 13 مرة. ومع ذلك، في بعض الأسئلة يكون الفيديو حاسمًا بالفعل (مثل سؤال "ما لون الباب" الذي لا يمكن حله دون صورة)، بينما في أسئلة أخرى لا يفعل الفيديو سوى الإعاقة. في أحد الأمثلة المذكورة، أجاب نموذج Qwen2.5-Omni بشكل صحيح بالاستناد إلى الصوت فقط، لكنه أخطأ عندما أُضيف الفيديو إلى الطلب — فالوسيط الإضافي أخرج النموذج عن المسار الصحيح.

كيف يعمل اختيار الوسائط المناسب لكل طلب

بدلًا من إعادة تدريب النموذج الشامل نفسه أو ضغط رموز الفيديو، اقترح الباحثون وضع "موجِّه" (router) خفيف أمام النموذج. يقتصر عمل هذا الموجِّه على فحص نص السؤال — عبر تمثيلات نموذج BGE-M3 — ويقرر، قبل تشغيل النموذج الرئيسي، إن كان النص والصوت (TA) كافيين أم أن الأمر يتطلب تفعيل الفيديو أيضًا (TAV).

لا يُدرَّب الموجِّه على مهمة تصنيف تقليدية، بل على مهمة حساسة لكلفة الخطأ: فلكل مثال تدريبي، يُحسَب أي خيار (TA أو TAV) يحقق أفضل توازن بين الدقة والكلفة، ويصبح هذا الخيار هو الإجابة الصحيحة المتوقعة من الموجِّه. كما تحصل الطلبات التي يكون فيها خطأ اختيار الوسيط مكلفًا بشكل خاص — سواء بإضراره الشديد بالدقة أو بزيادته الكبيرة لتكلفة الاستدلال — على وزن أعلى أثناء التدريب. وبهذه الطريقة، يتعلم الموجِّه تحديد الحالات التي يكون فيها الفيديو ضروريًا بالتركيز على الأمثلة الأكثر أهمية.

النتائج على أرض الواقع

جرى التحقق باستخدام اختبار WorldSense مع نموذجين — Qwen2.5-Omni-7B وQwen3-Omni — وقُيست كلفة كل طلب بثلاث طرق: عدد رموز الإدخال، زمن الاستجابة، والتكلفة المالية (حسب أسعار رموز كل وسيط).

• بالنسبة لنموذج Qwen2.5-Omni، حقق الموجِّه "الحساس للكلفة" المقترح دقة مماثلة لوضع "تقديم جميع الوسائط دائمًا" (TAV)، لكنه استهلك فقط حوالي 41% من رموز الإدخال، و39% من زمن الاستجابة، و61% من التكلفة المالية مقارنة بالوضع الكامل.
• وهذا يعني توفيرًا يقارب 59% في الرموز، و61% في الزمن، و39% في المال، مع الحفاظ على الدقة الأصلية.
• قارن الباحثون طريقتهم بعدة بدائل: الاختيار العشوائي للوسيط، وحَكَم قائم على نموذج Gemini 2.5 Pro يقرر من نص السؤال إن كان الفيديو ضروريًا، وكذلك مخططات متتالية — حيث يجيب النموذج أولًا بالاستناد إلى النص والصوت، ثم يستدعي الفيديو إضافيًا في حال كانت الثقة في الإجابة منخفضة. وفي جميع مقاييس الكلفة الثلاثة، حقق المُصنِّف الحساس للكلفة المقترح أفضل نسبة دقة إلى تكلفة مقارنة بجميع البدائل المذكورة.
• كما تجاوزت طريقة Estimate-Then-Predict (التي تقدّر جودة وكلفة كل تهيئة من الوسائط بنماذج منفصلة) المخططات المتتالية، لكنها بقيت أقل من الطريقة الرئيسية المقترحة.

ما يعنيه هذا للمهندسين

الخلاصة العملية واضحة: إذا كنت تبني منتجًا يعتمد على النماذج الشاملة (تحليل الفيديو، مراقبة المحتوى، مساعدين مزوّدين بكاميرا)، فلست مضطرًا لتضمين الفيديو في كل طلب بشكل افتراضي. يكفي مُصنِّف بسيط وغير مكلف يعتمد على نص الطلب لتحديد الحالات التي يكون فيها الفيديو ضروريًا بالفعل — وهذا قد يوفر أكثر من نصف ميزانية الاستدلال دون أي تراجع في جودة الإجابات. ويُعد هذا النهج ذا قيمة خاصة للخدمات ذات الحمل المرتفع، حيث يؤثر كل رمز وكل ملي ثانية إضافية في زمن الاستجابة مباشرة على فواتير الاستدلال.