وكيل الفيديو StreamVibe من Google يتفوق على النماذج الأخرى بنسبة 10,7% في توقيت الردود وجودتها

قدّم فريق من الباحثين في Google وستانفورد وأكسفورد وعدة جامعات أمريكية وكيل الفيديو StreamVibe، الذي يراقب شخصاً يطبخ أو يجمّع أثاثاً، ويقرر بنفسه متى يحين وقت الكلام. يختار نموذجه المدرَّب StreamVibe-VL كل ثانية بين الصمت والتعليق، ويتفوق على النماذج الأخرى بنسبة 10,7% في توقيت الردود وجودتها، أي إنه أدق في اختيار لحظة التلميح وأفضل في صياغته. ويضيف نظام ذاكرة إضافي 12,3% أخرى إلى التفاعل الاستباقي. ومع ذلك، تبقى المهمة نفسها صعبة جداً على أنظمة الذكاء الاصطناعي الحالية، خصوصاً في المقاطع الطويلة.

ما الذي لا تجيده مساعدات الفيديو الحالية

وفق وصف المؤلفين، صُمّمت مساعدات الفيديو الحالية للتعامل مع أوامر واضحة مثل «أخبرني عندما يغلي الماء». أما النوايا غير المعلنة فلا تلتقطها جيداً. ومن نقاط ضعفها الأخرى مراعاة ما أُنجز بالفعل: فالمساعد يكرر النصائح أو يجيب متأخراً. وإذا غيّر المستخدم طلبه في منتصف المهمة، فكثيراً ما يواصل النظام اتباع الطلب الأصلي. أما StreamVibe فيُفترض أن يفهم حتى الطلبات الفضفاضة مثل «ساعدني إذا واجهتَ صعوبات».

يميّز الوكيل بين ثلاثة أنواع من النوايا: الصريحة، والضمنية، والمتغيرة أثناء العمل. ولقياس المشكلة، جمع الفريق معياراً يضم نحو 4100 مثال استناداً إلى أكثر من 183 ساعة من تسجيلات الأنشطة اليومية والعمل على البرمجيات. اقترح Gemini 2.5 Flash متى يُقدَّم العون وماذا يُقال، وكان على أربعة مقيّمين بشريين الموافقة بالإجماع على كل مثال. ويتألف الاختبار من ثلاثة مستويات: تعليمات واضحة، وأهداف فضفاضة، وطلبات تتغير مع الوقت. وفي أحد الأمثلة، يفكك مستخدم حفارة لعبة ويطلب إبلاغه بالتقدم، ثم يتحول بعد ثلاث دقائق إلى فحص الجودة.

كيف صُمم النموذج وماذا أظهر

على هذه البيانات درّب الباحثون StreamVibe-VL، على الأرجح استناداً إلى Qwen3.5-9B من Alibaba. يقرر النموذج كل ثانية: يصمت أم يتكلم. وتقوم مرحلة التدريب الثانية على التعلم المعزز، وتجعل النموذج أكثر تحفظاً كي لا يقاطع المستخدم باستمرار. ويتتبع نظام ذاكرة منفصل الطلبات التي لم تُنفَّذ بعد والخطوات التي أُنجزت. ومع ذلك، يظل النموذج نفسه هو من يقرر ماذا يقول ومتى.

وبحسب المؤلفين، يتفوق StreamVibe-VL على النماذج الأخرى بنسبة 10,7% في توقيت الردود وجودتها. ويضيف نظام الذاكرة 12,3% أخرى إلى التفاعل الاستباقي، ويقلل، من بين أمور أخرى، التعليقات الزائدة. ويتقدم StreamVibe-VL بوضوح على النموذج الأساسي وعلى الأنظمة المفتوحة الأخرى، لكن النموذج المغلق Gemini 3.8 Flash من Google يظل أعلى منه في عدد من الاختبارات. وتؤكد الورقة أن التدريب المتخصص لا يضعف الفهم العام للفيديو.

توضح الأمثلة من الورقة ومن صفحة المشروع الفرق بجلاء. ففي درس GIMP عن تحويل صورة إلى الأبيض والأسود، يعلن نموذج المقارنة JoyAI أن الصورة النهائية حُفظت بالفعل، مع أن المستخدم لم يفتحها بعد. أما StreamVibe-VL فيقترح في الوقت المناسب الخطوة التالية: أولاً «الألوان»، ثم «إزالة التشبع». وفي فيديو عن لفائف الخبز المحمص بالمربى، تكتفي النماذج الأخرى بوصف ما يجري على الشاشة، كأن يُقال إن الخبز يُفرد بالشوبك، بينما ينصح StreamVibe-VL بقص القشرة أولاً.

أين ينهار النظام

أهم جزء في البحث هو القيود. فحين يُطلب من النماذج فقط تقييم مدى ملاءمة التلميح في لحظات محددة، فإنها تنجح غالباً. أما إذا عالج النموذج الفيديو كاملاً واعتمد على ردوده السابقة، فإن الجودة تنخفض لدى جميع الأنظمة المختبَرة بسبب تراكم الأخطاء. ويخسر مقياس مضمون الردود ما يصل إلى 61,5% عند الاعتماد على سجل النموذج نفسه. وفي المقاطع التي تزيد مدتها على خمس دقائق، نادراً ما تختار النماذج اللحظة الصحيحة، وتتتبع التعليمات المعدَّلة على المدى الطويل بشكل سيئ بوجه خاص. أما الطبقة المساندة المزودة بالذاكرة فتقلل في الأساس عدد التدخلات الزائدة، ولا تحل مشكلة التوقيت.

ويقر المؤلفون أنفسهم بأن المواقف الواقعية على الأرجح أكثر تعقيداً من إعداد الاختبار. ويريدون لاحقاً دراسة كيف يؤثر تفضيل المستخدم والبيئة أحدهما في الآخر مع مرور الوقت.

السياق: Google تتجه منذ فترة نحو التحليل الاستباقي للفيديو

في سبتمبر عرضت Google التحليل الوكيلي للفيديو في Gemini: يقرر النموذج بنفسه أي المشاهد يتفحصها بتفصيل أكبر. وأظهرت الشركة مؤخراً، مع Gemini 4 Argon، كيف يتتبع الذكاء الاصطناعي سلاسل طويلة من الأفعال في فيديوهات الروبوتات ويكتشف الأخطاء. ويضيف StreamVibe إلى ذلك القدرة على فهم ما يجري الآن وإدراك متى تكون المساعدة مطلوبة فعلاً.

وتشير أبحاث مشابهة إلى نقاط ضعف مماثلة. ففي ProactiveBench (اختبار لقياس القدرة على طرح أسئلة توضيحية)، تلجأ النماذج عند نقص المعلومات البصرية إلى التخمين أو رفض الإجابة أكثر مما تطلب التوضيح. وكشف معيار منفصل لفهم الفيديو عن إخفاقات جسيمة في الاستدلال المكاني والزمني. وبالنسبة إلى الوكلاء المستقلين، قد يضر الحوار نفسه بالنتيجة، كما بيّن باحثو Microsoft.

الخلاصة العملية للمطورين: لا يزال تصميم مساعد فيديو استباقي يتطلب ذاكرة صريحة للمهمة وحداً لعدد مرات التدخل. ومن المبكر الاعتماد على أن نموذجاً واحداً سيحافظ على سياق الفيديو الطويل.