ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارX: @vllm_project→ المصدر

نموذج الفيديو AURA 2.0 يبادر بالحديث من تلقاء نفسه: الرد الصوتي يصل خلال 344 مللي ثانية

يظل المساعد المرئي التقليدي صامتًا ما لم يُسأل، أما AURA 2.0 بحجم 9 مليارات معامل فيراقب الكادر بنفسه ويقرر متى يتكلم، كأن يحذّر من سلك سخن أكثر من اللازم. ويدعم محرك vLLM-Omni النموذج منذ اليوم الأول، وهو المحرك الذي يشغّله على الخادم. يصل أول جزء من الرد الصوتي خلال 344 مللي ثانية، أي أكثر بقليل من ثلث ثانية (الوسيط). وهذا قريب من سرعة الكلام الحي بالنسبة إلى المساعدات المزوّدة بكاميرا. يعتمد هذا الزمن على جلسة واحدة تعمل على مسرّعين بذاكرة تبلغ نحو 140 غيغابايت لكل منهما. وتقلّص زمن الاستجابة تقنيتان: إعادة استخدام الجلسات والبادئات، ومسار سريع لحالات الصمت. ويتصدر النموذج، بحسب مطوّريه، أربعة اختبارات مقارنة هي IPIBench وStreamArena وProactiveVideoQA وPhoStream. والمقارنة أجراها المؤلفون وفريق vLLM أنفسهم.

معالج بواسطة الذكاء الاصطناعي من X: @vllm_project؛ بتحرير Hamidun News
نموذج الفيديو AURA 2.0 يبادر بالحديث من تلقاء نفسه: الرد الصوتي يصل خلال 344 مللي ثانية
المصدر: X: @vllm_project. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليX: @vllm_project ↗
رئيس التحرير
إعادة استخدام الجلسات والبادئاتالجزء الذي سبقت معالجته من التدفق لا يُحسب من جديد؛
مسار سريع لأدوار «الصمت»إذا قرر النموذج ألا يقول شيئًا، فلا يشغّل دورة التوليد الكاملة؛
بثّ الكلام جملةً جملةيبدأ النطق بمجرد أن تصبح الجملة الأولى جاهزة، دون انتظار الرد كله.

تخيّل مساعدًا مزوّدًا بكاميرا يراقبك وأنت تصلح لوحة الكهرباء، ثم يقول من تلقاء نفسه: «انتبه، السلك سخن أكثر من اللازم». نماذج الفيديو التقليدية لا تفعل ذلك: فهي تنتظر السؤال، وتصمت من دونه. أما AURA 2.

0 فهو نموذج فيديو تدفقي بحجم 9 مليارات معامل (تسعة مليارات وزن قابل للضبط، أي نموذج متوسط الحجم)، يتابع ما يجري بنفسه ويقرر متى يدخل في الحديث. وأعلن فريق مشروع vLLM أن محركه vLLM-Omni (وهو برنامج يشغّل النماذج على الخادم ويعالج طلبات المستخدمين) يدعم AURA 2.0 منذ اليوم الصفر، أي منذ لحظة صدوره.

والرقم الأبرز في الإعلان هو 344 مللي ثانية: هذا هو الزمن الوسطي (الوسيط) الذي يمضي قبل وصول أول جزء من الرد الصوتي. وهو أكثر بقليل من ثلث ثانية، أي ما يقارب غياب أي توقف ملحوظ.

ماذا يستطيع AURA 2.0 أن يفعل

يراقب النموذج المشهد باستمرار، ويجيد ثلاثة أمور.

الأول هو الحديث بمبادرة ذاتية. فهو يقرر بنفسه متى يقول شيئًا وماذا يقول، دون أن ينتظر سؤالًا. وبدل نمط «سؤال — جواب» المعتاد، نحصل على مراقب يدرك متى يكون التدخل في محله ومتى يكون الصمت أفضل.

الثاني هو استدعاء الأدوات مع مراعاة التدفق. يستند النموذج إلى ما يظهر في الكادر الآن وإلى مجرى المحادثة، فيتصل بخدمات خارجية ويعيد النتيجة إلى الحوار مباشرة. فمثلًا، إذا رأى في الفيديو قطعة عليها علامة تعريف، طلب بياناتها ونطق بالنتيجة.

الثالث هو الربط البصري. فحين يتحدث النموذج عن جسم ما، يشير إليه بإطارات متزامنة مع لقطات الفيديو. ولا يحتاج المستخدم إلى تخمين أي «شيء» بالتحديد يقصد.

من أين تأتي الـ 344 مللي ثانية

يتألف المساعد الصوتي المزوّد بالفيديو من ثلاث حلقات: التعرف على الكلام، ومعالجة الفيديو مع اللغة، وتوليد الكلام الذي يمثل الرد. ووفقًا لـ vLLM، فإن vLLM-Omni يخدم هذه السلسلة بالكامل. ولكي لا يتراكم التأخير، جرى اعتماد ثلاثة أساليب:

  • إعادة استخدام الجلسات والبادئات: الجزء الذي سبقت معالجته من التدفق لا يُحسب من جديد؛
  • مسار سريع لأدوار «الصمت»: إذا قرر النموذج ألا يقول شيئًا، فلا يشغّل دورة التوليد الكاملة؛
  • بثّ الكلام جملةً جملة: يبدأ النطق بمجرد أن تصبح الجملة الأولى جاهزة، دون انتظار الرد كله.

والنتيجة التي يعلنها المشروع: زمن وسطي حتى أول حزمة صوتية من الرد يبلغ 344 مللي ثانية. وأُجري القياس في إعداد يضم جلسة واحدة على مسرّعين، بذاكرة تقارب 140 غيغابايت لكل منهما. وهذا رقم جاد لتحقيق إحساس المحادثة الحية. لكن النتائج قد تختلف في الأحمال الفعلية عندما تعمل تدفقات كثيرة في وقت واحد، ولا توجد في الإعلان بيانات لهذا السيناريو.

الاختبارات المعيارية وكيف نتعامل معها

يزعم المؤلفون أن AURA 2.0 يتصدر أربع مقارنات تجميعية: IPIBench وStreamArena وProactiveVideoQA وPhoStream. وهذه اختبارات للفيديو التدفقي والسلوك الاستباقي، أي للمواقف التي ينبغي فيها للنموذج أن يدرك بنفسه اللحظة المناسبة للتعليق. وثمة تحفظ: فالمقارنة أجراها المؤلفون وفريق vLLM أنفسهم. ولا ترد في المنشور أرقام محددة، ولذلك ينبغي انتظار تحققات مستقلة قبل بناء قرارات المنتج على هذه النتائج.

عمل على النموذج فريق AURA بالتعاون مع CUHK MMLab وHKUST. وقد نُشرت صفحة المشروع والأوزان على Hugging Face، ما يعني أن بالإمكان تنزيل النموذج وتشغيله على بنية تحتية خاصة.

والخلاصة العملية للمطورين ومديري المنتجات كما يلي. إذا كنت تبني مساعدًا مزوّدًا بكاميرا، مثل الدعم الفني في الموقع أو التدريب أو إمكانية الوصول أو المراقبة، فقد بات لديك نموذج مفتوح يدرك متى يتكلم دون أمر. وهناك أيضًا حزمة خوادم جاهزة تُبقي التأخير ضمن أجزاء من الثانية. والخطر الرئيسي واضح: قد يتكلم النموذج الاستباقي أكثر من اللازم فيزعج المستخدم. وقبل الانتقال إلى الإنتاج، ينبغي فحص مدى تكرار تدخله ودقة اختياره للحظة المناسبة. كما يجدر حساب عدد المسرّعات اللازمة لعدد المستخدمين الفعلي.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ماذا يستطيع AURA 2.0 أن يفعل؟

يراقب النموذج المشهد باستمرار، ويجيد ثلاثة أمور. الأول هو الحديث بمبادرة ذاتية. فهو يقرر بنفسه متى يقول شيئًا وماذا يقول، دون أن ينتظر سؤالًا. وبدل نمط «سؤال — جواب» المعتاد، نحصل على مراقب يدرك متى يكون التدخل في محله ومتى يكون الصمت أفضل. الثاني هو استدعاء الأدوات مع مراعاة التدفق. يستند النموذج إلى ما يظهر في الكادر الآن وإلى مجرى المحادثة، فيتصل بخدمات خارجية ويعيد النتيجة إلى الحوار مباشرة. فمثلًا، إذا رأى في الفيديو قطعة عليها علامة تعريف، طلب بياناتها ونطق بالنتيجة. الثالث هو الربط البصري.

ما أبرز التفاصيل حول من أين تأتي الـ 344 مللي ثانية؟

يتألف المساعد الصوتي المزوّد بالفيديو من ثلاث حلقات: التعرف على الكلام، ومعالجة الفيديو مع اللغة، وتوليد الكلام الذي يمثل الرد. ووفقًا لـ vLLM، فإن vLLM-Omni يخدم هذه السلسلة بالكامل. ولكي لا يتراكم التأخير، جرى اعتماد ثلاثة أساليب: إعادة استخدام الجلسات والبادئات: الجزء الذي سبقت معالجته من التدفق لا يُحسب من جديد؛ مسار سريع لأدوار «الصمت»: إذا قرر النموذج ألا يقول شيئًا، فلا يشغّل دورة التوليد الكاملة؛ بثّ الكلام جملةً جملة: يبدأ النطق بمجرد أن تصبح الجملة الأولى جاهزة، دون انتظار الرد كله.

ما أبرز التفاصيل حول الاختبارات المعيارية وكيف نتعامل معها؟

يزعم المؤلفون أن AURA 2.0 يتصدر أربع مقارنات تجميعية: IPIBench وStreamArena وProactiveVideoQA وPhoStream. وهذه اختبارات للفيديو التدفقي والسلوك الاستباقي، أي للمواقف التي ينبغي فيها للنموذج أن يدرك بنفسه اللحظة المناسبة للتعليق. وثمة تحفظ: فالمقارنة أجراها المؤلفون وفريق vLLM أنفسهم. ولا ترد في المنشور أرقام محددة، ولذلك ينبغي انتظار تحققات مستقلة قبل بناء قرارات المنتج على هذه النتائج. عمل على النموذج فريق AURA بالتعاون مع CUHK MMLab وHKUST.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…