تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارتحليل · على الرادارAWS Machine Learning Blog→ المصدر

AWS تعرض بحثًا دلاليًا في الفيديو على Amazon Bedrock باستخدام Nova Multimodal Embeddings

عرضت AWS طريقة لبناء بحث دلالي في الفيديو على Amazon Bedrock، ونشرت تنفيذًا مرجعيًا لها. تُقسَّم المقاطع عند تغيّر المشهد، ويُنشأ لكل جزء تضمين منفصل للصورة والصوت والكلام، ثم يُدمج كل ذلك مع البيانات الوصفية في بحث هجين. وبحسب الاختبارات، تتفوق هذه البنية بوضوح على الوضع الأساسي من حيث دقة النتائج.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
AWS تعرض بحثًا دلاليًا في الفيديو على Amazon Bedrock باستخدام Nova Multimodal Embeddings
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
حقيقة رئيسية #1يصل الفيديو إلى S3 ويطلق خط المعالجة عبر Lambda وStep Functions
حقيقة رئيسية #2تبحث Fargate مع FFmpeg عن تغيّرات المشاهد وتقطّع المقطع إلى أجزاء دلالية
حقيقة رئيسية #3ينشئ Nova Multimodal Embeddings متجهات للصورة والصوت، بينما يوفّر Amazon Transcribe الأساس لتضمينات الكلام

نشرت AWS بنية مرجعية للبحث الدلالي في الفيديو على Amazon Bedrock باستخدام Amazon Nova Multimodal Embeddings، وأتاحت تنفيذًا يمكن نشره على محتوى المستخدم نفسه. وبدلًا من المخطط التقليدي الذي يختزل كل شيء في نص مفرَّغ، يأخذ النظام في الحسبان الصورة والصوت والكلام والبيانات الوصفية البنيوية في آن واحد.

لماذا لا يكفي النص

يُبنى البحث التقليدي في الفيديو غالبًا حول النص: تفريغ الكلام، أو الوسوم اليدوية، أو التعليقات المولَّدة تلقائيًا. وتراهن AWS على نهج مختلف، وتقول صراحةً إن تحويل الفيديو بأكمله إلى نص يُفقد إشارات مهمة. فإذا بحث المستخدم عن «مطاردة سيارات متوترة مع أصوات صفارات الإنذار»، فإن الاستعلام يمزج حدثًا بصريًا ومشهدًا صوتيًا. وإذا أراد لاعبًا بعينه، فقد يظهر في الكادر دون أن يُنطق اسمه ولو مرة واحدة. وفي مثل هذه الحالات لا يكفي النص المفرَّغ وحده فعلًا.

لذلك يقوم الحل على تقسيم المقطع إلى أجزاء ذات معنى، لا إلى قطع عشوائية بحسب مؤقّت زمني. يدعم Nova Multimodal Embeddings ما يصل إلى 30 ثانية لكل تضمين، لكن AWS تستهدف في مثالها مقاطع مدتها نحو 10 ثوانٍ، وتزيح الحدود نحو نقطة تغيّر المشهد الفعلية عبر FFmpeg. وتعمل الخوارزمية ضمن نطاق من 5 إلى 15 ثانية: إذا وُجد انتقال طبيعي بين اللقطات قريبًا، يُقطع المقطع عنده؛ وإن لم يوجد، تُوضع حدود صارمة. وهذا يحافظ على السياق ولا يقطع المشهد في منتصف الحدث أو الجملة.

كيف بُني النظام

تنقسم البنية إلى مسارين: التحميل والبحث. بعد رفع الفيديو إلى Amazon S3، تنتقل عملية التنسيق إلى Lambda وStep Functions، ثم تُعالَج المقاطع بالتوازي في عدة فروع. يبني النظام لكل مقطع تمثيلات منفصلة للإشارة البصرية والصوت والكلام، ثم يجمعها مع البيانات الوصفية في فهرس واحد. أما في جانب البحث، فلا يُرسَل الاستعلام إلى متجه واحد مشترك، بل يُوزَّع على عدة قنوات، ثم يُعاد ترتيب النتائج مع مراعاة نية المستخدم.

  • يصل الفيديو إلى S3 ويطلق خط المعالجة عبر Lambda وStep Functions
  • تبحث Fargate مع FFmpeg عن تغيّرات المشاهد وتقطّع المقطع إلى أجزاء دلالية
  • ينشئ Nova Multimodal Embeddings متجهات للصورة والصوت، بينما يوفّر Amazon Transcribe الأساس لتضمينات الكلام
  • يضيف Amazon Nova 2 Lite وRekognition تعليقات للمقاطع، ويحددان النوع ويتعرفان على الأشخاص المعروفين في الكادر
  • يخزّن OpenSearch وS3 Vectors الفهرس للجمع بين البحث المتجهي والبحث النصي الدقيق

وتشدّد AWS بوجه خاص على أن الأفضل ألا تُدمج التضمينات البصرية والصوتية وتضمينات الكلام في متجه واحد إذا كانت الدقة المضبوطة مطلوبة. ففي هذا المخطط تتولى الصورة الأجسام والأفعال وتكوين الكادر، ويتولى الصوت الموسيقى والضوضاء والأجواء الصوتية، ويتولى النص المفرَّغ معنى الكلام المنطوق. وفوق ذلك تُضاف طبقة معجمية للبيانات الوصفية: العناوين والتواريخ والأنواع والأسماء وغيرها من الكيانات التي قد يلتقطها البحث الدلالي بصورة أضعف.

كيف ترتفع الدقة

العنصر المحوري في هذا التصميم هو موجِّه نية الاستعلام. تستخدم AWS نموذج Claude Haiku في Amazon Bedrock ليعيد لكل استعلام كائن JSON يحمل أوزانًا لأربع قنوات: visual وaudio وtranscription وmetadata. يجب أن يساوي مجموع الأوزان 1.0، ولا تُشغَّل القنوات التي تقل حصتها عن 5% إطلاقًا، كي لا تُهدر استدعاءات إضافية ولا يزداد زمن الاستجابة. بعد ذلك تُطبَّع نتائج المصادر المختلفة على مقياس 0–1 وتُدمج بمتوسط مرجَّح، لا بدمج متساوٍ لجميع الإشارات.

وفي الاختبارات يبدو هذا النهج أفضل بكثير من المخطط الأساسي AUDIO_VIDEO_COMBINED. أجرت AWS اختبارًا معياريًا على 10 فيديوهات داخلية طويلة تتراوح مدتها بين 5 و20 دقيقة، وعلى 20 استعلامًا من أنواع مختلفة. وحقق المخطط الهجين Recall@5 بنسبة 90% مقابل 51%، وRecall@10 بنسبة 95% مقابل 64%، وMRR بنسبة 90% مقابل 48%، وNDCG@10 بنسبة 88% مقابل 54%. كما تؤكد الشركة اقتصاديات التخزين، إذ يمكن لـ Amazon S3 Vectors، بحسب بياناتها، أن يخفض تكلفة تخزين المتجهات والاستعلام عنها بنسبة تصل إلى 90% مقارنةً بالبدائل المتخصصة.

ماذا يعني هذا

لا تكتفي AWS هنا بوصف نموذج للتضمينات، بل تعرض قالبًا عمليًا لفرق المنتجات التي تتعامل مع مكتبات الوسائط وأرشيفات البث والرياضة والمحتوى التعليمي ومقاطع المستخدمين. والفكرة الرئيسة بسيطة: كلما قلّت محاولتك لاختزال الفيديو قسرًا في نص واحد أو متجه واحد، زادت فرصة العثور على اللحظة المطلوبة بدقة وسرعة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا لا يكفي النص؟

يُبنى البحث التقليدي في الفيديو غالبًا حول النص: تفريغ الكلام، أو الوسوم اليدوية، أو التعليقات المولَّدة تلقائيًا. وتراهن AWS على نهج مختلف، وتقول صراحةً إن تحويل الفيديو بأكمله إلى نص يُفقد إشارات مهمة. فإذا بحث المستخدم عن «مطاردة سيارات متوترة مع أصوات صفارات الإنذار»، فإن الاستعلام يمزج حدثًا بصريًا ومشهدًا صوتيًا. وإذا أراد لاعبًا بعينه، فقد يظهر في الكادر دون أن يُنطق اسمه ولو مرة واحدة. وفي مثل هذه الحالات لا يكفي النص المفرَّغ وحده فعلًا.

ما أبرز التفاصيل حول كيف بُني النظام؟

تنقسم البنية إلى مسارين: التحميل والبحث. بعد رفع الفيديو إلى Amazon S3، تنتقل عملية التنسيق إلى Lambda وStep Functions، ثم تُعالَج المقاطع بالتوازي في عدة فروع. يبني النظام لكل مقطع تمثيلات منفصلة للإشارة البصرية والصوت والكلام، ثم يجمعها مع البيانات الوصفية في فهرس واحد. أما في جانب البحث، فلا يُرسَل الاستعلام إلى متجه واحد مشترك، بل يُوزَّع على عدة قنوات، ثم يُعاد ترتيب النتائج مع مراعاة نية المستخدم.

ما أبرز التفاصيل حول كيف ترتفع الدقة؟

العنصر المحوري في هذا التصميم هو موجِّه نية الاستعلام. تستخدم AWS نموذج Claude Haiku في Amazon Bedrock ليعيد لكل استعلام كائن JSON يحمل أوزانًا لأربع قنوات: visual وaudio وtranscription وmetadata. يجب أن يساوي مجموع الأوزان 1.0، ولا تُشغَّل القنوات التي تقل حصتها عن 5% إطلاقًا، كي لا تُهدر استدعاءات إضافية ولا يزداد زمن الاستجابة. بعد ذلك تُطبَّع نتائج المصادر المختلفة على مقياس 0–1 وتُدمج بمتوسط مرجَّح، لا بدمج متساوٍ لجميع الإشارات. وفي الاختبارات يبدو هذا النهج أفضل بكثير من المخطط الأساسي AUDIO_VIDEO_COMBINED.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…