AWS تعرض بحثًا دلاليًا في الفيديو على Amazon Bedrock باستخدام Nova Multimodal Embeddings
عرضت AWS طريقة لبناء بحث دلالي في الفيديو على Amazon Bedrock، ونشرت تنفيذًا مرجعيًا لها. تُقسَّم المقاطع عند تغيّر المشهد، ويُنشأ لكل جزء تضمين منفصل للصورة والصوت والكلام، ثم يُدمج كل ذلك مع البيانات الوصفية في بحث هجين. وبحسب الاختبارات، تتفوق هذه البنية بوضوح على الوضع الأساسي من حيث دقة النتائج.
معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
نشرت AWS بنية مرجعية للبحث الدلالي في الفيديو على Amazon Bedrock باستخدام Amazon Nova Multimodal Embeddings، وأتاحت تنفيذًا يمكن نشره على محتوى المستخدم نفسه. وبدلًا من المخطط التقليدي الذي يختزل كل شيء في نص مفرَّغ، يأخذ النظام في الحسبان الصورة والصوت والكلام والبيانات الوصفية البنيوية في آن واحد.
لماذا لا يكفي النص
يُبنى البحث التقليدي في الفيديو غالبًا حول النص: تفريغ الكلام، أو الوسوم اليدوية، أو التعليقات المولَّدة تلقائيًا. وتراهن AWS على نهج مختلف، وتقول صراحةً إن تحويل الفيديو بأكمله إلى نص يُفقد إشارات مهمة. فإذا بحث المستخدم عن «مطاردة سيارات متوترة مع أصوات صفارات الإنذار»، فإن الاستعلام يمزج حدثًا بصريًا ومشهدًا صوتيًا. وإذا أراد لاعبًا بعينه، فقد يظهر في الكادر دون أن يُنطق اسمه ولو مرة واحدة. وفي مثل هذه الحالات لا يكفي النص المفرَّغ وحده فعلًا.
لذلك يقوم الحل على تقسيم المقطع إلى أجزاء ذات معنى، لا إلى قطع عشوائية بحسب مؤقّت زمني. يدعم Nova Multimodal Embeddings ما يصل إلى 30 ثانية لكل تضمين، لكن AWS تستهدف في مثالها مقاطع مدتها نحو 10 ثوانٍ، وتزيح الحدود نحو نقطة تغيّر المشهد الفعلية عبر FFmpeg. وتعمل الخوارزمية ضمن نطاق من 5 إلى 15 ثانية: إذا وُجد انتقال طبيعي بين اللقطات قريبًا، يُقطع المقطع عنده؛ وإن لم يوجد، تُوضع حدود صارمة. وهذا يحافظ على السياق ولا يقطع المشهد في منتصف الحدث أو الجملة.
كيف بُني النظام
تنقسم البنية إلى مسارين: التحميل والبحث. بعد رفع الفيديو إلى Amazon S3، تنتقل عملية التنسيق إلى Lambda وStep Functions، ثم تُعالَج المقاطع بالتوازي في عدة فروع. يبني النظام لكل مقطع تمثيلات منفصلة للإشارة البصرية والصوت والكلام، ثم يجمعها مع البيانات الوصفية في فهرس واحد. أما في جانب البحث، فلا يُرسَل الاستعلام إلى متجه واحد مشترك، بل يُوزَّع على عدة قنوات، ثم يُعاد ترتيب النتائج مع مراعاة نية المستخدم.
- يصل الفيديو إلى S3 ويطلق خط المعالجة عبر Lambda وStep Functions
- تبحث Fargate مع FFmpeg عن تغيّرات المشاهد وتقطّع المقطع إلى أجزاء دلالية
- ينشئ Nova Multimodal Embeddings متجهات للصورة والصوت، بينما يوفّر Amazon Transcribe الأساس لتضمينات الكلام
- يضيف Amazon Nova 2 Lite وRekognition تعليقات للمقاطع، ويحددان النوع ويتعرفان على الأشخاص المعروفين في الكادر
- يخزّن OpenSearch وS3 Vectors الفهرس للجمع بين البحث المتجهي والبحث النصي الدقيق
وتشدّد AWS بوجه خاص على أن الأفضل ألا تُدمج التضمينات البصرية والصوتية وتضمينات الكلام في متجه واحد إذا كانت الدقة المضبوطة مطلوبة. ففي هذا المخطط تتولى الصورة الأجسام والأفعال وتكوين الكادر، ويتولى الصوت الموسيقى والضوضاء والأجواء الصوتية، ويتولى النص المفرَّغ معنى الكلام المنطوق. وفوق ذلك تُضاف طبقة معجمية للبيانات الوصفية: العناوين والتواريخ والأنواع والأسماء وغيرها من الكيانات التي قد يلتقطها البحث الدلالي بصورة أضعف.
كيف ترتفع الدقة
العنصر المحوري في هذا التصميم هو موجِّه نية الاستعلام. تستخدم AWS نموذج Claude Haiku في Amazon Bedrock ليعيد لكل استعلام كائن JSON يحمل أوزانًا لأربع قنوات: visual وaudio وtranscription وmetadata. يجب أن يساوي مجموع الأوزان 1.0، ولا تُشغَّل القنوات التي تقل حصتها عن 5% إطلاقًا، كي لا تُهدر استدعاءات إضافية ولا يزداد زمن الاستجابة. بعد ذلك تُطبَّع نتائج المصادر المختلفة على مقياس 0–1 وتُدمج بمتوسط مرجَّح، لا بدمج متساوٍ لجميع الإشارات.
وفي الاختبارات يبدو هذا النهج أفضل بكثير من المخطط الأساسي AUDIO_VIDEO_COMBINED. أجرت AWS اختبارًا معياريًا على 10 فيديوهات داخلية طويلة تتراوح مدتها بين 5 و20 دقيقة، وعلى 20 استعلامًا من أنواع مختلفة. وحقق المخطط الهجين Recall@5 بنسبة 90% مقابل 51%، وRecall@10 بنسبة 95% مقابل 64%، وMRR بنسبة 90% مقابل 48%، وNDCG@10 بنسبة 88% مقابل 54%. كما تؤكد الشركة اقتصاديات التخزين، إذ يمكن لـ Amazon S3 Vectors، بحسب بياناتها، أن يخفض تكلفة تخزين المتجهات والاستعلام عنها بنسبة تصل إلى 90% مقارنةً بالبدائل المتخصصة.
ماذا يعني هذا
لا تكتفي AWS هنا بوصف نموذج للتضمينات، بل تعرض قالبًا عمليًا لفرق المنتجات التي تتعامل مع مكتبات الوسائط وأرشيفات البث والرياضة والمحتوى التعليمي ومقاطع المستخدمين. والفكرة الرئيسة بسيطة: كلما قلّت محاولتك لاختزال الفيديو قسرًا في نص واحد أو متجه واحد، زادت فرصة العثور على اللحظة المطلوبة بدقة وسرعة.
- 18 نوفمبر 2026Duco تقلّص سياق الوكلاء بنسبة 90% وتسرّع نقل عمليات المطابقة المصرفية 10 أضعاف
- 18 نوفمبر 2026Epic تزيل Blueprints من Unreal Engine 6: الذكاء الاصطناعي يعمل مع الشيفرة لا مع المخططات
- 18 نوفمبر 2026فاصلة صينية واحدة حوّلت DeepSeek إلى الصينية في 94% من الإجابات
- 18 نوفمبر 2026نماذج القرار (Decision) تستحوذ على أكثر من 25% من الطلبات في موجّه Vercel بعد شهر من ظهورها
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا لا يكفي النص؟
يُبنى البحث التقليدي في الفيديو غالبًا حول النص: تفريغ الكلام، أو الوسوم اليدوية، أو التعليقات المولَّدة تلقائيًا. وتراهن AWS على نهج مختلف، وتقول صراحةً إن تحويل الفيديو بأكمله إلى نص يُفقد إشارات مهمة. فإذا بحث المستخدم عن «مطاردة سيارات متوترة مع أصوات صفارات الإنذار»، فإن الاستعلام يمزج حدثًا بصريًا ومشهدًا صوتيًا. وإذا أراد لاعبًا بعينه، فقد يظهر في الكادر دون أن يُنطق اسمه ولو مرة واحدة. وفي مثل هذه الحالات لا يكفي النص المفرَّغ وحده فعلًا.
ما أبرز التفاصيل حول كيف بُني النظام؟
تنقسم البنية إلى مسارين: التحميل والبحث. بعد رفع الفيديو إلى Amazon S3، تنتقل عملية التنسيق إلى Lambda وStep Functions، ثم تُعالَج المقاطع بالتوازي في عدة فروع. يبني النظام لكل مقطع تمثيلات منفصلة للإشارة البصرية والصوت والكلام، ثم يجمعها مع البيانات الوصفية في فهرس واحد. أما في جانب البحث، فلا يُرسَل الاستعلام إلى متجه واحد مشترك، بل يُوزَّع على عدة قنوات، ثم يُعاد ترتيب النتائج مع مراعاة نية المستخدم.
ما أبرز التفاصيل حول كيف ترتفع الدقة؟
العنصر المحوري في هذا التصميم هو موجِّه نية الاستعلام. تستخدم AWS نموذج Claude Haiku في Amazon Bedrock ليعيد لكل استعلام كائن JSON يحمل أوزانًا لأربع قنوات: visual وaudio وtranscription وmetadata. يجب أن يساوي مجموع الأوزان 1.0، ولا تُشغَّل القنوات التي تقل حصتها عن 5% إطلاقًا، كي لا تُهدر استدعاءات إضافية ولا يزداد زمن الاستجابة. بعد ذلك تُطبَّع نتائج المصادر المختلفة على مقياس 0–1 وتُدمج بمتوسط مرجَّح، لا بدمج متساوٍ لجميع الإشارات. وفي الاختبارات يبدو هذا النهج أفضل بكثير من المخطط الأساسي AUDIO_VIDEO_COMBINED.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.