Netflix تجمع الفيديو والصوت في جدول واحد على LanceDB: 5 ملايين عملية قرص في الثانية
تُخزَّن لقطات Netflix وصوتها وترجماتها في أنظمة منفصلة، ولا بد من تجميعها يدويًا لتدريب النماذج. أما الآن فكل شيء في جدول واحد على LanceDB: بجانب الفيديو تُحفظ البيانات الوصفية والتضمينات (embeddings)، وهي «بصمات» رقمية للمشهد. وتنفذ ذاكرة التخزين المؤقت على أقراص NVMe أكثر من 5 ملايين عملية قراءة وكتابة في الثانية (IOPS)، وتتحمل 20 ألف عملية بحث عن لقطات مشابهة في الثانية. والخلاصة: الأفضل إبقاء البيانات متعددة الوسائط في مكان واحد بدل نسخها لكل مهمة على حدة.
معالج بواسطة الذكاء الاصطناعي من LanceDB Blog؛ بتحرير Hamidun News
تخيّل أنك تريد تدريب نموذج على مسلسل من Netflix: العثور على مشاهد مشابهة لمشهد معيّن، وتصفيتها بحسب الحوار، وإضافة بيانات خدمية عن التصوير. اللقطات في مخزن، والصوت في مخزن آخر، والترجمات في ثالث، ونتائج وسم النماذج موزعة بين سكربتات وجداول متفرقة. روت Netflix كيف رتّبت هذه الفوضى: بنت «بحيرة بيانات وسائط» (Media Data Lake) على صيغة Lance وقاعدة بيانات LanceDB.
وأهم الأرقام: ذاكرة تخزين مؤقت على أقراص NVMe السريعة تنفذ أكثر من 5 ملايين IOPS (عملية قراءة وكتابة في الثانية)، بينما يتحمل البحث المتجهي، أي البحث عن لقطات ومقاطع مشابهة بحسب «بصماتها» الرقمية الدالة على المعنى (التضمينات)، أكثر من 20 ألف استعلام في الثانية. نُشر الوصف في مدونة LanceDB نفسها، لذا فالأرقام صادرة عن المورّد، لكن الحالة مفيدة لكل من يعمل مع الفيديو والصوت والصور.
ما المشكلة التي سعوا إلى حلّها
تتعامل المخازن التقليدية جيدًا مع جداول الأرقام والنصوص: المقاييس والسجلات والأحداث. أما الوسائط فبنيتها مختلفة. فالمسلسل الواحد ينتج ملايين اللقطات وساعات من الصوت متعدد القنوات والترجمات والتعليقات التوضيحية. وتُضاف إليها بيانات مشتقة: التضمينات ووسوم النماذج ونتائج تحليل المشاهد. وكل ذلك مرتبط بالعمليات الإبداعية وبتاريخ نشأة الأصول.
خصّص فريق Media ML Data Engineering في Netflix لذلك تخصصًا مستقلًا يقع عند تقاطع هندسة البيانات التقليدية والتعلم الآلي للوسائط. وتُسمّى النتيجة Media Tables، وهي جداول يتجاور فيها البيانات الوصفية المرجعية والملفات «الخام» نفسها (blobs) ومخرجات النماذج. هكذا يعمل الباحث مع مصدر موثوق واحد بدل جمع البيانات من خمسة أنظمة.
كيف صُمم النظام
يقوم الأساس على صيغة Lance. وهي مصممة للوصول العشوائي السريع، وهذا مهم أثناء التدريب حين يلزم خلط البيانات وتصفيتها باستمرار. الخاصية الثانية هي إضافة أعمدة جديدة دون إعادة كتابة البيانات. لنفترض ظهور نموذج يصنّف المشاهد بحسب الحالة المزاجية: تُلحق نتائجه بالجدول ببساطة، ولا يضطر أحد إلى تكرار بيتابايتات الفيديو.
فوق الجدول الواحد تعمل أنواع مختلفة من الاستعلامات: SQL والبحث المتجهي والبحث النصي الكامل. والسيناريو المعتاد: العثور على لقطات تشبه لقطة معيّنة بصريًا، ثم تصفيتها بحسب العبارات في الحوار، ثم ضم البيانات الوصفية المنظمة. وكل ذلك يجري داخل نظام واحد.
تُحسب الخصائص بواسطة دوال مخصصة (UDF) تتوسع على مئات الآلاف من أنوية CPU وفتحات GPU. في المثال الوارد في المقال، تأخذ هذه الدالة عمودًا نصيًا وتحوّل الجمل بنموذج محمَّل إلى متجهات بطول 384 رقمًا. وتجري الحسابات تزايديًا (incrementally)، مع نقاط تحقق (checkpoints) وإمكانية الإخلاء المؤقت: يمكن إيقاف تشغيل GPU المكلف مؤقتًا واستئنافه دون تكرار العمل.
وللتدريب، تقرأ النماذج البيانات عبر عروض SQL مسمّاة فوق الأصول الخام والخصائص، وتصل إلى الملفات الخام (blobs) مباشرة عبر واجهات API فعّالة.
الأرقام وكيف نتعامل معها
بحسب المنشور، يفهرس النظام مليارات المتجهات خلال ساعات ويدير عشرات البيتابايت تحت تجريد واحد. وتوفر ذاكرة التخزين المؤقت الموزعة على أقراص NVMe SSD أكثر من 5 ملايين IOPS وتتحمل أكثر من 20 ألف استعلام بحث متجهي في الثانية. ويقول المؤلفون إن ذلك يخفض تكاليف التخزين السحابي ويتيح التجريب على نماذج متعددة الوسائط كبيرة بتكلفة مقبولة. ومن التطبيقات المذكورة: إعادة إنتاج HDR ومقاييس جودة التوطين وفهم الحبكة والبحث متعدد الوسائط.
الخلاصة العملية للمطورين ومديري المنتجات:
- إذا كانت لديكم بيانات فيديو أو صوت أو صور، فصمّموا مسبقًا جدولًا موحدًا يضم الملفات الخام والبيانات الوصفية والتضمينات، بدل مجموعة فهارس متفرقة.
- اختاروا صيغة تتيح إضافة الخصائص الجديدة دون إعادة كتابة البيانات. وإلا فسيتحول كل نموذج جديد إلى نسخ تيرابايتات.
- خطّطوا للإيقاف المؤقت والاستئناف في مهام GPU المكلفة: فهذا توفير مباشر في الميزانية.
القيود
المصدر مدونة مورّد، وليس اختبار أداء مستقلًا. أما تكلفة البنية التحتية بالمال وحجم العنقود والمقارنة مع بدائل مثل Iceberg أو Delta Lake فلم ترد في النص. وذُكرت ByteDance وMidjourney وRunway وCharacter AI بوصفها من مستخدمي LanceDB، لكن دون تفاصيل عن الأحمال. ومع ذلك فإن هذا الحل مفيد كمرجع: تُظهر Netflix أن «البحيرة» متعددة الوسائط ذات الوصول الموحد لـ SQL والبحث المتجهي والتدريب تعمل في بيئة الإنتاج على نطاق عشرات البيتابايت. والتقنية نفسها مفتوحة، لذا يمكن اختبار الفكرة على بياناتكم الخاصة.
- 21 نوفمبر 2026LanceDB تجمع 57.5 مليون دولار لقاعدة بيانات مخصصة لتدريب النماذج على الفيديو والصور
- 21 نوفمبر 2026LanceDB تطلق Realtime Engine: البيانات الجديدة قابلة للبحث خلال 52 مللي ثانية
- 26 مايو 2026وكلاء الذكاء الاصطناعي (Claude وChatGPT وAlexa): أين يعملون اليوم
- 21 نوفمبر 2026LanceDB: فهرس IVF_PQ يضغط المتجهات في أنظمة RAG بمقدار 64 ضعفًا ويُسرّع البحث
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما المشكلة التي سعوا إلى حلّها؟
تتعامل المخازن التقليدية جيدًا مع جداول الأرقام والنصوص: المقاييس والسجلات والأحداث. أما الوسائط فبنيتها مختلفة. فالمسلسل الواحد ينتج ملايين اللقطات وساعات من الصوت متعدد القنوات والترجمات والتعليقات التوضيحية. وتُضاف إليها بيانات مشتقة: التضمينات ووسوم النماذج ونتائج تحليل المشاهد. وكل ذلك مرتبط بالعمليات الإبداعية وبتاريخ نشأة الأصول. خصّص فريق Media ML Data Engineering في Netflix لذلك تخصصًا مستقلًا يقع عند تقاطع هندسة البيانات التقليدية والتعلم الآلي للوسائط.
ما أبرز التفاصيل حول كيف صُمم النظام؟
يقوم الأساس على صيغة Lance. وهي مصممة للوصول العشوائي السريع، وهذا مهم أثناء التدريب حين يلزم خلط البيانات وتصفيتها باستمرار. الخاصية الثانية هي إضافة أعمدة جديدة دون إعادة كتابة البيانات. لنفترض ظهور نموذج يصنّف المشاهد بحسب الحالة المزاجية: تُلحق نتائجه بالجدول ببساطة، ولا يضطر أحد إلى تكرار بيتابايتات الفيديو. فوق الجدول الواحد تعمل أنواع مختلفة من الاستعلامات: SQL والبحث المتجهي والبحث النصي الكامل.
ما أبرز التفاصيل حول الأرقام وكيف نتعامل معها؟
بحسب المنشور، يفهرس النظام مليارات المتجهات خلال ساعات ويدير عشرات البيتابايت تحت تجريد واحد. وتوفر ذاكرة التخزين المؤقت الموزعة على أقراص NVMe SSD أكثر من 5 ملايين IOPS وتتحمل أكثر من 20 ألف استعلام بحث متجهي في الثانية. ويقول المؤلفون إن ذلك يخفض تكاليف التخزين السحابي ويتيح التجريب على نماذج متعددة الوسائط كبيرة بتكلفة مقبولة. ومن التطبيقات المذكورة: إعادة إنتاج HDR ومقاييس جودة التوطين وفهم الحبكة والبحث متعدد الوسائط.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.