ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارLanceDB Blog→ المصدر

أوبر وLanceDB تعلّمان صيغة Lance تقسيم مجموعة البيانات على عدة حاويات: 5 مسارات بدل 10 ملايين

عندما يسحب آلاف القرّاء بيانات تدريب النموذج في الوقت نفسه، تتحول حاوية S3 واحدة (وهي مساحة تخزين سحابية) إلى عنق زجاجة. لذلك طلبت أوبر من LanceDB توزيع مجموعة البيانات على عدة حاويات دون التضحية بقابلية النقل. يضم بيان Lance (manifest) الآن قائمة قصيرة من «القواعد»، أي البادئات المشتركة للمسارات، ويحتفظ كل ملف برقم القاعدة ومساره النسبي فقط. ولهذا يُنقل مجموعة بيانات من 10 ملايين ملف موزعة على 5 حاويات باستبدال 5 أسطر لا 10 ملايين. تجري الكتابة على الحاويات بالتناوب الدائري، بينما تتم القراءة بالتوازي من جميعها. وتمرّ عمليتا جمع المخلفات (garbage collection) ومنح صلاحيات الوصول على القواعد لا على الملفات. ويمكن أيضًا وسم القاعدة بأنها جذر مجموعة البيانات (للنسخ المستنسخة) أو مجلد يحوي الملفات مباشرة.

معالج بواسطة الذكاء الاصطناعي من LanceDB Blog؛ بتحرير Hamidun News
أوبر وLanceDB تعلّمان صيغة Lance تقسيم مجموعة البيانات على عدة حاويات: 5 مسارات بدل 10 ملايين
المصدر: LanceDB Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليLanceDB Blog ↗
رئيس التحرير
حقيقة رئيسية #1الكتابة تتم بالتناوب على الحاويات، والقراءة بالتوازي من جميعها
حقيقة رئيسية #2جمع المخلفات ومنح صلاحيات الوصول يمرّان على القواعد لا على الملفات
حقيقة رئيسية #3يمكن وسم القاعدة بأنها جذر مجموعة البيانات (للنسخ المستنسخة) أو مجلد يحوي الملفات

تخيّل أنك مضطر إلى الانتقال من مساحة تخزين سحابية إلى أخرى، بينما تحتوي بيانات الجدول الوصفية على العناوين الكاملة لعشرة ملايين ملف. سيتعين إعادة كتابة كل عنوان منها. هذه بالضبط المشكلة التي عالجتها LanceDB بالتعاون مع البنية التحتية للذكاء الاصطناعي في أوبر. كانت المهمة كالتالي: توزيع مجموعة بيانات واحدة على عدة حاويات S3 (الحاوية هي «الدلو» الجذري في التخزين السحابي) كي تُقرأ البيانات أسرع أثناء تدريب النماذج، دون فقدان إمكانية نقل مجموعة البيانات بكلفة شبه معدومة.

المشكلة: حاوية واحدة لا تتحمّل آلاف القرّاء

تحتفظ أوبر ببيانات متعددة الوسائط لتدريب النماذج وللبحث الوكيلي (agentic search) في مجموعات بيانات بحجم البيتابايت. ويصل إليها آلاف القرّاء في وقت واحد، فتتحول حاوية واحدة سريعًا إلى عنق زجاجة. لذلك أراد المهندسون توزيع مجموعة بيانات واحدة على N من الحاويات. تُكتب الملفات الجديدة على الحاويات بالتناوب الدائري، وتجري القراءة بالتوازي من جميعها. والهدف زيادة سعة النقل الإجمالية بمقدار N مرة تقريبًا.

تكمن العقدة في المسارات. فإذا كانت جميع المسارات نسبية، يتعذر الإشارة إلى ملف خارج مجلد مجموعة البيانات. وإذا جُعلت مطلقة، وجب عند أي انتقال إعادة كتابة البيانات الوصفية بالكامل. كانت أوبر بحاجة إلى الأمرين معًا: عدة أماكن تخزين وأقصى قابلية للنقل.

درس Iceberg وDelta: الحلول الهجينة غير مريحة

عمل كاتب المقال على Apache Iceberg وDelta Lake، وهو يعمل الآن على Lance. ويذكّر بأن الصيغتين سلكتا طريقين متعاكسين.

بدأت Iceberg بالمسارات المطلقة. وهي لا تحتمل الالتباس، لكن الترحيل يستلزم إعادة كتابة بيانات وصفية تضم آلاف المسارات أو ملايينها. بدأ النقاش حول المسارات النسبية عام 2021، وفي نهاية 2025 اتفق المجتمع على تصميم للإصدار 4: المسارات الخالية من مخطط URI تُعدّ نسبية إلى موقع الجدول.

أما Delta Lake فبدأت على العكس في سبتمبر 2019 بمسارات نسبية، ثم أجازت المطلقة في أغسطس 2021. وكان ذلك لازمًا لـ shallow clone (ظهرت في ديسمبر 2022): يشير الجدول الجديد إلى ملفات القديم دون نسخها، وتقع الملفات خارج جذر الجدول الجديد.

وفي النتيجة صارت الصيغتان هجينتين، ويرى الكاتب في ذلك ثلاثة عيوب:

  • مرونة المسارات المطلقة لا تُستخدم تقريبًا، فالملفات عادةً تقع تحت جذر الجدول؛
  • جمع المخلفات يزداد تعقيدًا لأنه لا يمكن حذف مجلد بأمان إذا كانت ملفاته مشار إليها من مكان آخر؛
  • يصعب إصدار بيانات اعتماد مؤقتة (credentials)، إذ يجب العثور على جميع البادئات بين مئات الملايين من السجلات في ملفات البيان (manifests).

ووعد «صفر إعادة كتابة» يتحقق فقط للجداول الجديدة في مكان واحد ذات المسارات النسبية الخالصة. أما الاستنساخ واستيراد الملفات والتخزين متعدد المستويات والتوزيع على الحاويات فتكسره جميعًا.

كيف يعمل multi-base في Lance

في Lance جميع المسارات نسبية، وهيكل المجلدات تحدده المواصفة: ملفات البيانات .lance، وملفات البيان .manifest، والمعاملات *.txn، ومتجهات الحذف والفهارس. انسخ مجموعة البيانات من القرص المحلي إلى s3://bucket/dataset فتعمل فورًا دون تعديل البيانات الوصفية.

تستند الفكرة الجديدة إلى ملاحظة: حتى لو أشار إلى الجدول ملايين الملفات، فإن عدد البادئات المشتركة المختلفة فيه قليل. سُمّيت هذه البادئات «قواعد» (bases) وأُخرجت في البيان على شكل مصفوفة مستقلة. الآن يحتفظ الملف بمرجع إلى القاعدة مضافًا إليه المسار النسبي. ومن ذلك تنتج فوائد عملية:

  • بنية صريحة: لا حاجة إلى مسح ملايين المسارات لمعرفة أين تقع البيانات؛
  • نقل رخيص: مجموعة بيانات من 10 ملايين ملف موزعة على 5 حاويات تتطلب استبدال 5 أسطر لا 10 ملايين؛
  • انتقال مرن: يمكن نقل قواعد مختارة فقط معًا وترك الباقي في مكانه؛
  • صيانة بسيطة: جمع المخلفات وإصدار بيانات الاعتماد يمرّان على قائمة القواعد لا على قائمة الملفات.

في المواصفة، لكل قاعدة علامة تحدد كيفية تحليل المسار. إذا كانت القاعدة جذر مجموعة البيانات، فإن المجلدات الفرعية القياسية تسري داخلها، وبهذا يمكن الإشارة إلى مجموعات بيانات كاملة، كما في shallow clone مثلًا. وإن لم تكن كذلك، فإن القاعدة تشير مباشرة إلى مجلد يحوي الملفات دون مجلدات فرعية، وهذا يناسب التوزيع على الحاويات كما في حالة أوبر.

ما يجب تذكّره

هذا عرض من مطوّر Lance لحلّه الخاص، لا مقارنة مستقلة بين الصيغ. وليست في الجزء المتاح من المقال قياسات فعلية لمكسب سعة النقل لدى أوبر، بل هدف «بمقدار N مرة تقريبًا» فقط. كما أن نهاية المنشور مقطوعة في المصدر، ولذلك لم تُتناول هنا تفاصيل الكتابة وعلاقة multi-base بالنسخ المستنسخة.

والخلاصة العملية لمن يبني مجموعات بيانات للتدريب وللبحث الوكيلي: إذا كان لا بد من تقسيم البيانات بين حاويات ومناطق، فاختر صيغة تُخزَّن فيها البادئات صراحةً. عندها يعمل الانتقال وجمع المخلفات على جدول قواعد قصير لا على ملايين الأسطر.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول المشكلة: حاوية واحدة لا تتحمّل آلاف القرّاء؟

تحتفظ أوبر ببيانات متعددة الوسائط لتدريب النماذج وللبحث الوكيلي (agentic search) في مجموعات بيانات بحجم البيتابايت. ويصل إليها آلاف القرّاء في وقت واحد، فتتحول حاوية واحدة سريعًا إلى عنق زجاجة. لذلك أراد المهندسون توزيع مجموعة بيانات واحدة على N من الحاويات. تُكتب الملفات الجديدة على الحاويات بالتناوب الدائري، وتجري القراءة بالتوازي من جميعها. والهدف زيادة سعة النقل الإجمالية بمقدار N مرة تقريبًا. تكمن العقدة في المسارات. فإذا كانت جميع المسارات نسبية، يتعذر الإشارة إلى ملف خارج مجلد مجموعة البيانات.

ما أبرز التفاصيل حول درس Iceberg وDelta: الحلول الهجينة غير مريحة؟

عمل كاتب المقال على Apache Iceberg وDelta Lake، وهو يعمل الآن على Lance. ويذكّر بأن الصيغتين سلكتا طريقين متعاكسين. بدأت Iceberg بالمسارات المطلقة. وهي لا تحتمل الالتباس، لكن الترحيل يستلزم إعادة كتابة بيانات وصفية تضم آلاف المسارات أو ملايينها. بدأ النقاش حول المسارات النسبية عام 2021، وفي نهاية 2025 اتفق المجتمع على تصميم للإصدار 4: المسارات الخالية من مخطط URI تُعدّ نسبية إلى موقع الجدول. أما Delta Lake فبدأت على العكس في سبتمبر 2019 بمسارات نسبية، ثم أجازت المطلقة في أغسطس 2021.

ما أبرز التفاصيل حول كيف يعمل multi-base في Lance؟

في Lance جميع المسارات نسبية، وهيكل المجلدات تحدده المواصفة: ملفات البيانات .lance، وملفات البيان .manifest، والمعاملات .txn، ومتجهات الحذف والفهارس. انسخ مجموعة البيانات من القرص المحلي إلى s3://bucket/dataset فتعمل فورًا دون تعديل البيانات الوصفية. تستند الفكرة الجديدة إلى ملاحظة: حتى لو أشار إلى الجدول ملايين الملفات، فإن عدد البادئات المشتركة المختلفة فيه قليل. سُمّيت هذه البادئات «قواعد» (bases) وأُخرجت في البيان على شكل مصفوفة مستقلة. الآن يحتفظ الملف بمرجع إلى القاعدة مضافًا إليه المسار النسبي.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…