Lance يضيف فروعًا لمجموعات البيانات على غرار Git: التجارب لا تعطّل بيئة الإنتاج
التجريب على مجموعة بيانات الإنتاج أمر مخيف: فقد يفسد شيئًا أو يبطئ الاستعلامات العاملة. في Lance لكل فرع مجلده الخاص: تُكتب الملفات الجديدة فيه، بينما تُجلب البيانات القديمة من مجموعة البيانات الرئيسية عبر مرجع، دون نسخ. الكتابة في الفرع لا تتعارض مع الإنتاج، ويمكن فصل الصلاحيات: مجموعة البيانات الرئيسية للقراءة فقط. وهذا يتيح لفرق ML إجراء تجارب على بيانات حية دون نسخ زائدة.
معالج بواسطة الذكاء الاصطناعي من LanceDB Blog؛ بتحرير Hamidun News
كل من أعدّ بيانات لتدريب نموذج يعرف هذه المعضلة جيدًا. مجموعة البيانات حية، ويعمل عليها الإنتاج، وأنت تحتاج إلى تجربة وسم جديد، أو مجموعة خصائص مختلفة، أو تعزيز بيانات (augmentation). نسخ التيرابايتات غير مريح ومكلف. والتجريب مباشرة على الجدول العامل محفوف بالمخاطر. اقترح مؤلف Lance، وأحد صانعي التفرّع في Apache Iceberg، في مدونة LanceDB طريقة يُفترض أن تزيل هذه المعضلة: فروع ووسوم و«استنساخ سطحي» ضمن نموذج واحد.
لماذا لم ترضِ الفروع في Iceberg ولا النسخ في Delta
في Iceberg، حيث ابتكر المؤلف الفروع والوسوم منذ عام 2021، يشبه التصميم Git إلى حد كبير: يحتوي ملف بيانات وصفية للجدول على قائمة مراجع مسمّاة تشير إلى اللقطات (snapshots). تحمي الوسوم الإصدارات المهمة من التنظيف، وتتيح الفروع تراكم التغييرات والتحقق منها قبل النشر. ينجح هذا جيدًا في التدقيق وفي نمط «اكتب، تحقق، انشر». أما في تجارب ML فالنتيجة أضعف، لثلاثة أسباب.
الأول هو الأداء. أي عملية على أي فرع تحدّث ملف البيانات الوصفية المشترك، ولذلك تتعارض الكتابات المتكررة في فرع تجريبي مع إيداعات الإنتاج (commits) وتُفرغ ذاكرات القراءة المؤقتة. الثاني ضعف العزل: ملفات الفروع تقع في المجلد نفسه وبالصلاحيات نفسها، فلا يمكن السماح للإنتاج بالقراءة فقط وللفرع بالكتابة فقط. الثالث المحاسبة: في التدقيق لا يمكن التمييز بين الاستعلامات الموجهة إلى الفرع وتلك الموجهة إلى الإنتاج، وتُخصم مساحة التجارب من ميزانية الجدول الرئيسي.
في Delta Lake يوجد منذ أواخر عام 2022 ما يُعرف بـ shallow clone: يُنشأ جدول منفصل يشير إلى ملفات الجدول الأصلي عبر مسارات مطلقة. له صلاحياته وحصصه وتدقيقه الخاص، وتُكتب البيانات الجديدة في مجلده. ويقرّ المؤلف بأنه ظلّ سنوات يعدّ هذا أفضل نموذج.
كيف يعمل ذلك في Lance
تغيّرت النظرة حين طلبت ByteDance وNetflix، كلٌّ على حدة، إضافة فروع إلى Lance لتجارب الذكاء الاصطناعي. وحججهما كالتالي. الفرع مرتبط دائمًا بالجدول الأصل، ولذلك يظهر أصل التجربة دون نظام منفصل لتتبّع النسب (lineage). وتبقى كل البيانات داخل مجموعة بيانات واحدة، ويجري التنظيف وفق قواعد مدة حياة الفروع والوسوم، فلا يمكن نسيان نسخة مستنسخة عن طريق الخطأ، وهذا مهم مثلًا لامتثال GDPR. وأخيرًا فإن «أنشئ فرعًا، جرّب، ادمجه أو تخلّص منه» مفهوم لأي مطوّر.
يقوم ذلك على multi-base — مخطط يسرد فيه بيان (manifest) مجموعة البيانات عدة مسارات أساسية، ويحدد كل ملف القاعدة التي يُقرأ منها. ومنه تنشأ ثلاثة عناصر:
- الاستنساخ السطحي (Shallow clone). مجموعة بيانات جديدة مستقلة لها موقعها وتاريخ إصداراتها الخاص. تُقرأ الأجزاء الموروثة من المصدر عبر مسار أساسي واحد، لا عبر مسار مطلق لكل ملف كما في Delta. لا تُنسخ البيانات، وتُنشأ البيانات الوصفية فقط.
- الوسوم. مؤشرات مسمّاة ثابتة إلى الإصدارات، تُحفظ في ملفات منفصلة. في Iceberg تُخزَّن الوسوم في البيانات الوصفية للجدول وتتأثر بالتراجع. أما في Lance فلا يمسّها تراجع الإصدارات، ولا يحذف جامع المهملات الإصدارات الموسومة.
- الفروع. هي عمليًا نسخة سطحية داخل مجلد مجموعة البيانات الأصلية، مع سجل يبيّن من أين تفرّع الفرع.
ثمة فارق مهم عن Git وIceberg: يتتبع Lance الفرع بموضع إنشائه، لا بآخر إيداع فيه. تحتفظ البيانات الوصفية للفرع بالفرع الأصل والإصدار الذي بدأ منه فقط. أما جميع الإيداعات اللاحقة فتُكتب في مجلد الفرع الخاص بها مع بياناتها ومانيفستاتها وملفاتها. ويرى المؤلف أن هذا النهج هو الأفضل للجداول التي تضم بيتابايتات من البيانات وملايين الملفات.
ما الذي يعنيه ذلك عمليًا
لا تمس الكتابة في الفرع البيانات الوصفية للفرع الرئيسي، ولذلك لا توجد تعارضات في الإيداعات ولا إفراغ للذاكرات المؤقتة. وتقع بيانات الفرع فعليًا في مجلد منفصل، ويمكن على مستوى التخزين منح صلاحيات «قراءة الإنتاج، والكتابة في الفرع فقط». يظهر في التدقيق أي نشاط يعود إلى الفرع، وتُحسب تكاليف التخزين لكل فرع. وإضافة إلى ذلك، لكل فرع تاريخ إصدارات كامل خاص به، ويعمل التنقل عبر الزمن (time travel) داخله، وهو ما لا يتوافر في Iceberg. ويمكن إنشاء فروع متداخلة، مثل متغيّرين لاختبار A/B انطلاقًا من فرع تجريبي مشترك.
في Python يبدو ذلك مألوفًا: تكتب مجموعة البيانات، وتضع وسمًا على إصدار («baseline» أو «training-v1»)، وتفتح مجموعة البيانات على الإصدار الموسوم، وتنشئ فرعًا عبر create_branch، وتضيف إليه بيانات تجريبية. وتبقى مجموعة البيانات الرئيسية كما هي.
القيود
هذا وصف للتصميم من مؤلف المشروع، لا اختبار أداء (benchmark) مستقل. لا توجد في المادة أرقام عن السرعة أو التوفير، وستُظهر الممارسة كيف يتصرف المخطط تحت الأحمال الكبيرة. وسيستفيد في المقام الأول الفرق التي تخزّن بيانات التدريب في Lance أصلًا. أما إذا كنت تعتمد على Iceberg أو Delta، فالأجدى أن تنظر إلى المبدأ ذاته: التجارب تحتاج إلى مجلد مادي منفصل بصلاحيات منفصلة، لا إلى مجرد علامة منطقية في جدول مشترك.
- 21 نوفمبر 2026LanceDB تطلق Realtime Engine: البيانات الجديدة قابلة للبحث خلال 52 مللي ثانية
- 26 مايو 2026شبكة Lance العصبية للفيديو: كيف يعمل نموذج الذكاء الاصطناعي الشامل
- 21 نوفمبر 2026أوبر وLanceDB تعلّمان صيغة Lance تقسيم مجموعة البيانات على عدة حاويات: 5 مسارات بدل 10 ملايين
- 31 أكتوبر 2026SciGame يختبر خمسة وكلاء LLM: الصيغ المألوفة تعيق اكتشاف القوانين المعدَّلة
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا لم ترضِ الفروع في Iceberg ولا النسخ في Delta؟
في Iceberg، حيث ابتكر المؤلف الفروع والوسوم منذ عام 2021، يشبه التصميم Git إلى حد كبير: يحتوي ملف بيانات وصفية للجدول على قائمة مراجع مسمّاة تشير إلى اللقطات (snapshots). تحمي الوسوم الإصدارات المهمة من التنظيف، وتتيح الفروع تراكم التغييرات والتحقق منها قبل النشر. ينجح هذا جيدًا في التدقيق وفي نمط «اكتب، تحقق، انشر». أما في تجارب ML فالنتيجة أضعف، لثلاثة أسباب. الأول هو الأداء.
ما أبرز التفاصيل حول كيف يعمل ذلك في Lance؟
تغيّرت النظرة حين طلبت ByteDance وNetflix، كلٌّ على حدة، إضافة فروع إلى Lance لتجارب الذكاء الاصطناعي. وحججهما كالتالي. الفرع مرتبط دائمًا بالجدول الأصل، ولذلك يظهر أصل التجربة دون نظام منفصل لتتبّع النسب (lineage). وتبقى كل البيانات داخل مجموعة بيانات واحدة، ويجري التنظيف وفق قواعد مدة حياة الفروع والوسوم، فلا يمكن نسيان نسخة مستنسخة عن طريق الخطأ، وهذا مهم مثلًا لامتثال GDPR. وأخيرًا فإن «أنشئ فرعًا، جرّب، ادمجه أو تخلّص منه» مفهوم لأي مطوّر.
ما أبرز التفاصيل حول ما الذي يعنيه ذلك عمليًا؟
لا تمس الكتابة في الفرع البيانات الوصفية للفرع الرئيسي، ولذلك لا توجد تعارضات في الإيداعات ولا إفراغ للذاكرات المؤقتة. وتقع بيانات الفرع فعليًا في مجلد منفصل، ويمكن على مستوى التخزين منح صلاحيات «قراءة الإنتاج، والكتابة في الفرع فقط». يظهر في التدقيق أي نشاط يعود إلى الفرع، وتُحسب تكاليف التخزين لكل فرع. وإضافة إلى ذلك، لكل فرع تاريخ إصدارات كامل خاص به، ويعمل التنقل عبر الزمن (time travel) داخله، وهو ما لا يتوافر في Iceberg. ويمكن إنشاء فروع متداخلة، مثل متغيّرين لاختبار A/B انطلاقًا من فرع تجريبي مشترك.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.