DuckLake 1.0: بحيرة بيانات على حاسوب محمول من DuckDB ومجلد Parquet خلال ساعة
أصدر فريق DuckDB في أبريل النسخة المستقرة DuckLake 1.0: تُحفظ الجداول في ملفات Parquet عادية، أما كل ما عداها، من قائمة الجداول والمخططات إلى اللقطات (snapshots)، فيُخزَّن في قاعدة بيانات SQL عادية. وأوضح KDnuggets كيف تبني بست سكربتات Python بحيرة بيانات كهذه على حاسوب محمول: تحميل 10 000 طلب، وتحديث صفوف، وتغيير المخطط، والتراجع عن حذف عرضي. وبالنسبة إلى المشاريع التحليلية الصغيرة، هذا أقصر طريق إلى إدارة إصدارات البيانات.
معالج بواسطة الذكاء الاصطناعي من KDnuggets؛ بتحرير Hamidun News
ترتبط كلمة lakehouse عادةً بالعناقيد والتخزين السحابي وأسابيع من الإعداد. يقترح فريق DuckDB مسارًا مختلفًا: DuckLake، وهو صيغة جداول مفتوحة يمكن تشغيلها على حاسوب محمول. صدرت النسخة 1.0 في أبريل 2026 بمواصفة مستقرة وضمان للتوافق مع الإصدارات السابقة. ونشر KDnuggets شرحًا تفصيليًا خطوة بخطوة لبناء بحيرة بيانات عاملة في أقل من ساعة.
كيف يعمل DuckLake
الفكرة بسيطة. تُحفظ البيانات نفسها في ملفات Parquet داخل مجلد أو في تخزين كائنات. أما كل ما عداها، من قائمة الجداول والمخططات واللقطات وإحصاءات الملفات، فيعيش في الفهرس (catalog)، أي في قاعدة بيانات SQL عادية. تحفظ صيغ lakehouse الأخرى هذه المعلومات في ملفات خدمية، أما هنا فيتحول البحث عن الملفات المطلوبة إلى استعلام SQL واحد.
يمكن أن يكون الفهرس أي قاعدة SQL تدعم معاملات ACID والمفاتيح الأولية. ويوصي المطورون بالاختيار بحسب السيناريو: DuckDB لعميل واحد، أو قاعدة محلية أخرى لعدة عملاء على جهاز واحد، وPostgreSQL للبحيرة متعددة المستخدمين. ويعتمد الشرح أبسط الخيارات: ملف DuckDB. ويحتاج التشغيل إلى Python 3 وحزمة duckdb بالإصدار 1.5.2 أو أحدث. وعند التشغيل الأول يلزم الاتصال بالإنترنت لتنزيل الامتداد.
ما الذي يعرضه الشرح
تُشغَّل ستة سكربتات بالترتيب. في البداية يولّد DuckDB بنفسه شهرين من الطلبات الوهمية، بواقع 5 000 صف في كل ملف Parquet. ثم تُنشأ البحيرة ويُحمَّل إليها شهر يناير. وتعرض دالة اللقطات الخدمية جدولًا برقم الإصدار والوقت ووصف موجز للتغييرات. وحيث تُجبرك الصيغ الأخرى على تحليل الملفات، يكفي هنا استعلام عادي.
بعد ذلك تُعدَّل البيانات. يُضاف شهر فبراير، وتُحدَّث بضع مئات من الصفوف (تُوسم الطلبات «قيد الشحن» بأنها سُلّمت)، ويُغيَّر مخطط الجدول. وينشئ كل إجراء لقطة جديدة. تعمل التحديثات على هيئة حذف زائد إدراج: تُخفى الصفوف القديمة بملف حذف، وتُكتب النسخ الجديدة بشكل منفصل. أما تغيير المخطط فيمس البيانات الوصفية فقط: لا تُعاد كتابة ملفات Parquet، ويطابق الفهرس الملفات القديمة مع الشكل الجديد للجدول.
وأوضح ما في الشرح هو السفر عبر الزمن. يُعيد الاستعلام الذي يستخدم البنية AT (VERSION => رقم) الجدول كما كان في اللحظة المطلوبة، مع أسماء الأعمدة القديمة. ويمكن أيضًا الرجوع بالزمن، مثل «قبل 10 دقائق». ويتعمد المؤلف إفساد البيانات: يحذف كل طلبات المنطقة west، ثم يعيد إدراجها من اللقطة التي كانت فيها موجودة. فيعود العداد إلى 10 000 صف. ولتجنب تثبيت أرقام الإصدارات في الشيفرة، تحفظ السكربتات معرّفات اللقطات في ملف JSON صغير.
وتقتصر الصيانة على دالة تدمج الملفات الصغيرة المتجاورة في ملفات أكبر. وهي لا تدمج إلا الملفات التي تحمل إصدار المخطط نفسه.
المطبّات المحتملة
يحذّر المؤلف بشكل منفصل من عدة أمور.
- لا يحذف DuckLake الملفات القديمة بنفسه أبدًا، فهي لازمة للسفر عبر الزمن. ولتحرير المساحة، يجب حذف اللقطات القديمة أولًا ثم تنظيف الملفات. لكن بعد ذلك لا يمكن العودة إلى تلك الإصدارات، لذا ينبغي تحديد مدة الاحتفاظ عن وعي.
- تذهب الكتابات الصغيرة (حتى 10 صفوف افتراضيًا) مباشرة إلى الفهرس، لا إلى ملف Parquet جديد. ويمكن إخراجها لاحقًا بدالة منفصلة.
- لا تدعم الصيغة الفهارس (indexes) ولا المفاتيح الأولية والخارجية، ولا قيود UNIQUE وCHECK.
- فهرس بصيغة ملف DuckDB مصمَّم لعميل واحد. وفي حالة تعدد المستخدمين تُنشأ البحيرة على PostgreSQL: يتغير فقط نص الاتصال، وتبقى بقية الاستعلامات كما هي.
ما التالي
يذكر إعلان الإصدار 1.0 اتجاهات محتملة لـ DuckLake 2.0: فروع شبيهة بـ git وعروض مادية تزايدية (incremental materialized views). وهذه حتى الآن خطط لا وعود. وينصح المؤلف بقراءة ملاحظات إصدار 2.0 قبل الترقية.
والخلاصة العملية للمطورين والمحللين كالتالي. إذا كنت بحاجة إلى إصدارات للجداول والتراجع عن الأخطاء وتطوير المخطط، ولا ترغب في تشغيل Spark أو خدمة بيانات وصفية منفصلة، فإن DuckLake يوفر ذلك كله على حاسوب محمول واحد. ويمكن البدء بملف محلي، ثم نقل الفهرس إلى PostgreSQL عندما يكبر الفريق. والأهم أن تضع مسبقًا سياسة لتنظيف اللقطات.
- 12 نوفمبر 2026AWS تنشر قالب بحيرة بيانات لـ Bedrock: كل موجّه (prompt) وكل رمز (token) وسعره تحت الأنظار
- 30 أبريل 2026أليكسي سيليزنيف يطلق دورة فيديو مجانية بلغة R لتطوير أدوات الذكاء الاصطناعي
- 10 أكتوبر 2026ReviewScope يبحث عن الحالات الشاذة في التقييمات عبر التمثيلات المتجهية والرسوم البيانية على 21 ألف نص
- 8 نوفمبر 2026غير مبرمج يعيد تجربة HackerTube لكارباثي على Habr: 388 فيديو في أمسية واحدة
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول كيف يعمل DuckLake؟
الفكرة بسيطة. تُحفظ البيانات نفسها في ملفات Parquet داخل مجلد أو في تخزين كائنات. أما كل ما عداها، من قائمة الجداول والمخططات واللقطات وإحصاءات الملفات، فيعيش في الفهرس (catalog)، أي في قاعدة بيانات SQL عادية. تحفظ صيغ lakehouse الأخرى هذه المعلومات في ملفات خدمية، أما هنا فيتحول البحث عن الملفات المطلوبة إلى استعلام SQL واحد. يمكن أن يكون الفهرس أي قاعدة SQL تدعم معاملات ACID والمفاتيح الأولية.
ما أبرز التفاصيل حول ما الذي يعرضه الشرح؟
تُشغَّل ستة سكربتات بالترتيب. في البداية يولّد DuckDB بنفسه شهرين من الطلبات الوهمية، بواقع 5 000 صف في كل ملف Parquet. ثم تُنشأ البحيرة ويُحمَّل إليها شهر يناير. وتعرض دالة اللقطات الخدمية جدولًا برقم الإصدار والوقت ووصف موجز للتغييرات. وحيث تُجبرك الصيغ الأخرى على تحليل الملفات، يكفي هنا استعلام عادي. بعد ذلك تُعدَّل البيانات. يُضاف شهر فبراير، وتُحدَّث بضع مئات من الصفوف (تُوسم الطلبات «قيد الشحن» بأنها سُلّمت)، ويُغيَّر مخطط الجدول. وينشئ كل إجراء لقطة جديدة.
ما أبرز التفاصيل حول المطبّات المحتملة؟
يحذّر المؤلف بشكل منفصل من عدة أمور. لا يحذف DuckLake الملفات القديمة بنفسه أبدًا، فهي لازمة للسفر عبر الزمن. ولتحرير المساحة، يجب حذف اللقطات القديمة أولًا ثم تنظيف الملفات. لكن بعد ذلك لا يمكن العودة إلى تلك الإصدارات، لذا ينبغي تحديد مدة الاحتفاظ عن وعي. تذهب الكتابات الصغيرة (حتى 10 صفوف افتراضيًا) مباشرة إلى الفهرس، لا إلى ملف Parquet جديد. ويمكن إخراجها لاحقًا بدالة منفصلة. لا تدعم الصيغة الفهارس (indexes) ولا المفاتيح الأولية والخارجية، ولا قيود UNIQUE وCHECK. فهرس بصيغة ملف DuckDB مصمَّم لعميل واحد.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.