ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارKDnuggets→ المصدر

DuckLake 1.0: بحيرة بيانات على حاسوب محمول من DuckDB ومجلد Parquet خلال ساعة

أصدر فريق DuckDB في أبريل النسخة المستقرة DuckLake 1.0: تُحفظ الجداول في ملفات Parquet عادية، أما كل ما عداها، من قائمة الجداول والمخططات إلى اللقطات (snapshots)، فيُخزَّن في قاعدة بيانات SQL عادية. وأوضح KDnuggets كيف تبني بست سكربتات Python بحيرة بيانات كهذه على حاسوب محمول: تحميل 10 000 طلب، وتحديث صفوف، وتغيير المخطط، والتراجع عن حذف عرضي. وبالنسبة إلى المشاريع التحليلية الصغيرة، هذا أقصر طريق إلى إدارة إصدارات البيانات.

معالج بواسطة الذكاء الاصطناعي من KDnuggets؛ بتحرير Hamidun News
DuckLake 1.0: بحيرة بيانات على حاسوب محمول من DuckDB ومجلد Parquet خلال ساعة
المصدر: KDnuggets. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليKDnuggets ↗
رئيس التحرير
حقيقة رئيسية #1يتطلب DuckDB بالإصدار 1.5.2 أو أحدث، وPython 3
لا تُحذف الملفات القديمةلا يُحرَّر المساحة إلا بتنظيف اللقطات
حقيقة رئيسية #3في حالة تعدد المستخدمين، يُنقل الفهرس (catalog) إلى PostgreSQL

ترتبط كلمة lakehouse عادةً بالعناقيد والتخزين السحابي وأسابيع من الإعداد. يقترح فريق DuckDB مسارًا مختلفًا: DuckLake، وهو صيغة جداول مفتوحة يمكن تشغيلها على حاسوب محمول. صدرت النسخة 1.0 في أبريل 2026 بمواصفة مستقرة وضمان للتوافق مع الإصدارات السابقة. ونشر KDnuggets شرحًا تفصيليًا خطوة بخطوة لبناء بحيرة بيانات عاملة في أقل من ساعة.

كيف يعمل DuckLake

الفكرة بسيطة. تُحفظ البيانات نفسها في ملفات Parquet داخل مجلد أو في تخزين كائنات. أما كل ما عداها، من قائمة الجداول والمخططات واللقطات وإحصاءات الملفات، فيعيش في الفهرس (catalog)، أي في قاعدة بيانات SQL عادية. تحفظ صيغ lakehouse الأخرى هذه المعلومات في ملفات خدمية، أما هنا فيتحول البحث عن الملفات المطلوبة إلى استعلام SQL واحد.

يمكن أن يكون الفهرس أي قاعدة SQL تدعم معاملات ACID والمفاتيح الأولية. ويوصي المطورون بالاختيار بحسب السيناريو: DuckDB لعميل واحد، أو قاعدة محلية أخرى لعدة عملاء على جهاز واحد، وPostgreSQL للبحيرة متعددة المستخدمين. ويعتمد الشرح أبسط الخيارات: ملف DuckDB. ويحتاج التشغيل إلى Python 3 وحزمة duckdb بالإصدار 1.5.2 أو أحدث. وعند التشغيل الأول يلزم الاتصال بالإنترنت لتنزيل الامتداد.

ما الذي يعرضه الشرح

تُشغَّل ستة سكربتات بالترتيب. في البداية يولّد DuckDB بنفسه شهرين من الطلبات الوهمية، بواقع 5 000 صف في كل ملف Parquet. ثم تُنشأ البحيرة ويُحمَّل إليها شهر يناير. وتعرض دالة اللقطات الخدمية جدولًا برقم الإصدار والوقت ووصف موجز للتغييرات. وحيث تُجبرك الصيغ الأخرى على تحليل الملفات، يكفي هنا استعلام عادي.

بعد ذلك تُعدَّل البيانات. يُضاف شهر فبراير، وتُحدَّث بضع مئات من الصفوف (تُوسم الطلبات «قيد الشحن» بأنها سُلّمت)، ويُغيَّر مخطط الجدول. وينشئ كل إجراء لقطة جديدة. تعمل التحديثات على هيئة حذف زائد إدراج: تُخفى الصفوف القديمة بملف حذف، وتُكتب النسخ الجديدة بشكل منفصل. أما تغيير المخطط فيمس البيانات الوصفية فقط: لا تُعاد كتابة ملفات Parquet، ويطابق الفهرس الملفات القديمة مع الشكل الجديد للجدول.

وأوضح ما في الشرح هو السفر عبر الزمن. يُعيد الاستعلام الذي يستخدم البنية AT (VERSION => رقم) الجدول كما كان في اللحظة المطلوبة، مع أسماء الأعمدة القديمة. ويمكن أيضًا الرجوع بالزمن، مثل «قبل 10 دقائق». ويتعمد المؤلف إفساد البيانات: يحذف كل طلبات المنطقة west، ثم يعيد إدراجها من اللقطة التي كانت فيها موجودة. فيعود العداد إلى 10 000 صف. ولتجنب تثبيت أرقام الإصدارات في الشيفرة، تحفظ السكربتات معرّفات اللقطات في ملف JSON صغير.

وتقتصر الصيانة على دالة تدمج الملفات الصغيرة المتجاورة في ملفات أكبر. وهي لا تدمج إلا الملفات التي تحمل إصدار المخطط نفسه.

المطبّات المحتملة

يحذّر المؤلف بشكل منفصل من عدة أمور.

  • لا يحذف DuckLake الملفات القديمة بنفسه أبدًا، فهي لازمة للسفر عبر الزمن. ولتحرير المساحة، يجب حذف اللقطات القديمة أولًا ثم تنظيف الملفات. لكن بعد ذلك لا يمكن العودة إلى تلك الإصدارات، لذا ينبغي تحديد مدة الاحتفاظ عن وعي.
  • تذهب الكتابات الصغيرة (حتى 10 صفوف افتراضيًا) مباشرة إلى الفهرس، لا إلى ملف Parquet جديد. ويمكن إخراجها لاحقًا بدالة منفصلة.
  • لا تدعم الصيغة الفهارس (indexes) ولا المفاتيح الأولية والخارجية، ولا قيود UNIQUE وCHECK.
  • فهرس بصيغة ملف DuckDB مصمَّم لعميل واحد. وفي حالة تعدد المستخدمين تُنشأ البحيرة على PostgreSQL: يتغير فقط نص الاتصال، وتبقى بقية الاستعلامات كما هي.

ما التالي

يذكر إعلان الإصدار 1.0 اتجاهات محتملة لـ DuckLake 2.0: فروع شبيهة بـ git وعروض مادية تزايدية (incremental materialized views). وهذه حتى الآن خطط لا وعود. وينصح المؤلف بقراءة ملاحظات إصدار 2.0 قبل الترقية.

والخلاصة العملية للمطورين والمحللين كالتالي. إذا كنت بحاجة إلى إصدارات للجداول والتراجع عن الأخطاء وتطوير المخطط، ولا ترغب في تشغيل Spark أو خدمة بيانات وصفية منفصلة، فإن DuckLake يوفر ذلك كله على حاسوب محمول واحد. ويمكن البدء بملف محلي، ثم نقل الفهرس إلى PostgreSQL عندما يكبر الفريق. والأهم أن تضع مسبقًا سياسة لتنظيف اللقطات.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف يعمل DuckLake؟

الفكرة بسيطة. تُحفظ البيانات نفسها في ملفات Parquet داخل مجلد أو في تخزين كائنات. أما كل ما عداها، من قائمة الجداول والمخططات واللقطات وإحصاءات الملفات، فيعيش في الفهرس (catalog)، أي في قاعدة بيانات SQL عادية. تحفظ صيغ lakehouse الأخرى هذه المعلومات في ملفات خدمية، أما هنا فيتحول البحث عن الملفات المطلوبة إلى استعلام SQL واحد. يمكن أن يكون الفهرس أي قاعدة SQL تدعم معاملات ACID والمفاتيح الأولية.

ما أبرز التفاصيل حول ما الذي يعرضه الشرح؟

تُشغَّل ستة سكربتات بالترتيب. في البداية يولّد DuckDB بنفسه شهرين من الطلبات الوهمية، بواقع 5 000 صف في كل ملف Parquet. ثم تُنشأ البحيرة ويُحمَّل إليها شهر يناير. وتعرض دالة اللقطات الخدمية جدولًا برقم الإصدار والوقت ووصف موجز للتغييرات. وحيث تُجبرك الصيغ الأخرى على تحليل الملفات، يكفي هنا استعلام عادي. بعد ذلك تُعدَّل البيانات. يُضاف شهر فبراير، وتُحدَّث بضع مئات من الصفوف (تُوسم الطلبات «قيد الشحن» بأنها سُلّمت)، ويُغيَّر مخطط الجدول. وينشئ كل إجراء لقطة جديدة.

ما أبرز التفاصيل حول المطبّات المحتملة؟

يحذّر المؤلف بشكل منفصل من عدة أمور. لا يحذف DuckLake الملفات القديمة بنفسه أبدًا، فهي لازمة للسفر عبر الزمن. ولتحرير المساحة، يجب حذف اللقطات القديمة أولًا ثم تنظيف الملفات. لكن بعد ذلك لا يمكن العودة إلى تلك الإصدارات، لذا ينبغي تحديد مدة الاحتفاظ عن وعي. تذهب الكتابات الصغيرة (حتى 10 صفوف افتراضيًا) مباشرة إلى الفهرس، لا إلى ملف Parquet جديد. ويمكن إخراجها لاحقًا بدالة منفصلة. لا تدعم الصيغة الفهارس (indexes) ولا المفاتيح الأولية والخارجية، ولا قيود UNIQUE وCHECK. فهرس بصيغة ملف DuckDB مصمَّم لعميل واحد.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…