LanceDB تطلق Realtime Engine: البيانات الجديدة قابلة للبحث خلال 52 مللي ثانية
في بحيرات البيانات التقليدية تنتظر الكتابة تثبيت دفعة كاملة، لذلك لا يمكن العثور في البحث على إطار حُفظ قبل ثانية واحدة. أضافت LanceDB إلى نسخة Enterprise محرك Realtime Engine: يُؤكَّد الصف بعد حفظه في مخزن S3، ويصبح قابلاً للقراءة بعد 52 مللي ثانية في المتوسط. ويستغرق البحث في الصفوف الجديدة 15–28 مللي ثانية للنصوص و26–30 مللي ثانية للمتجهات. وبالنسبة إلى مجموعات بيانات الروبوتات والتعلم المعزز (RL) الحية، يمكن الاستغناء عن خدمة بحث منفصلة.
معالج بواسطة الذكاء الاصطناعي من LanceDB Blog؛ بتحرير Hamidun News
تخيّل مهندساً يحلل محاولة فاشلة لإمساك جسم بذراع روبوتية. الإطار حُفظ قبل ثانية، لكنه لم يظهر بعد في الجدول: فالنظام ينتظر تجمّع دفعة من البيانات ثم إتمام عملية التثبيت (commit)، أي نشر نسخة جديدة من الجدول. ويعاني الباحث الذي يدرّب نموذجاً بالتعلم المعزز (RL) من المشكلة نفسها حين يريد الاطلاع على تشغيل انتهى للتو. وقد أصدرت شركة LanceDB لنسختها المدفوعة LanceDB Enterprise محرك Realtime Engine الذي يلغي هذا الانتظار. ووفق قياسات الشركة، يبلغ الزمن الوسيط من لحظة حفظ السجل بأمان في مخزن S3 السحابي حتى لحظة إمكان قراءة الصف 52 مللي ثانية.
ما المشكلة في بحيرات البيانات الدفعية
بُنيت أنظمة lakehouse الحديثة (بحيرات بيانات تُخزَّن فيها الجداول كملفات في مخزن كائنات مثل S3) حول عمليات تثبيت دفعية كبيرة. تُجمع البيانات وتُكتب في ملفات عمودية، ثم تُنشر نسخة جديدة من الجدول. هذا الأسلوب رخيص لتخزين أحجام كبيرة من البيانات ومسحها، لكنه يفرض خياراً غير مريح في حالة التدفقات. فإذا ثُبّتت البيانات كثيراً، تراكمت الملفات الصغيرة وتحديثات البيانات الوصفية. وإذا انتُظرت دفعة كبيرة، انتظر القرّاء مع الكتّاب.
ويبرز ذلك خصوصاً في مهام الذكاء الاصطناعي. فأساطيل الروبوتات تنتج الصور وقراءات المستشعرات بلا انقطاع، وخطوط وضع العلامات تضيف التسميات والتضمينات (embeddings). ويجب أن تؤثر التسمية المصحّحة في عامل التصفية التالي فوراً، وأن يظهر التضمين المعاد حسابه في عملية البحث المتجهي التالية. وفي تدريب RL تكتب العمليات العاملة المسارات، ويضيف المقيّمون المكافآت، وتلتقط عملية التدريب الأمثلة الجاهزة. كل ذلك يجري بالتوازي ودون توقف.
الحل المعتاد هو وضع مخزن مؤقت للكتابة أو خدمة بحث منفصلة أمام البحيرة. وتشير LanceDB إلى عيوب هذا النهج: فاستقبال البيانات يقتصر غالباً على إضافة الصفوف فقط، ودعم الفهارس المتجهية وفهارس النص الكامل ضعيف، والبيانات نفسها مرتبطة بالمورّد. وما دامت البيانات في مخزن مؤقت مغلق، لا تستطيع المحركات الأخرى قراءتها عبر صيغة جدول مفتوحة. كما أن الموثوقية كثيراً ما تعتمد على النسخ المتماثل داخل المخزن المؤقت نفسه، لا على مخزن الكائنات.
كيف يعمل Realtime Engine
يقوم المحرك على صيغة MemWAL، وهي جزء من صيغة الجداول Lance. وهي تضيف إلى Lance شجرة LSM (بنية تستقبل الكتابات سريعاً في الذاكرة والسجل، ثم تدمجها لاحقاً في التخزين الرئيسي) فوق مخزن الكائنات. يصل السجل الجديد إلى عقدة المحرك، فتحفظه العقدة في سجل الكتابة الاستباقية (write-ahead log) داخل مخزن الكائنات، وتضيفه إلى مخزن مؤقت مفهرس في الذاكرة يُسمى MemTable. ولا يُرسَل رد النجاح إلا بعد حفظ البيانات بأمان، ولذلك لا تضيع السجلات المؤكَّدة إذا تعطلت العقدة.
تُفرَّغ جداول MemTable الممتلئة إلى ملفات Lance مفهرسة (SSTable)، وتُدمج في الخلفية مع الجدول الأساسي. وتكتب كل شريحة (shard)، أي جزء مستقل من الجدول، على نحو مستقل. لذا لا توجد عملية تثبيت مشتركة على الجدول كله عند كل كتابة، ويتوسع استقبال البيانات بإضافة الشرائح والعقد. وتبحث الاستعلامات في الوقت نفسه في MemTable وSSTable والجدول الأساسي، فتُبحث البيانات الجديدة والقديمة باستعلام واحد. وما دامت فهارس الجدول الأساسي تلحق بالتغييرات، تستخدم الاستعلامات فهارس SSTable، فلا تختفي الصفوف الجديدة من النتائج.
ويجري الضغط (compaction، أي دمج الملفات الصغيرة) وتحديث الفهارس وجمع المهملات على عمليات عاملة منفصلة تتوسع بمعزل عن الاستقبال والاستعلامات. وإذا تلقى الجدول حملاً ثقيلاً ومستمراً، تُضاف إليه عمليات عاملة للصيانة.
ماذا أظهرت القياسات
الأرقام من إعداد LanceDB نفسها، وقد أُجريت على Amazon EKS باستخدام مجموعات بيانات عامة هي FineWeb-Edu (نصوص ويب) وMS MARCO (مقاطع بحثية) وLAION (أزواج «صورة — نص»). وهذا ليس تحققاً مستقلاً. ولم تُحتسب الكتابة إلا بعد حفظها في S3، وفي كل تشغيل جرى التحقق من أن الجدول يحتوي على الصفوف المؤكَّدة بالضبط. وكانت العقدة الواحدة بمعالج 30 vCPU وذاكرة 112 غيبيبايت.
- الزمن الوسيط من الكتابة الآمنة في S3 حتى صيرورة الصف قابلاً للقراءة هو 52 مللي ثانية.
- ارتفعت سرعة الكتابة مع فهرس حي على المفتاح الأساسي من 79–83 ميغابايت/ث على شريحة واحدة إلى 312–334 ميغابايت/ث على أربع شرائح لعقدة واحدة.
- التأخير الوسيط لاستعلامات الصفوف الجديدة أثناء استقبال البيانات: 15–28 مللي ثانية للبحث بالنص الكامل و26–30 مللي ثانية للبحث المتجهي.
- لم تكن الكتابة في جدول يضم أصلاً مجموعة FineWeb-Edu أو MS MARCO كاملة أبطأ منها في جدول صغير. فتبقى البيانات القديمة قابلة للبحث بينما تصل البيانات الجديدة.
الفهرس الحي يستهلك وقت المعالج، وتكلفته تتوقف على طبيعة البيانات. ففي LAION يشغل الجزء الأكبر من الصف صورةٌ، لذلك يكاد الحفاظ على جميع الفهارس لا يعيق الأداء: 289 ميغابايت/ث مقابل 314 ميغابايت/ث مع فهرس واحد على المفتاح الأساسي. أما الوثائق النصية الطويلة فتتطلب عملاً أكبر من فهرس النص الكامل لكل بايت مكتوب. لذلك يمكن اختيار الفهارس التي تبقى حية في كل جدول، وإيجاد توازن بين سرعة الكتابة وسرعة الاستعلام على البيانات الجديدة. ويمكن للمحرك كتابة الصور مباشرة في مخزن الكائنات مع الاحتفاظ بمرجع فقط في الذاكرة، لتقليل استهلاك ذاكرة العقدة.
ماذا يعني ذلك للمطورين والممارسين
إذا كنت تجمع مجموعات بيانات من تدفق بيانات الروبوتات أو تشغّل خطوط RL، فإن Realtime Engine يزيل طبقة زائدة: خدمة البحث المنفصلة ومزامنة البيانات معها. والقيود واضحة أيضاً. فهذه ميزة في نسخة Enterprise المدفوعة، وأفضل النتائج ظهرت في إعداد متعدد الشرائح، وإبقاء سرعة الكتابة العالية لساعات يتوقف على قدرة عمليات الصيانة العاملة على المواكبة. أما صيغة MemWAL نفسها فمفتوحة وموصوفة في مواصفة Lance، فيمكن لقرّاء وكتّاب متوافقين العمل مع البيانات نفسها. وقبل الانتقال، شغّل حملك الخاص: فعلى النصوص الطويلة ستكون تكلفة الفهارس الحية أعلى منها على الصور.
- 21 نوفمبر 2026إف بي آي: أداة الذكاء الاصطناعي ARTEX تخترق الشبكات في أقل من ثلاث ساعات
- 21 نوفمبر 2026AG-UI 1.0 يمنح وكلاء الذكاء الاصطناعي لغة موحدة للتواصل مع التطبيق: 31 نوعًا من الأحداث
- 21 نوفمبر 2026OpenAI تطلق ChatGPT Wallet: وكلاء الذكاء الاصطناعي يشترون دون أن يروا رقم البطاقة
- 21 نوفمبر 2026الولايات المتحدة أنفقت 70.7 مليون دولار على إعلانات ChatGPT في أكتوبر — بزيادة 127% عن أبريل
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما المشكلة في بحيرات البيانات الدفعية؟
بُنيت أنظمة lakehouse الحديثة (بحيرات بيانات تُخزَّن فيها الجداول كملفات في مخزن كائنات مثل S3) حول عمليات تثبيت دفعية كبيرة. تُجمع البيانات وتُكتب في ملفات عمودية، ثم تُنشر نسخة جديدة من الجدول. هذا الأسلوب رخيص لتخزين أحجام كبيرة من البيانات ومسحها، لكنه يفرض خياراً غير مريح في حالة التدفقات. فإذا ثُبّتت البيانات كثيراً، تراكمت الملفات الصغيرة وتحديثات البيانات الوصفية. وإذا انتُظرت دفعة كبيرة، انتظر القرّاء مع الكتّاب. ويبرز ذلك خصوصاً في مهام الذكاء الاصطناعي.
ما أبرز التفاصيل حول كيف يعمل Realtime Engine؟
يقوم المحرك على صيغة MemWAL، وهي جزء من صيغة الجداول Lance. وهي تضيف إلى Lance شجرة LSM (بنية تستقبل الكتابات سريعاً في الذاكرة والسجل، ثم تدمجها لاحقاً في التخزين الرئيسي) فوق مخزن الكائنات. يصل السجل الجديد إلى عقدة المحرك، فتحفظه العقدة في سجل الكتابة الاستباقية (write-ahead log) داخل مخزن الكائنات، وتضيفه إلى مخزن مؤقت مفهرس في الذاكرة يُسمى MemTable. ولا يُرسَل رد النجاح إلا بعد حفظ البيانات بأمان، ولذلك لا تضيع السجلات المؤكَّدة إذا تعطلت العقدة.
ما أبرز التفاصيل حول ماذا أظهرت القياسات؟
الأرقام من إعداد LanceDB نفسها، وقد أُجريت على Amazon EKS باستخدام مجموعات بيانات عامة هي FineWeb-Edu (نصوص ويب) وMS MARCO (مقاطع بحثية) وLAION (أزواج «صورة — نص»). وهذا ليس تحققاً مستقلاً. ولم تُحتسب الكتابة إلا بعد حفظها في S3، وفي كل تشغيل جرى التحقق من أن الجدول يحتوي على الصفوف المؤكَّدة بالضبط. وكانت العقدة الواحدة بمعالج 30 vCPU وذاكرة 112 غيبيبايت. الزمن الوسيط من الكتابة الآمنة في S3 حتى صيرورة الصف قابلاً للقراءة هو 52 مللي ثانية.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.