ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارLanceDB Blog→ المصدر

WeRide تختصر مع LanceDB البحث عن اللقطات الخطرة النادرة للسيارات ذاتية القيادة من أسبوع إلى ساعة

تحتاج السيارة ذاتية القيادة إلى مواقف نادرة، مثل وجود شخص على الطريق، لتدريب نماذجها. لكن العثور على هذه المواقف بين مليارات اللقطات لا يمكن عبر SQL التقليدي. لذلك اعتمدت WeRide قاعدة البيانات المتجهة LanceDB: يكتب المهندس عبارة أو يرفع صورة، فيحصل خلال ميلي ثوانٍ على 1000 لقطة مشابهة. وانخفض الوقت اللازم لجمع هذه الحالات الخطرة من أسبوع واحد إلى ساعة واحدة. وإذا كان لديكم كثير من الصور غير الموسومة، فسيعوّض البحث الدلالي كلفته سريعاً.

معالج بواسطة الذكاء الاصطناعي من LanceDB Blog؛ بتحرير Hamidun News
WeRide تختصر مع LanceDB البحث عن اللقطات الخطرة النادرة للسيارات ذاتية القيادة من أسبوع إلى ساعة
المصدر: LanceDB Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليLanceDB Blog ↗
رئيس التحرير
زمن الاستجابة P99 بالميلي ثانية99% من الاستعلامات على مليارات السجلات تقع ضمن الحد المطلوب
حقيقة رئيسية #2يُعاد بناء الفهرس مرة في الأسبوع ومرة في الشهر، فحداثة البيانات ليست حاسمة
حقيقة رئيسية #3تُخزَّن التضمينات (embeddings) والبيانات الوصفية في مخزن WeRide الخاص

أصعب ما يواجه السيارة ذاتية القيادة ليس الطريق المعتاد، بل المواقف الخطرة النادرة، كأن يكون شخص ممدداً على الطريق. هذه الحالات قليلة جداً في تسجيلات الكاميرات والرادارات وأجهزة الليدار، ومع ذلك فهي أكثر ما يتعثر النموذج في التعلّم منه. وكان مهندسو WeRide يحتاجون في السابق إلى أسبوع كامل لجمع مثل هذه الحالات لأغراض التدريب. أما بعد اعتماد قاعدة البيانات المتجهة LanceDB، وهي لا تبحث عن قيم دقيقة في الأعمدة بل عن معنى الصورة أو العبارة، فتستغرق العملية نحو ساعة. وبالنسبة إلى أي فريق لديه كثير من الصور أو الفيديو أو غيرها من البيانات «الثقيلة» دون وسم يدوي، فهذا مثال واضح على أن تسريع البحث يسرّع الدورة كلها: اكتشاف المشكلة، ثم جمع البيانات، ثم إعادة التدريب.

لماذا لم يكن SQL التقليدي مناسباً

تطوّر WeRide، وهي شركة مدرجة في بورصة Nasdaq، تقنيات القيادة الذاتية من المستوى 2 إلى المستوى 4. وتجري أبحاثها واختباراتها وعملياتها التشغيلية في أكثر من 30 مدينة في سبع دول، ويعمل أسطولها من المركبات ذاتية القيادة منذ أكثر من 1700 يوم. وهذا يعني تدفقاً مستمراً من البيانات متعددة الوسائط. وفي عام 2023 تولّى فاي تشن قيادة فريق البنية التحتية للبيانات، وكانت أمامه مهمة محددة: العثور بسرعة على البيانات المطابقة لمعيار معيّن، وخصوصاً الأمثلة النادرة لـ«الذيل الطويل» من السيناريوهات.

لا يجدي SQL نفعاً هنا. فاستعلام مثل «جد اللقطات التي يظهر فيها شخص ممدد على الأرض» لا يمكن كتابته كشرط على الأعمدة إذا لم يكن في الجدول وسم من هذا النوع. لذلك تُحوَّل الصور والنصوص إلى متجهات (تضمينات)، وتبحث القاعدة عن الأقرب منها من حيث المعنى.

كانت متطلبات المنصة صارمة:

  • زمن استجابة P99 بالميلي ثانية (أي أن 99% من الاستعلامات تقع ضمن هذا الحد) عند إرجاع أفضل 1000 نتيجة لاستعلام نصي أو صوري على مليارات السجلات؛
  • بحث متجهي مقترن بمرشّحات على البيانات الوصفية؛
  • أدنى استهلاك ممكن لعرض النطاق الترددي، حتى لا يتعارض مع المخزن السريع الذي يغذّي تدريب النماذج؛
  • تكلفة معقولة وصيانة بسيطة مع نمو البيانات.

كيف يعمل خط المعالجة

تُحوَّل الصور ومقاطع الفيديو الواردة من المركبات إلى متجهات. وتُحمَّل مع بياناتها الوصفية في LanceDB، التي تعمل فوق عنقود تخزين خاص بنته فريق البنية التحتية نفسه. وتفهرس LanceDB البيانات لتسريع البحث. ولأن البيانات الجديدة تصل باستمرار، تُشغَّل إعادة الفهرسة وفق جدول زمني: مرة في الأسبوع ومرة في الشهر. وهذا حل وسط عملي: لا يتحدّث الفهرس فورياً، لكن النظام أبسط وأقل كلفة.

أما البحث نفسه فيجري على النحو التالي. يكتب المهندس نصاً مثل «شخص ممدد على الطريق» أو يعرض صورة نموذجية. يتحوّل الاستعلام إلى تضمين، فتعثر القاعدة على متجهات مشابهة وتطبّق في الوقت نفسه مرشّحات على حقول البيانات الوصفية. ثم تمرّ أفضل 1000 نتيجة بمرحلة تجهيز الخصائص (feature engineering) وتدخل في مجموعة التدريب.

ما الذي حصلت عليه الشركة وما التحفظات

الرقم الرئيسي في هذه الحالة: انخفض الوقت اللازم لاستخراج البيانات الخاصة بالحالات النادرة الحرجة للسلامة من أسبوع واحد إلى ساعة واحدة. كما تفيد WeRide بارتفاع إنتاجية مطوّري ML عند استكشاف البيانات وتصحيح الأخطاء، وبانخفاض زمن تدريب النماذج بفضل كفاءة أعلى في إدخال البيانات وإخراجها. لكن نص الحالة لا يذكر نسباً مئوية محددة لهذين التحسّنين، ولذلك لا يمكن تقدير حجمهما.

والتحفظ هنا واضح: المادة منشورة في مدوّنة المورّد نفسه بالاشتراك مع العميل. ولا توجد مقارنة مستقلة مع قواعد متجهية أخرى، ولم تُذكر تكلفة العنقود ولا دقة البحث. أما العبارات التي تقول إن LanceDB ستصبح «أداة لا غنى عنها» فينبغي قراءتها بوصفها تسويقاً. ويعتزم الفريق أيضاً استخدام القاعدة في تحليل أسلوب القيادة وتخصيص الرحلات.

ما يمكن الاستفادة منه

أولاً، حدّدوا متطلبات قاعدة البيانات المتجهة عبر زمن الاستجابة P99 والمرشّحات على البيانات الوصفية والحِمل على التخزين، لا عبر اختبارات أداء لافتة على مجموعات بيانات غريبة عنكم. ففي بيئة الإنتاج لا يكاد أحد يبحث بالمتجه «النقي» وحده، والمرشّحات مطلوبة دائماً.

ثانياً، إذا كانت البيانات تذهب إلى التدريب لا إلى إجابة المستخدم في الوقت الفعلي، فإن إعادة الفهرسة وفق جدول زمني (مرة في الأسبوع أو الشهر) تكفي عادةً.

ثالثاً، قيّموا قيمة البحث بطول دورة عمل الفريق لا بالميلي ثانية. فاختصار جمع الأمثلة النادرة من أسبوع إلى ساعة يعطي مكسباً أكبر من تسريع التدريب نفسه. وهذا النهج ينطبق أيضاً على الروبوتات والصور الطبية وكاميرات المراقبة وأي منتج تتوقف جودته على الحالات النادرة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا لم يكن SQL التقليدي مناسباً؟

تطوّر WeRide، وهي شركة مدرجة في بورصة Nasdaq، تقنيات القيادة الذاتية من المستوى 2 إلى المستوى 4. وتجري أبحاثها واختباراتها وعملياتها التشغيلية في أكثر من 30 مدينة في سبع دول، ويعمل أسطولها من المركبات ذاتية القيادة منذ أكثر من 1700 يوم. وهذا يعني تدفقاً مستمراً من البيانات متعددة الوسائط. وفي عام 2023 تولّى فاي تشن قيادة فريق البنية التحتية للبيانات، وكانت أمامه مهمة محددة: العثور بسرعة على البيانات المطابقة لمعيار معيّن، وخصوصاً الأمثلة النادرة لـ«الذيل الطويل» من السيناريوهات. لا يجدي SQL نفعاً هنا.

ما أبرز التفاصيل حول كيف يعمل خط المعالجة؟

تُحوَّل الصور ومقاطع الفيديو الواردة من المركبات إلى متجهات. وتُحمَّل مع بياناتها الوصفية في LanceDB، التي تعمل فوق عنقود تخزين خاص بنته فريق البنية التحتية نفسه. وتفهرس LanceDB البيانات لتسريع البحث. ولأن البيانات الجديدة تصل باستمرار، تُشغَّل إعادة الفهرسة وفق جدول زمني: مرة في الأسبوع ومرة في الشهر. وهذا حل وسط عملي: لا يتحدّث الفهرس فورياً، لكن النظام أبسط وأقل كلفة. أما البحث نفسه فيجري على النحو التالي. يكتب المهندس نصاً مثل «شخص ممدد على الطريق» أو يعرض صورة نموذجية.

ما أبرز التفاصيل حول ما الذي حصلت عليه الشركة وما التحفظات؟

الرقم الرئيسي في هذه الحالة: انخفض الوقت اللازم لاستخراج البيانات الخاصة بالحالات النادرة الحرجة للسلامة من أسبوع واحد إلى ساعة واحدة. كما تفيد WeRide بارتفاع إنتاجية مطوّري ML عند استكشاف البيانات وتصحيح الأخطاء، وبانخفاض زمن تدريب النماذج بفضل كفاءة أعلى في إدخال البيانات وإخراجها. لكن نص الحالة لا يذكر نسباً مئوية محددة لهذين التحسّنين، ولذلك لا يمكن تقدير حجمهما. والتحفظ هنا واضح: المادة منشورة في مدوّنة المورّد نفسه بالاشتراك مع العميل.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
ما رأيك؟
جارٍ تحميل التعليقات…