تدريب انحدار كوكس (Cox) على البيانات المبتورة أسرع من خوارزمية EM بأوامر من الحجم

نُشرت على arXiv ورقة بحثية برقم 2610.12538 عن تدريب نماذج البقاء على بيانات يتوقف فيها دخول المشاهدة إلى العينة على نتيجتها (البتر)، بينما لم يقع جزء من الأحداث بعد (الحجب من اليمين). أثبت المؤلفون أنه عند معرفة الخطر الأساسي مسبقًا يمكن تدريب انحدار كوكس بالطرق التدرجية من الرتبة الأولى، رغم أن دالة الخسارة غير محدبة. أما إذا تعلّم الخطر الأساسي مع النموذج، فتظهر في دالة الخسارة قيم دنيا محلية دون مثلى بصرامة. وعلى أربع مجموعات بيانات، يقلل أخذ البتر في الحسبان الانحياز في انحدار كوكس المعتاد، ويصل التسارع مقارنةً بـEM إلى أوامر من الحجم. • أُثبتت قابلية تدريب نموذج Cox بكفاءة عند معرفة الخطر الأساسي. • عند تدريب الخطر الأساسي مع النموذج في الوقت نفسه، وُجدت فخاخ على شكل قيم دنيا محلية. • يمكن نقل الطريقة إلى الشبكات العصبية.

معالج بواسطة الذكاء الاصطناعي من arXiv cs.LG؛ بتحرير Hamidun News
تدريب انحدار كوكس (Cox) على البيانات المبتورة أسرع من خوارزمية EM بأوامر من الحجم
المصدر: arXiv cs.LG. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليarXiv cs.LG ↗
رئيس التحرير
حقيقة رئيسية #1أُثبتت قابلية تدريب نموذج Cox بكفاءة عند معرفة الخطر الأساسي.
حقيقة رئيسية #2عند تدريب الخطر الأساسي مع النموذج في الوقت نفسه، وُجدت فخاخ على شكل قيم دنيا محلية.
حقيقة رئيسية #3يمكن نقل الطريقة إلى الشبكات العصبية.

نشرت مجموعة من الباحثين على arXiv نسخة أولية برقم 2610.12538 عن نماذج البقاء التي تُدرَّب على بيانات رُشِّحت بحسب النتيجة نفسها. وعلى أربع مجموعات بيانات، يقلل أخذ البتر في الحسبان الانحياز في تنبؤات انحدار كوكس المعتاد، بينما يتفوق النهج الجديد في السرعة على الخوارزمية القياسية، خوارزمية التوقع والتعظيم (EM)، بأوامر من الحجم. والنتيجة النظرية الرئيسية: عند معرفة الخطر الأساسي، يمكن تدريب نموذج كوكس بالتحسين العادي من الرتبة الأولى، مع أن دالة الخسارة غير محدبة.

عيّنة تشوّه الصورة

تُدرَّب معظم النماذج على افتراض أن بيانات التدريب تشبه البيانات التي سيواجهها النموذج عمليًا. أما المجموعات الواقعية فكثيرًا ما لا تحقق هذا الشرط. ويتناول المؤلفون حالة خاصة واحدة: تدخل المشاهدة إلى مجموعة البيانات بحسب تصنيفها. وهذا ما يسمى outcome-dependent truncation، أي البتر المعتمد على النتيجة. ومثال ذلك، من باب الافتراض العام: لا يدخل الفوج إلا من عاشوا حتى لحظة انضمامهم إلى الدراسة. أما المسارات القصيرة فتغيب عن البيانات ببساطة.

ويُضاف إلى البتر الحجب من اليمين. فبالنسبة إلى بعض الكائنات لم يقع الحدث حتى نهاية المراقبة، ولا يُعرف سوى أنه سيقع بعد نقطة زمنية معينة. وقد اعتاد تحليل البقاء التعامل مع الحجب منذ زمن طويل. أما الأدبيات المتعلقة بالتدريب الفعّال في ظل البتر فتطورت بمعزل عنه. وتجمع هذه الورقة بين الاتجاهين.

ما الذي أُثبت وأين يكمن الفخ

لم تصف الطرق القائمة للبقاء المبتور هندسة مسألة التحسين. فقد اعتمدت على إجراءات تكرارية مثل EM، وهي تعمل لكنها بطيئة ولا تقدّم ضمانات بشأن مشهد دالة الخسارة. ويسد المؤلفون هذه الفجوة.

النتيجة عند معرفة الخطر الأساسي: يمكن تعلّم انحدار كوكس بكفاءة بالطرق من الرتبة الأولى عندما تكون البيانات مبتورة ومحجوبة من اليمين. ولا تعيق اللاخطية ذلك، رغم أن المسألة غير محدبة.

أما إذا قُدِّر الخطر الأساسي مع بقية المعاملات، فيتغير الوضع. فقد بنى الباحثون نماذج قابلة للتعريف ومحددة المواصفات بصورة صحيحة، لكن اللوغاريتم السالب لأرجحيتها يحتوي على قيم دنيا محلية دون مثلى بصرامة. وسيتوقف الطريقة التدرجية عند نقطة كهذه رغم أن الحل الحقيقي يقع في مكان آخر. والخلاصة العملية: صياغة المسألة صياغة صحيحة لا تضمن وحدها أن يصل المُحسِّن إلى الجواب.

ما الذي أظهرته التجارب

جرى الاختبار على أربع مجموعات بيانات للبقاء. وقارن المؤلفون انحدار Cox الساذج، الذي يتجاهل البتر، بنسخة تأخذه في الحسبان.

  • يعطي انحدار Cox الساذج تنبؤات منحازة عندما تكون البيانات مبتورة بحسب النتيجة.
  • يقلل أخذ البتر في الحسبان هذا الانحياز في مجموعات البيانات الأربع جميعها.
  • ينتقل النهج من النموذج الخطي إلى الشبكات العصبية.
  • المعلن مقارنةً بـEM القياسية هو تسارع بأوامر من الحجم.
  • أُثبتت ضمانات التقارب عند معرفة الخطر الأساسي؛ أما في حالة التدريب المشترك فعُرضت أمثلة مضادة ذات قيم دنيا محلية.

أين يفيد هذا

لم تخضع النسخة الأولية للمراجعة بعد، كما أن الملخص لا يتضمن أسماء مجموعات البيانات ولا القيم الدقيقة للانحياز. لذلك من الأفضل التحقق من حجم الأثر في النص الكامل وفي الشيفرة المنشورة، إن نُشرت.

والخلاصة للممارسين كالتالي. إذا كانت عيّنتكم تتشكل بشرط مرتبط بالنتيجة، كما في السجلات الطبية وبيانات التأمين وانسحاب العملاء وتقدير العمر الافتراضي للمعدات، فسيخطئ نموذج Cox الساذج بصورة منهجية. وعندما يمكن أخذ شكل الخطر الأساسي من مصادر خارجية، يجدر تثبيته واستخدام التحسين التدرجي المصحوب بضمانات. أما إذا اضطُررتم إلى تعلّم الخطر الأساسي مع النموذج، فينبغي تشغيل التحسين من عدة نقاط بداية ومقارنة النتائج. وبالنسبة إلى الفرق التي كانت EM تمثل لها عنق زجاجة على العينات الكبيرة، فإن التسارع بأوامر من الحجم يعني إمكانية إعادة تدريب النماذج بوتيرة أعلى وتجربة عدد أكبر من البنى.

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول عيّنة تشوّه الصورة؟

تُدرَّب معظم النماذج على افتراض أن بيانات التدريب تشبه البيانات التي سيواجهها النموذج عمليًا. أما المجموعات الواقعية فكثيرًا ما لا تحقق هذا الشرط. ويتناول المؤلفون حالة خاصة واحدة: تدخل المشاهدة إلى مجموعة البيانات بحسب تصنيفها. وهذا ما يسمى outcome-dependent truncation، أي البتر المعتمد على النتيجة. ومثال ذلك، من باب الافتراض العام: لا يدخل الفوج إلا من عاشوا حتى لحظة انضمامهم إلى الدراسة. أما المسارات القصيرة فتغيب عن البيانات ببساطة. ويُضاف إلى البتر الحجب من اليمين. فبالنسبة إلى بعض الكائنات لم يقع الحدث حتى نهاية المراقبة، ولا يُعرف سوى أنه سيقع بعد نقطة زمنية معينة. و

ما أبرز التفاصيل حول ما الذي أُثبت وأين يكمن الفخ؟

لم تصف الطرق القائمة للبقاء المبتور هندسة مسألة التحسين. فقد اعتمدت على إجراءات تكرارية مثل EM، وهي تعمل لكنها بطيئة ولا تقدّم ضمانات بشأن مشهد دالة الخسارة. ويسد المؤلفون هذه الفجوة. النتيجة عند معرفة الخطر الأساسي: يمكن تعلّم انحدار كوكس بكفاءة بالطرق من الرتبة الأولى عندما تكون البيانات مبتورة ومحجوبة من اليمين. ولا تعيق اللاخطية ذلك، رغم أن المسألة غير محدبة. أما إذا قُدِّر الخطر الأساسي مع بقية المعاملات، فيتغير الوضع. فقد بنى الباحثون نماذج قابلة للتعريف ومحددة المواصفات بصورة صحيحة، لكن اللوغاريتم السالب لأرجحيتها يحتوي على قيم دنيا محلية دون مثلى بصرامة. وسيتوقف الط

ما أبرز التفاصيل حول ما الذي أظهرته التجارب؟

جرى الاختبار على أربع مجموعات بيانات للبقاء. وقارن المؤلفون انحدار Cox الساذج، الذي يتجاهل البتر، بنسخة تأخذه في الحسبان. يعطي انحدار Cox الساذج تنبؤات منحازة عندما تكون البيانات مبتورة بحسب النتيجة. يقلل أخذ البتر في الحسبان هذا الانحياز في مجموعات البيانات الأربع جميعها. ينتقل النهج من النموذج الخطي إلى الشبكات العصبية. المعلن مقارنةً بـEM القياسية هو تسارع بأوامر من الحجم. أُثبتت ضمانات التقارب عند معرفة الخطر الأساسي؛ أما في حالة التدريب المشترك فعُرضت أمثلة مضادة ذات قيم دنيا محلية.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace

Access Frontier LLMs & Multimodal AI in One Workspace

Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.

Try NomadNet AI →Launch NomadNet Agent
ما رأيك؟
جارٍ تحميل التعليقات…