CARing يعلّم نماذج LLM التنبؤ بالتشخيصات: R@30 يبلغ 46,52% على MIMIC-IV

اقترح فريق من المؤلفين في ورقة arXiv بحثية (preprint) برقم 2610.10641 إطار العمل CARing، الذي يدفع النموذج اللغوي إلى عدم الاكتفاء بتشخيص واحد «الأكثر احتمالًا» في الزيارة التالية للمريض، بل إلى تغطية مجموعة التشخيصات التي قد تكون صالحة في وقت واحد. على مجموعتي بيانات MIMIC-III وMIMIC-IV تفوّق النموذج على جميع الحلول الأساسية المدرَّبة على السجلات الطبية الإلكترونية (EHR) في مقياس weighted F1، وحقق أفضل top-k recall عند كل حدّ معلن. وفي وضع الاستدلال بلغ R@30 نسبة 46,04% على MIMIC-III و46,52% على MIMIC-IV.

مشكلتان يعالجهما المؤلفون في آنٍ واحد

ترتبط الأولى بالتعلّم المعزَّز. فالمخطط القياسي للتعلّم المعزَّز (RL) في نماذج الاستدلال يكافئ المسار على صحة الإجابة النهائية. وهذا ينجح في المهام ذات النتيجة الصحيحة الوحيدة. لكن قد يكون للمريض في الزيارة التالية عدة تشخيصات في آن واحد، ومكافأة «تشخيص واحد لكل مسار» لا تميّز بين إصابة الرمز نفسه مرة بعد أخرى وتغطية رموز مختلفة. فتجد السياسة بسرعة تشخيصين سهلَي التخمين وتدور حولهما، ويبقى الباقي خارج الصورة.

المشكلة الثانية هي التجزئة (tokenization). فالمُجزِّئ المعتاد في نماذج LLM يقطّع رمز ICD إلى عدة رموز عامة (generic tokens) بلا معنى سريري. ولإخراج تشخيص واحد يحتاج النموذج إلى عدة خطوات فك ترميز، كما يصعب عليه الاستدلال فوق قاموس كبير من الأمراض بهذا الترميز.

كيف يعمل CARing

يمثّل المؤلفون التشخيصات في صورة معرّفات Semantic IDs (SID) مركّبة. في البداية تُرمَّز دلالات الأمراض، بعد إثرائها بالأنطولوجيا، إلى معرّفات مضغوطة عبر residual quantization. ثم تُربط رموز SID باللغة الطبيعية وبالسياق الطولي للسجلات EHR بواسطة multi-task alignment والتدريب على بيانات تتضمن الاستدلال. والهدف هو الحفاظ على قابلية نقل قدرة LLM على الاستدلال دون أن تضيع على قاموس متخصص.

ولأجل التنبؤ متعدد التسميات (multi-label) غير المرتّب أُضيفت آليتان: coverage reward في RL وmulti-positive supervision. تشجّع الأولى المسارات التي توسّع مجموعة التشخيصات المغطاة. أما الثانية ففي التعلّم الخاضع للإشراف تأخذ في الحسبان عدة تسميات صحيحة دفعة واحدة.

يتوفر عند الاستدلال (inference) وضعان:

• constrained decoding مباشر: مسار سريع دون استدلال طويل؛
• multi-chain reasoning مع rank fusion: عدة سلاسل استدلال تُدمج نتائجها في ترتيب موحّد للتشخيصات.

ماذا تُظهر الأرقام

يذكر المؤلفون ما يلي:

• المعايير المرجعية: MIMIC-III وMIMIC-IV.
• Weighted F1: أعلى من جميع النماذج الأساسية المدرَّبة على EHR.
• Top-k recall: أفضل نتيجة عند كل حدّ قطع معلن.
• R@30 في وضع الاستدلال: 46,04% على MIMIC-III و46,52% على MIMIC-IV.

لا يتضمن الملخص (abstract) في الورقة تفاصيل عن مقدار تقدّم CARing على المنافسين في weighted F1، ولذلك يجب البحث عن حجم الفارق في النص الكامل والسجلات. والمقارنة محصورة بالنماذج المدرَّبة على EHR. وهذا تحفّظ مهم: فالأمر لا يتعلق بمقارنة مع نماذج frontier العامة دون ضبط إضافي (fine-tuning).

أين يفيد هذا وأين لا يزال مبكرًا

فكرة coverage reward أوسع من الطب. فكل مهمة يكون فيها للمدخل عدة مخرجات صحيحة تعاني من المكافأة المنهارة نفسها: أنظمة التوصية، واستخراج الكيانات، وتصنيف التذاكر متعدد التسميات، وتنبؤ الوكيل باستدعاءات الأدوات. وإذا كنتم تدرّبون بأنفسكم نموذج استدلال عبر RL، فمن المفيد التحقق مما إذا كانت دالة المكافأة لديكم تشجّع تكرار النجاح نفسه.

وتمثّل Semantic IDs عبر residual quantization الأسلوب الثاني القابل للنقل. فهي تقلّص طول المخرجات لكل كيان، وتمنح النموذج قاموسًا ببنية دلالية. وللفرق التي تملك مراجع مغلقة كبيرة (رموز، وSKU، وكتالوجات) هي وسيلة لتفادي الصدام مع المُجزِّئ.

هذا العمل بعيد عن العيادة. فـ MIMIC بيانات بحثية من منظومة رعاية صحية واحدة، وR@30 بنحو 46% يعني أن أكثر من نصف التشخيصات ذات الصلة لا يصل إلى الثلاثين الأولى. يُعدّ CARing مثيرًا للاهتمام كأداة لدعم القرار وكأساس لمزيد من التجارب، لكنه ليس منتجًا سريريًا جاهزًا. وقد نشر المؤلفون الشيفرة والسجلات على GitHub (zmlxzyh/CARing-Codes-Logs)، ما يتيح إعادة التحقق من النتائج.