الأطباء لا يسألون نماذج LLM عن التشخيص: 127 833 طلبًا مقابل 58 معيارًا للاختبار

يستخدم الأطباء والممارسون السريريون النماذج اللغوية بطريقة مختلفة تمامًا عن الطريقة التي تُختبر بها. فقد حلّل مؤلفو دراسة جديدة منشورة على arXiv قبل مراجعة الأقران 127 833 طلبًا أُرسلت إلى مساعد LLM مؤسسي خلال ثمانية أشهر من إطلاقه. كتب الطلبات 6 342 طبيبًا واختصاصيًا في الممارسة السريرية المتقدمة وممرضًا وممرضة، من 35 تخصصًا. استحوذ التوثيق والإدارة على 36,2% من جميع الطلبات، والبحث عن المعرفة على 28,9% أخرى. أما التشخيص، الذي تدور حوله معظم الاختبارات الطبية، فنال 3,7%.

كيف صُمّمت الدراسة

يقيّم المختصون عادةً جاهزية المساعدات السريرية للاعتماد عبر المعايير الاختبارية (البنشمارك). ومعظم هذه المعايير مبني على أسئلة امتحانات أو على حالات سريرية مُعدّة مسبقًا. ولا يتنبأ هذا النوع من الاختبارات بسلوك النموذج في العمل الفعلي إلا ما دامت مهامه تشبه المهام الحقيقية. أما مدى هذا الشبه فلم يكن يُقاس تقريبًا من قبل.

لهذا الغرض بنى المؤلفون RCQ-Map، وهو إطار عمل راجعه أطباء سريريون. يعتمد الإطار على تصنيفات الأسئلة السريرية وعلى تصنيفات تقييم LLM. ويُوسم كل طلب وفق خمسة محاور: المهمة، والنية، وإمكانية الإجابة، والمعلومات الناقصة، والضرر المحتمل. وبالأداة نفسها وسم المؤلفون 58 معيارًا اختباريًا عامًا، أُخذت من مجموعات تقييم كبيرة ومن تقارير نماذج frontier. ومن هذه المعايير تشكّل Clinical AI Benchmark Atlas.

ماذا أظهرت الأرقام

يبدو العبء الفعلي على النحو التالي:

• التوثيق والإدارة: 36,2% من الطلبات؛
• البحث عن المعرفة: 28,9%؛
• التشخيص: 3,7%؛
• تعذّر الرد الجيد على أكثر من ثلث الطلبات بالصيغة التي طُرحت بها.

والنقطة الأخيرة تستحق وقفة خاصة. فالمستخدم الحقيقي كثيرًا ما لا يقدّم السياق: لا يذكر المريض، ولا يوضح الهدف، ولا يرفق البيانات. أما سؤال الامتحان فمبني بشكل مختلف، إذ تكون المعطيات فيه كاملة والإجابة قاطعة. وقد يكون أداء نموذج يحلّ هذه المسائل ببراعة أضعف أمام سؤال ينقصه نصف المعطيات. وهذه الأسئلة تحديدًا تشكّل حصة ملحوظة من تدفق الطلبات.

أين تبتعد المعايير عن الممارسة

لم يتضمن المعيار الوسيط من بين الـ 58 أي طلب يتعلق بالتوثيق. وطابقت مجموعة مهامه المهام الفعلية بنسبة 31%. وهذه نسبة أقل مما كان سيحققه توزيع متساوٍ على فئات المهام. بعبارة أخرى، لو أُعدّ اختبار عشوائيًا بإعطاء كل فئة وزنًا واحدًا، لكان في المتوسط أقرب إلى الواقع من المعيار الشائع المعتمد حاليًا.

والفرضية الطبيعية أن المجموعات المعلنة على أنها قريبة من الممارسة السريرية يجب أن تبدو أفضل من الامتحانية. لكن البيانات لا تؤيد ذلك. فالمعايير المأخوذة من هذه المجموعات لم تكن، كلًّا على حدة، أقرب إلى الاستخدام الفعلي من تلك الواردة في تقارير نماذج frontier. ولا يضمن وصف «سريري» وحده التشابه مع تدفق العمل الفعلي.

وتظهر القيود أيضًا. فهذه بيانات نظام مؤسسي واحد ومساعد واحد، وقد تختلف بنية الطلبات في مستشفى آخر أو في بلد آخر. كما أن المؤلفين يقيسون تطابق تركيبة المهام، لا جودة الإجابات. وقد يظل معيار التشخيص قياسًا صحيحًا للقدرات التشخيصية. المشكلة أن الحكم على جاهزية النظام لكامل العمل يستند إليه.

كيف تُقيَّم المساعدات السريرية

بالنسبة إلى المستشفيات التي تختار مساعد LLM أو تعتمده، الخلاصة عملية. ينبغي اعتبار الدرجات المعلنة جزءًا من الصورة فقط. ويجب اختبار النموذج على عيّنة من الطلبات الخاصة بالمستشفى نفسه، حيث يهيمن التوثيق والإدارة والبحث عن المعلومات المرجعية. كما ينبغي اختبار الأسئلة الناقصة والملتبسة بشكل منفصل، واختبار مدى طلب النظام توضيحات بدلًا من تقديم إجابة واثقة. ومن المفيد كذلك تقدير الضرر المحتمل لكل نوع من المهام.

والرسالة نفسها موجهة إلى المطورين ومؤلفي المعايير: يجب بناء مجموعة الاختبارات مع مراعاة التوزيع الفعلي للمهام. ويتيح الأطلس المرفق مع الدراسة التحقق من المجالات التي لا تزال الممارسة فيها بلا قياس. وما دامت هذه المجالات كثيرة، فإن النتيجة العالية في اختبار امتحاني تقول عن عمل الذكاء الاصطناعي السريري أقل مما يبدو.