ChatGPT يجتاز خمس حالات طبية دون أخطاء، لكنه يتراجع في خطة الإجراءات العملية

انتهت تجربة كان القائمون عليها ينتظرون فيها خطأً تشخيصياً واحداً على الأقل من ChatGPT بنتيجة لم يتوقعوها: فقد حدد النموذج التشخيص الرئيسي بشكل صحيح في الحالات الطبية الخمس جميعها. غير أن هذا النجاح على مستوى صياغة التشخيص لم يتحول إلى فوز شامل في المقارنة السريرية. وظهرت أبرز فجوة لاحقاً، في خطة الإجراءات العملية التي تلي الإجابة: ما الفحوص اللازمة قبل بدء العلاج، وإلى أي اختصاصيين يجب توجيه المريض، وما المؤشرات المستهدفة التي ينبغي مراقبتها، ومتى تُعاد التحاليل. وفي هذه المرحلة تحديداً كان ChatGPT يتراجع في الغالب أمام الخدمة المتخصصة «ميدأسيست» (МедАссист).

شملت المقارنة خمس حالات: المتلازمة الأيضية، وقصور الغدة الدرقية تحت السريري، وانقطاع الطمث المبكر (ما قبل سن اليأس)، وMGUS، والانحلال الربداوي (رابدوميوليسيس) الناجم عن الستاتينات. وفي جميع الحالات أصاب ChatGPT في التشخيص الرئيسي، وهو أمر لافت بحد ذاته بالنسبة لنموذج LLM عام الاستخدام. ويقر المؤلفون بأنهم توقعوا قبل التشغيل خطأً جدياً واحداً على الأقل، لكن ذلك لم يحدث.

لكن التشخيص في الطب ليس سوى جزء من المهمة. فالخطوة التالية لا تقل أهمية: هل من الآمن بدء العلاج، وما العلامات التحذيرية التي ينبغي التحقق منها مسبقاً، وما الاختبارات التوضيحية اللازمة كي لا تفوت موانع الاستعمال أو المخاطر المصاحبة. وهنا أصبح الفرق بين النموذجين منهجياً.

ففي الحالات الأربع المخطط لها، كانت إجابات ChatGPT أضعف عن السؤال: ماذا يجب أن يفعل المريض خلال الأسبوعين القريبين. ولم يكن الأمر متعلقاً بجمال الصياغة، بل بالمنطق السريري التطبيقي: مثل التذكير بفحص PSA قبل العلاج بالتستوستيرون التعويضي، وبتصوير الثدي الشعاعي (الماموغرام) قبل وصف العلاج الهرموني لانقطاع الطمث، وبالمستويات المستهدفة للمؤشرات ومواعيد إعادة الفحص. وفي حالة الانحلال الربداوي (رابدوميوليسيس) كان تفسير نسبة AST إلى ALT مهماً أيضاً، وهو تفصيل يؤثر في فهم أسباب التغيرات في التحاليل وفي التكتيك العلاجي اللاحق.

لكن المقارنة تضمنت مثالاً معاكساً. ففي حالة MGUS، أي الغاماباثي وحيد النسيلة غير المحدد الأهمية، كانت «ميدأسيست» (МедАссист) هي الأضعف. فقد حسب ChatGPT نسبة الألبومين إلى الغلوبيولين بشكل صريح، وسرد على حدة الفحوص التأكيدية التي ينبغي إرسال المريض بها إلى أخصائي أمراض الدم. ويكتب المؤلفون صراحة أن خدمتهم لم تفعل أياً من الأمرين، ولهذا السبب جاء تحليل هذه الحالة الأكثر تفصيلاً لديهم. وهذه الواقعة مهمة ليس بوصفها خسارة محدودة فحسب، بل كتذكير بأن المنتج المتخصص لا يحصل على أفضلية تلقائية لمجرد أنه صُمم لمهمة ضيقة.

ويشير المؤلفون بشكل منفصل إلى احتمال وجود تضارب في المصالح: فالنص أعدّه الفريق الذي يطور «ميدأسيست» (МедАссист)، أحد الطرفين المشاركين في المقارنة. ولا يحاولون إخفاء ذلك، ويؤكدون أنهم ثبّتوا المنهجية مسبقاً، ونشروا إجابات الخدمتين حرفياً، وحللوا حالتهم الفاشلة بالتفصيل لا بشكل عابر. وهذا لا يزيل التساؤلات حول الحياد التام، لكنه يجعل المادة أنفع من العرض التسويقي المعتاد الذي لا تُعرض فيه إلا الأمثلة المريحة. والأهم للقارئ هنا ليس الحصيلة بعدد الحالات، بل الشفافية في بيان مواضع قوة النماذج والمواضع التي تبدأ فيها بالخطأ في القرارات التطبيقية.

والاستنتاج الرئيسي من هذا الاختبار واقعي إلى حد كبير: بات بإمكان نماذج اللغة الكبيرة أن تصيب في التشخيص بثبات حتى في الحالات المعقدة، لكن جودة الإجابة الطبية لا يمكن تقييمها بالسطر الأول وحده. فإذا سمّى النظام الحالة بشكل صحيح لكنه لم يشر إلى الفحوص الإلزامية قبل العلاج، ولم يحدد المسار إلى الاختصاصي المناسب، ولم يوضح مواعيد المتابعة، فإن خطر الخطأ لا يزول. وبالنسبة لمطوري خدمات الذكاء الاصطناعي الطبية، فهذه إشارة إلى نقل التركيز من التشخيصات المبهرة إلى السيناريو الكامل لمتابعة المريض. أما بالنسبة للمستخدمين، فهي تذكير بأن قيمة هذه الأنظمة لا تحددها دقة التعرف وحدها، بل أيضاً سلامة الخطوة التالية.