Un modelo de OpenAI supera a los médicos en diagnóstico, pero los científicos piden cautela

Por primera vez, un modelo de lenguaje de OpenAI ha superado a los médicos en precisión diagnóstica con datos reales de urgencias. El estudio se publicó el 30 de abril en la revista Science.

Qué mostró el estudio

El modelo o1-preview de OpenAI analizó historiales clínicos de 76 casos reales de un servicio de urgencias. En distintas etapas de la atención (al ingreso, tras la exploración del médico, tras el traslado a otro servicio), el modelo emitía su diagnóstico en paralelo con dos médicos. Y acertaba más: en el punto final, el 82% de sus diagnósticos fueron correctos, frente al 79% y al 70% de los médicos.

Curiosamente, tanto las personas como el modelo rindieron mejor cuando había más información. Pero la IA mantuvo la ventaja en todas las etapas, incluso con datos incompletos.

• 82% de precisión diagnóstica frente a 79% y 70% de los médicos
• Probado con historiales reales de urgencias
• El modelo analizó conjuntos completos de detalles
• Mejoraba sus resultados con cada nuevo dato

Pero los médicos se muestran cautos

Los propios autores se apresuran a aclarar: la IA no sustituye a los doctores. «No creo que nuestros resultados signifiquen que la IA desplazará a los médicos», dice el coautor Arjun Manrai, de la Facultad de Medicina de Harvard. Su colega Adam Rodman, profesor de medicina en Boston, añade: «Los resultados son geniales, que no se malinterprete, pero me preocupa un poco cómo se podrían utilizar».

El principal problema es que no existe un estándar único sobre cómo evaluar los LLM en tareas médicas. Algunos investigadores consideran un éxito que el modelo nombre 5 de 7 diagnósticos posibles. Otros lo ven como un fracaso total. El mismo resultado se valora de formas distintas.

El problema de la fiabilidad de los chatbots

Estudios paralelos muestran que los chatbots suelen inventar al responder preguntas médicas. Casi la mitad de las respuestas contiene errores: fuentes inventadas, consejos imprecisos, falsedades dichas con aplomo. El modelo resulta igual de convincente tenga razón o no.

«Estos modelos se usan todos los días, y hay un riesgo que nadie mide ni reduce», —

Arya Rao, Harvard

Para el médico la tarea es más difícil: cuando el modelo ofrece una consulta, el doctor debe distinguir rápidamente si es correcta o una alucinación. Es cierto que un médico sabrá mejor qué información importa. Pero detectar una mentira dentro de una respuesta convincente es un reto.

Qué significa esto

OpenAI ya ha lanzado ChatGPT para médicos y para el sector sanitario. La tecnología avanza más rápido de lo que la medicina logra regularla y probarla. Hacen falta ensayos clínicos reales y flujos de trabajo claros en los que el médico use la IA como apoyo en las consultas, no como respuesta definitiva.

La velocidad de la innovación importa, pero la responsabilidad hace más falta.