ChatGPT acertó los cinco casos médicos en el diagnóstico, pero quedó por detrás en el plan de acción

El experimento partía de la expectativa de que ChatGPT cometería al menos un error diagnóstico. Terminó con un resultado que los autores no esperaban: el modelo identificó correctamente el diagnóstico principal en los cinco casos médicos. Pero acertar en la formulación del diagnóstico no se tradujo en una victoria global en la comparación clínica. La brecha más visible apareció después, en el plan práctico de acción tras la respuesta: qué exámenes hacen falta antes de iniciar el tratamiento, a qué especialistas derivar al paciente, qué valores objetivo controlar y cuándo repetir los análisis. Fue en esta etapa donde ChatGPT quedó con más frecuencia por detrás del servicio especializado MedAssist.

La comparación incluyó cinco casos: síndrome metabólico, hipotiroidismo subclínico, perimenopausia, MGUS y rabdomiólisis inducida por estatinas. En todos ellos ChatGPT dio con el diagnóstico principal, algo ya significativo para un LLM de uso general. Los autores reconocen que, antes de la prueba, esperaban al menos un error grave, pero no se produjo.

Sin embargo, en medicina el diagnóstico es solo una parte de la tarea. El siguiente paso importa igual: si es seguro empezar el tratamiento, qué señales de alarma comprobar de antemano y qué pruebas complementarias hacen falta para no pasar por alto contraindicaciones o riesgos asociados. Aquí la diferencia entre los modelos se volvió sistemática.

En los cuatro casos programados, ChatGPT respondió peor a la pregunta de qué debe hacer el paciente en las próximas dos semanas. No se trataba de una redacción pulida, sino de lógica clínica aplicada: por ejemplo, recordar el PSA antes de la terapia de reemplazo con testosterona, la mamografía antes de prescribir terapia hormonal de la menopausia, los niveles objetivo de los indicadores y los plazos de revisión. En el caso de la rabdomiólisis también resultó importante interpretar la relación AST/ALT, un detalle que influye en la comprensión de las causas de los cambios en los análisis y en la conducta posterior.

Pero la comparación tuvo también un contraejemplo. En el caso de MGUS, gammapatía monoclonal de significado incierto, fue MedAssist quien salió peor parado. ChatGPT calculó de forma explícita la relación albúmina/globulina y enumeró por separado las pruebas de confirmación que acompañarían la derivación del paciente al hematólogo. Los autores escriben sin rodeos que su servicio no hizo ni lo uno ni lo otro, y por eso el análisis de este caso les quedó como el más detallado. Un episodio así importa no solo como derrota puntual, sino como recordatorio: un producto especializado no obtiene ventaja de forma automática solo por haberse creado para una tarea concreta.

Por separado, los autores señalan un posible conflicto de intereses: el texto lo preparó el equipo que desarrolla MedAssist, uno de los dos participantes en la comparación. No intentan ocultarlo y afirman que fijaron la metodología de antemano, publicaron literalmente las respuestas de ambos servicios y analizaron con detalle su propio caso fallido, en lugar de pasarlo por alto. Esto no elimina las dudas sobre la neutralidad total, pero hace el material más útil que una demostración de marketing típica, donde solo se muestran ejemplos convenientes. Para el lector, lo más valioso no es el marcador por casos, sino la transparencia sobre dónde son fuertes los modelos y dónde empiezan a fallar en decisiones aplicadas.

La conclusión principal de la prueba es bastante terrenal: los grandes modelos de lenguaje ya pueden acertar el diagnóstico de forma estable incluso en casos complejos, pero la calidad de una respuesta médica no se puede juzgar solo por la primera línea. Si el sistema nombra bien la enfermedad, pero no indica los exámenes obligatorios antes del tratamiento, no señala la ruta hacia el especialista adecuado y no precisa los plazos de control, el riesgo de error no desaparece. Para los desarrolladores de servicios médicos de IA, es una señal para desplazar el foco de los diagnósticos llamativos al escenario completo de atención al paciente.

Y para los usuarios, un recordatorio de que el valor de estos sistemas no depende solo de la precisión del reconocimiento, sino también de la seguridad del siguiente paso.