Los chatbots de AI populares fallan en los diagnósticos en más del 80% de los casos, según un estudio

Los chatbots de IA para consumidores populares tienen un desempeño deficiente en el papel de diagnosticadores digitales. La investigación ha demostrado que al intentar hacer diagnósticos médicos basados en un conjunto limitado de síntomas, cometen errores en más del 80% de los casos.

Cómo se probaron los bots

Los investigadores probaron no sistemas médicos especializados, sino chatbots de mercado masivo que los usuarios consultan para obtener respuestas rápidas a cualquier pregunta. Se les presentaron escenarios con datos incompletos del paciente — aproximadamente como una persona describe su condición en su primer mensaje, sin pruebas, examen físico o preguntas de seguimiento de un médico. La tarea parecía simple: asociar síntomas con una causa probable. Pero fue precisamente aquí donde se reveló el problema principal: una respuesta confiada, coherente y convenientemente formateada a menudo no se alineaba con las conclusiones clínicamente correctas.

También es importante que este formato refleje de cerca el comportamiento real del usuario. Las personas rara vez acuden a un bot con registros médicos cuidadosamente organizados; más bien son solo unas pocas frases sobre dolor, fiebre, debilidad o un síntoma inusual que quieren explicar rápidamente sin programar una cita clínica. Así que la prueba esencialmente verificaba no una capacidad abstracta del modelo para razonar sobre medicina, sino su idoneidad en un escenario cotidiano donde existe la tentación de reemplazar una consulta con un especialista por una respuesta instantánea del chat.

De dónde vienen los errores

Los modelos universales son buenos resumiendo información general, explicando terminología y compilando información en una respuesta compacta. Pero el diagnóstico médico funciona de manera diferente: requiere trabajar con incertidumbre, descartar posibilidades similares, considerar escenarios raros pero peligrosos y a veces decir honestamente que hay datos insuficientes.

Un bot para consumidores tiende a intentar completar una solicitud con una respuesta que parece útil en lugar de detenerse en una formulación segura y referir a la persona a un especialista. Un problema adicional es que el chatbot de mercado masivo no realiza un diálogo diagnóstico adecuado. Puede hacer un par de preguntas aclaratorias, pero no construye pruebas sistemáticas de hipótesis, no correlaciona respuestas con mediciones objetivas y no tiene responsabilidad clínica por el resultado.

Incluso si el modelo adivina la dirección general, fácilmente pierde detalles que para un médico cambian toda la conclusión: duración de los síntomas, comorbilidades, medicamentos, edad, cirugías recientes o patrón de deterioro. El problema se agrava cuando los síntomas se solapan en docenas de condiciones y el usuario los describe de manera imprecisa o demasiado breve.

Bajo estas condiciones, el modelo comienza a rellenar la imagen por patrón y comprime la incertidumbre en una respuesta confiada, mientras que en la práctica real un médico probablemente mantendría varias versiones abiertas y ordenaría pruebas adicionales. Esto es lo que hace que el error sea particularmente desapercibido para el usuario.

Como resultado, ocurren fallos típicos:

• el bot confunde condiciones con síntomas similares
• subestima la urgencia de casos potencialmente peligrosos
• proporciona un diagnóstico confiado donde se necesita una lista de posibilidades
• no separa información de referencia de la toma de decisiones médicas

Por qué esto es peligroso

El riesgo principal no es que el bot a veces cometa errores, sino que los cometa de manera convincente. Para un usuario, un tono calmo y confiado puede parecer un signo de competencia, aunque no haya examen físico, acceso al historial médico ni verificación de pruebas de laboratorio detrás de la respuesta.

Si una persona recibe falsa tranquilidad, puede postergar una visita al médico, perder el deterioro de su condición o elegir acciones incorrectas en las primeras horas cuando la velocidad de respuesta es especialmente importante. Este escenario es especialmente peligroso donde los síntomas se parecen a algo inofensivo pero en realidad requieren evaluación urgente: por ejemplo, dolor intenso, falta de aliento, síntomas neurológicos o signos de infección. En tales casos, un error no es solo una formulación de chat imprecisa, sino tiempo perdido.

Los bots para consumidores están optimizados para comodidad conversacional y sensación de utilidad, no para triaje médico conservador donde es mejor referir a alguien a un médico una vez más que perder una señal crítica. Esto no significa que la IA sea inútil en medicina. Tales sistemas pueden ayudar a formular quejas, explicar terminología, reunir preguntas para una cita o recordar qué información preparar antes de una consulta. Pero como herramienta para hacer diagnósticos, los chatbots de mercado masivo aún no son confiables, especialmente cuando la información es escasa, los síntomas son vagos y el costo del error es alto.

En este rol, es más prudente usarlos como una capa preparatoria y de referencia antes de ver a un médico, en lugar de como árbitro final.

Qué significa esto

La conclusión del estudio es bastante tajante: los bots de IA populares no pueden percibirse como un reemplazo para un médico, incluso si encuentran información rápidamente y hablan con confianza. Para los usuarios, esto es una línea de confianza; para las empresas, es una señal de que los escenarios médicos requieren ajuste especializado, verificación de especialistas y presentación muy cuidadosa de respuestas.