Confesión a un algoritmo: por qué ChatGPT es el peor guardián de tus secretos médicos

Más de 230 millones de personas recurren a ChatGPT cada semana en busca de consejos sobre salud y bienestar, según los datos citados por OpenAI. Así lo informa el medio The Verge. La compañía asegura que, para muchos usuarios, el chatbot se ha convertido en un "aliado": les ayuda a entender el laberinto de los planes de seguro, a completar trámites y a defender con más confianza sus intereses dentro del sistema de salud. Sin embargo, las empresas tecnológicas no están sujetas a las mismas obligaciones que las instituciones médicas, y precisamente en esa brecha reside el principal riesgo.

Por qué los usuarios confían su salud a un chatbot

La medicina moderna a menudo se siente como un laberinto burocrático complejo en el que el paciente se siente una pieza más del engranaje. Frente a eso, un ChatGPT educado, de respuesta instantánea y siempre disponible parece una salvación: no apresura, no reacciona con irritación ante preguntas repetidas y está dispuesto a hablar de síntomas a cualquier hora del día. OpenAI describe este papel como el de un "aliado" que ayuda a orientarse en la correspondencia con las aseguradoras, en la gestión de documentos y, en general, a defender con más seguridad los propios intereses como paciente.

El problema es que esa capacidad de respuesta es una imitación estadística de alta calidad, no un cuidado consciente: el chatbot nunca hizo el juramento hipocrático.

Vacío legal: un chatbot no es una institución médica

Los médicos y las clínicas están sujetos a protocolos de confidencialidad estrictos, como la HIPAA en Estados Unidos o el RGPD en Europa. OpenAI y otras empresas tecnológicas operan bajo acuerdos de usuario que la mayoría de la gente hojea en segundos. Cuando un usuario sube al chat una resonancia magnética o una lista de medicamentos, esos datos dejan de ser un simple secreto personal: pasan a formar parte del conjunto de datos con el que se entrenan las futuras versiones del modelo.

Las empresas prometen anonimización, pero la historia de filtraciones en la industria demuestra que el "anonimato" en internet es un concepto frágil y temporal. Las empresas tecnológicas no están sujetas a las mismas obligaciones que las instituciones médicas.

El precedente de

Google Nightingale y la naturaleza probabilística de la IA

Escenarios similares ya se han dado antes: en el caso del proyecto Google Nightingale, los datos de millones de pacientes se transferían a una empresa tecnológica sin que las propias personas lo supieran. La diferencia ahora es que los usuarios entregan su información médica de forma voluntaria, atraídos por la comodidad de la interfaz del chatbot. Al mismo tiempo, un modelo de lenguaje no es una base de conocimiento, sino un generador de las secuencias de palabras estadísticamente más probables.

En tareas como escribir código o un ensayo, una respuesta errónea pero "probable" del modelo puede resultar hasta graciosa; en un contexto médico, una alucinación sobre la dosis de un medicamento o la interpretación de un ritmo cardíaco es un riesgo mucho más grave.

Antropomorfismo y ausencia de responsabilidad

Una respuesta educada y bien estructurada se percibe inconscientemente como señal de competencia: es el efecto del antropomorfismo, por el cual las personas tienden a confiar en el bot más de lo debido. Pero detrás de esa fachada no existe la responsabilidad propia de la medicina: si un médico comete un error, arriesga su licencia y una demanda judicial. Si un chatbot da un consejo incorrecto, la empresa puede remitirse a una cláusula del acuerdo de usuario que indica que el servicio está pensado "únicamente con fines informativos".

Lo esencial: las empresas tecnológicas no son instituciones médicas, y la comodidad de hablar con un chatbot no equivale a la protección de los datos médicos personales. Usar la IA para buscar información general u organizar notas es una cosa; convertir un chatbot en el guardián del historial clínico y las recetas es algo muy distinto.

¿Cuántas personas recurren a

ChatGPT cada semana en busca de consejos sobre salud?

Más de 230 millones de personas a la semana, según los datos citados por OpenAI.

¿En qué se diferencia

ChatGPT de un médico en cuanto a las obligaciones hacia el usuario?

Las empresas tecnológicas no están sujetas a las mismas obligaciones que las instituciones médicas: no les aplican protocolos de confidencialidad como la HIPAA y el RGPD de la misma manera que a los médicos y las clínicas, y sus acuerdos de usuario indican que el servicio está pensado "únicamente con fines informativos".

¿Qué ocurre con los datos médicos que el usuario sube al chat?

Dejan de ser un secreto personal y pasan a formar parte del conjunto de datos con el que se entrenan las futuras versiones del modelo; las empresas prometen anonimización, pero la historia de filtraciones en la industria demuestra que se trata de un concepto frágil y temporal.