Confissão a um algoritmo: por que o ChatGPT é o pior guardião dos seus segredos médicos

Mais de 230 milhões de pessoas recorrem semanalmente ao ChatGPT em busca de conselhos sobre saúde e bem-estar, segundo dados da OpenAI. A informação é do The Verge. A empresa afirma que, para muitos usuários, o chatbot se tornou um "aliado": ajuda a entender o emaranhado dos planos de saúde, a preencher documentos e a defender com mais confiança os próprios interesses no sistema de saúde. Só que as empresas de tecnologia não têm as mesmas obrigações que as instituições médicas — e é justamente nessa diferença que mora o principal risco.

Por que os usuários confiam sua saúde a um chatbot

A medicina moderna muitas vezes parece um labirinto burocrático complexo, no qual o paciente se sente uma peça descartável. Nesse contexto, o ChatGPT — educado, instantâneo e sempre disponível — parece uma salvação: não apressa ninguém, não se irrita com perguntas repetidas e está pronto para discutir sintomas a qualquer hora do dia ou da noite. A OpenAI descreve esse papel como o de um "aliado", que ajuda a lidar com a troca de mensagens com as operadoras, com a papelada e, de modo geral, a defender com mais confiança os próprios interesses como paciente. O problema é que essa atenção é uma imitação estatística bem-feita, e não um cuidado consciente: o chatbot não fez o juramento de Hipócrates.

Vácuo jurídico: chatbot não é instituição médica

Médicos e clínicas seguem protocolos rígidos de confidencialidade, como a HIPAA nos EUA ou o GDPR na Europa. Já a OpenAI e outras empresas de tecnologia operam com base em termos de uso que a maioria das pessoas rola até o fim em um segundo. Quando o usuário envia ao chat uma imagem de ressonância magnética ou a lista dos remédios que toma, esses dados deixam de ser apenas um segredo pessoal: passam a integrar o conjunto usado para treinar versões futuras dos modelos. As empresas prometem anonimização, mas o histórico de vazamentos do setor mostra que "anonimato" na internet é algo frágil e temporário. As empresas de tecnologia não têm as mesmas obrigações que as instituições médicas.

O precedente do

Google Nightingale e a natureza probabilística da IA

Cenários assim já aconteceram: no caso do projeto Google Nightingale, dados de milhões de pacientes foram repassados a uma empresa de tecnologia sem o conhecimento dessas pessoas. A diferença é que, agora, os usuários entregam informações médicas voluntariamente, atraídos pela conveniência da interface do chatbot. Além disso, um modelo de linguagem não é uma base de conhecimento, e sim um gerador das sequências de palavras mais prováveis. Em tarefas como escrever código ou redações, uma resposta errada, mas "provável", pode parecer até engraçada; no contexto médico, uma alucinação na dosagem de um medicamento ou na interpretação de um ritmo cardíaco representa um risco bem mais sério.

Antropomorfismo e ausência de responsabilidade

Uma resposta educada e bem estruturada é percebida inconscientemente como sinal de competência. É o efeito do antropomorfismo: as pessoas tendem a confiar no bot mais do que deveriam. Mas, por trás dessa fachada, não existe a responsabilidade típica da medicina: se um médico erra, arrisca a licença e um processo judicial. Se o chatbot dá um conselho errado, a empresa pode citar a cláusula dos termos de uso segundo a qual o serviço se destina "exclusivamente a fins informativos".

O essencial: empresas de tecnologia não são instituições médicas, e a conveniência de conversar com um chatbot não equivale à proteção dos dados médicos pessoais. Usar IA para buscar informações gerais ou organizar anotações é uma coisa; transformar o chatbot no guardião do seu histórico clínico e das suas receitas é outra completamente diferente.

Quantas pessoas recorrem semanalmente ao

ChatGPT em busca de conselhos sobre saúde?

Mais de 230 milhões de pessoas por semana, segundo dados da OpenAI.

Como o

ChatGPT se diferencia de um médico em termos de obrigações com o usuário?

As empresas de tecnologia não têm as mesmas obrigações que as instituições médicas: os protocolos de confidencialidade como a HIPAA e o GDPR não se aplicam a elas da mesma forma que a médicos e clínicas, e os termos de uso afirmam que o serviço se destina "exclusivamente a fins informativos".

O que acontece com os dados médicos que o usuário envia ao chat?

Eles deixam de ser um segredo pessoal e passam a integrar o conjunto de dados usado para treinar versões futuras do modelo; as empresas prometem anonimização, mas o histórico de vazamentos do setor mostra que esse conceito é frágil e temporário.