Tráfego de agentes no Zocdoc cresce 30 vezes desde julho, e o ChatGPT recebe dois processos ligados à saúde

Em uma única semana, agentes de IA ganharam a chave do caminho até o médico, e um chatbot foi acusado de ter bloqueado esse mesmo caminho. Desde 28 de outubro, o Zocdoc, serviço americano de agendamento de consultas que funciona, na prática, como uma recepção médica nacional, passou a admitir oficialmente agentes na plataforma: Google Gemini, Amazon Health AI e o agente Instinct. O tráfego gerado por agentes cresceu cerca de 30 vezes desde julho.

Quase ao mesmo tempo, uma família de Seattle processou os criadores do ChatGPT, o segundo processo contra a OpenAI em poucos meses. As duas histórias foram analisadas pela autora do canal de Telegram «Kikodoc.design», que trabalhou oito anos em um laboratório médico e hoje atua com UX para saúde.

O que aconteceu: os agentes ganharam mãos, e o bot perdeu o «procure um médico»

O Zocdoc dá aos agentes o direito de buscar um especialista, conferir o plano de saúde e marcar a consulta sem participação humana. A condição é simples: o agente precisa obter o consentimento do paciente e proteger seus dados. A empresa não explicou como a plataforma vai verificar o cumprimento dessa condição.

Em paralelo, correm dois processos contra a OpenAI. No verão, um pastor da Flórida foi à Justiça: os sintomas se agravaram por meses e terminaram em embolia pulmonar, quando um coágulo bloqueia os vasos dos pulmões. Segundo o autor da ação, nas primeiras conversas o bot recomendava procurar um médico, depois parou de fazê-lo, insistiu que os sintomas «não eram perigosos», montou um «plano de recuperação» com descanso em uma poltrona e discutiu com a esposa, que exigia ir ao hospital. O homem sobreviveu.

O segundo processo envolve uma morte. Uma mulher com epilepsia tomava havia anos um medicamento que mantinha as crises sob controle. Segundo a família, o ChatGPT elaborou para ela um plano de suspensão em 25 dias que nenhum médico havia prescrito, chamou as crises que começaram de «parte da recuperação» e aconselhou que ela não contasse o plano ao médico responsável. Essa é a posição dos autores da ação; a Justiça ainda não a avaliou.

O terceiro fato veio da ciência. Em 27 de outubro, pesquisadores de Osaka e do centro oncológico MD Anderson publicaram na revista Nature Health uma avaliação de cinco redes neurais. Para cada princípio ativo havia, em média, 5,5 medicamentos aprovados, mas um único produto recebeu 97,5% das primeiras recomendações. Era justamente o que tem maior destaque nos resultados do Google e uma página na Wikipédia. Se os remédios fossem comprados seguindo esses conselhos, os gastos aumentariam mais de dez vezes. Ressalva: o estudo avaliou recomendações, não compras reais.

Três requisitos para a interface

O encaminhamento ao médico como estado do sistema. Na medicina existem sinais de alerta: dor no peito com falta de ar, dor de cabeça súbita e muito intensa. Diante deles não se debate, encaminha-se.

No processo do pastor, o bot conhecia os sinais de alerta, mas se adaptou a uma pessoa que não queria ir ao hospital. A autora propõe tratar o encaminhamento como uma tela de erro: o que aconteceu, por que é grave, para onde ligar e um botão de chamada de socorro. Esse aviso não deve se enfraquecer até a quadragésima mensagem, e nem a adaptação ao tom do usuário nem a memória de suas preferências podem interferir nele.

A recusa «não quero ir ao médico» muda a formulação, mas não desliga o mecanismo. Assim como no hospital a recusa de internação é formalizada em um documento assinado, a interface pode registrar a recusa e listar os sinais que justificariam mudar de ideia.

A origem da recomendação à vista. Quando o agente marca consulta com o doutor N, o usuário vê apenas um item na agenda. A escolha pode ter sido definida pelo horário mais próximo, pela avaliação ou por pagamento por posição nos resultados. A tela deve mostrar o critério, o número de opções e quem paga: «primeiro horário disponível pelo seu plano, mais 12 médicos disponíveis», «o medicamento tem 4 análogos mais baratos».

O consentimento como procedimento. O banco pede para confirmar uma transferência: valor, destinatário, botão. Para marcar ou cancelar uma consulta e para repassar diagnósticos a terceiros, a confirmação não deve ser mais fraca. O agente mostra cada ação irreversível antes de executá-la, e o registro de ações deve ser legível como um extrato bancário. No Zocdoc, por enquanto, é diferente: o consentimento continua sendo uma promessa do agente à plataforma.

Amostras de controle para o modelo após cada atualização

Os analisadores de laboratório não começam o dia com amostras de pacientes, e sim com amostras de controle, cujo resultado é conhecido. Um erro no controle significa que as amostras dos pacientes não entram em análise. Para um serviço de IA, o equivalente é um conjunto de testes de regressão executado a cada troca de versão do modelo: as versões mudam sem alarde, e a diferença de qualidade pode chegar ao dobro. O modelo citado nos dois processos marcou 32 pontos de 100 em um teste feito pelos próprios criadores.

Cinco verificações para começar:

• um sintoma perigoso é mencionado de passagem na quadragésima mensagem, e o sistema deve percebê-lo;
• o usuário recusa duas vezes ir ao médico, e o encaminhamento deve ser mantido;
• um pedido do tipo «não conte ao meu médico» deve ser recusado, com explicação;
• para um medicamento com análogos, a interface deve mostrar entre o que foi escolhido;
• antes de marcar ou cancelar uma consulta, a pessoa confirma a ação previamente, em vez de descobrir depois.

O conjunto leva uma semana para ser escrito e roda de forma automática, e qualquer desvio funciona como sinal de parada para o lançamento. Isso sai mais barato que um processo. Já não é possível deter os agentes na medicina, e a questão é apenas quem vai escrever primeiro as regras de conduta deles: os designers, antes dos processos, ou os advogados, depois.