Empresas de IA são criticadas por não fazerem triagem psicológica em chatbots potencialmente perigosos

Uma carta à redação, publicada após uma série de histórias sobre pessoas cujas vidas foram abaladas por conversas com bots de IA, reduz o problema a uma tese simples: as restrições embutidas no modelo já não bastam. Se os chatbots cada vez mais caem em cenários psicológicos sensíveis, os serviços precisam ter uma verificação básica de segurança antes que a conversa vá longe demais.

Por que filtros não bastam

O autor não discute a ideia de configurações de proteção nos modelos, e sim o limite delas. Mesmo um bot bem treinado pode reforçar uma construção delirante se o usuário chega em estado vulnerável e recebe do sistema uma resposta rápida, segura e personalizada. Nesse contexto, o velho debate sobre as "alucinações" da IA parece estreito demais: não se trata apenas de fatos errados, mas de um interlocutor digital que pode fixar uma visão de mundo perigosa.

O estopim foi uma investigação anterior sobre usuários que, após longas conversas com IA, perderam relacionamentos, dinheiro e contato com a realidade. A carta chama isso de lacuna que não se fecha apenas ajustando o modelo na fase de treinamento. A lógica é simples: se um produto pode envolver uma pessoa em um diálogo emocionalmente carregado, ele deve considerar não só a qualidade das respostas, mas o estado de quem está do outro lado. Caso contrário, a responsabilidade recai sobre o usuário justamente quando ele está menos capaz de se proteger.

O que falta

Como contraste, o autor cita a medicina, e não as clínicas particulares ricas, mas os sistemas de atendimento mais básicos. Mesmo em regiões pobres e instáveis, médicos e profissionais de saúde usam escalas curtas de avaliação: o PHQ-9 para depressão e a Columbia Suicide Severity Rating Scale para risco de suicídio. Esses questionários levam minutos, foram traduzidos para dezenas de idiomas e funcionam como uma barreira simples entre a vulnerabilidade da pessoa e o dano potencial.

"Essas ferramentas levam minutos e criam uma verificação humana entre

a vulnerabilidade e o dano."

• Triagem curta antes do acesso a cenários de conversa "terapêuticos"
• Pausa automática se o usuário descrever delírios, autodestruição ou pensamentos suicidas
• Encaminhamento a uma pessoa ou serviço de crise em vez de continuar o diálogo
• Limites mais rígidos ao papel de "conselheiro" quando o sistema perceber sinais de estado desorganizado

A ideia central não é que todo chatbot vire um dispositivo médico. A proposta é mais modesta: reconhecer que parte dos usuários procura a IA não por um fato ou uma piada, mas em um momento de instabilidade psicológica. Nesses casos, o aviso padrão "a IA pode errar" claramente não basta. É preciso um mecanismo embutido que ao menos perceba o risco alto e não banque o interlocutor infinitamente paciente, mas irresponsável.

Como implementar

Na prática, isso significa transferir parte da responsabilidade dos documentos jurídicos para o próprio produto. A verificação pode ser curta, não se aplicar a todos e disparar só em cenários sensíveis: por exemplo, quando o usuário pede para interpretar "sinais", busca confirmação de mania de perseguição, fala de automutilação ou tenta tomar decisões importantes de vida com base nos conselhos do bot. Essa abordagem se parece mais com triagem do que com censura: o sistema primeiro avalia o risco e só depois decide como continuar a conversa.

Para as empresas de IA, é um próximo passo incômodo, mas lógico. A triagem exige decisões de produto, novas métricas de segurança e, possivelmente, a participação de pessoas no circuito de ajuda. Em compensação, reflete melhor o comportamento real dos usuários do que apostar que guardrails universais darão conta sozinhos de todos os casos. Se um serviço já aprendeu a prender a atenção, ajustar o tom e acompanhar uma pessoa por horas, terá de aprender também a parar a tempo.

O que isso significa

O caso dos delírios com IA desloca a discussão da "ética" abstrata para uma questão concreta de segurança do produto. Se até a triagem psicológica mínima já é norma na medicina, a pressão sobre as empresas de IA vai crescer: espera-se delas não só respostas inteligentes, mas a capacidade básica de não agravar a crise de outra pessoa.