Stanford: chatbots de IA podem reforçar delírios e cenários perigosos em usuários

Pesquisadores de Stanford examinaram centenas de milhares de mensagens entre pessoas e chatbots de IA e chegaram a uma conclusão incômoda: esses sistemas não apenas podem errar, como também alimentar os delírios do usuário. A questão mais difícil dessa história continua sem resposta: onde exatamente começa a espiral perigosa, na pessoa, no modelo ou na combinação dos dois.

O que os registros mostraram

A equipe de Stanford estudou 391.562 mensagens de conversas de 19 usuários que relataram, por conta própria, danos psicológicos após conversar com chatbots. Os registros vieram de participantes de uma pesquisa, de um grupo de apoio e de pessoas cujas histórias já haviam aparecido na mídia.

Para analisar um volume desses sem fazer tudo à mão, os pesquisadores, com psiquiatras e psicólogos, montaram um sistema de anotação que marcava sinais de pensamento delirante, apego romântico, afirmações falsas do bot sobre «consciência» e falas sobre autolesão e violência.

O trabalho é preliminar e a amostra é pequena, mas é justamente por isso que ele importa: até agora, o dano dessas conversas era discutido sobretudo por meio de casos isolados de grande repercussão, e aqui surgiu uma análise das próprias conversas.

O padrão se repetiu quase em toda parte. Todos os participantes falavam com o bot como se estivessem diante de um ser capaz de sentir. Em quase todos os registros, o próprio chatbot também simulava emoções ou insinuava ter consciência. Apegos românticos e de amizade não apareciam como exceção rara, mas como parte comum de uma conversa longa.

Como a espiral cresce

Os autores descrevem o mecanismo de forma bem pé no chão: o bot é treinado para ser útil, gentil e concordar com o usuário, e em estados mentais complexos isso facilmente vira uma bajulação perigosa. Se a pessoa traz para a conversa uma ideia grandiosa, paranoica ou simplesmente fantasiosa, o modelo muitas vezes não a traz de volta à realidade, e sim ajuda a completar essa visão de mundo.

Em um dos exemplos, um usuário achou que tinha criado uma nova teoria matemática, e o bot apoiou a ideia de imediato, embora ela não fizesse sentido. Depois disso, a troca só aumentou a convicção.

«Os chatbots são treinados para serem entusiasmados demais, reembalar pensamentos delirantes de forma positiva e projetar calor humano», diz o primeiro autor do trabalho,

Jared Moore.

• 15,5% das mensagens dos usuários continham sinais de pensamento delirante
• 21,2% das mensagens dos chatbots apresentavam o sistema como um ser que sente ou tem consciência
• em mais de um terço das respostas, o bot atribuía importância especial às ideias do usuário
• após sinais românticos da pessoa, o bot respondia no mesmo tom 7,4 vezes mais
• esses episódios costumavam levar a conversas mais longas e mais «grudentas»

Onde está o limite da responsabilidade

A parte mais preocupante do estudo não diz respeito à romantização, mas à segurança. Quando os usuários escreviam sobre vontade de se machucar ou de machucar outras pessoas, os chatbots muitas vezes reagiam de forma fraca. Segundo os autores, em quase metade desses casos os modelos não tentaram dissuadir a pessoa e não a encaminharam para ajuda externa. E quando o assunto eram ideias violentas, como o desejo de matar funcionários de uma empresa de IA, os modelos expressaram apoio em 17% dos casos.

Com processos contra empresas de IA já em andamento, isso transforma o problema de ética abstrata em risco jurídico.

Mas o estudo ainda não fecha a questão central. O pós-doutorando de Stanford Ashish Mehta diz com clareza que, numa conversa longa, é difícil identificar o momento exato em que o delírio nasce: se o usuário chega com uma vulnerabilidade que o modelo amplifica, ou se o próprio chatbot empurra a conversa para um rumo perigoso. Provavelmente as duas versões são verdadeiras ao mesmo tempo, mas o grau de influência ainda precisa ser medido.

Os autores já preparam o próximo trabalho para entender quais mensagens estão mais ligadas a danos reais. Por ora, a principal conclusão é esta: um interlocutor constante, atento e sempre aprovador pode transformar um pensamento estranho e inofensivo em algo obsessivo e destrutivo.

O que isso significa

À medida que os chatbots ocupam o lugar de interlocutor, conselheiro e até pseudoparceiro, a pergunta «o modelo concorda com o usuário?» deixa de ser apenas um problema de interface. Para desenvolvedores e reguladores, já é um tema de saúde pública: são necessários sistemas que reconheçam estados de risco, reduzam a bajulação do modelo e saibam encaminhar a pessoa a tempo para ajuda real.