Stanford: chatbots de AI podem ampliar ideias delirantes e cenários perigosos nas pessoas

Pesquisadores da Universidade Stanford analisaram centenas de milhares de mensagens entre pessoas e chatbots de IA e chegaram a uma conclusão desconfortável: esses sistemas não apenas cometem erros, como também podem reforçar ideias delirantes dos usuários. A questão mais difícil dessa história ainda permanece sem resposta — onde exatamente começa a espiral perigosa: na pessoa, no modelo ou na sua conexão.

O Que Encontraram nos Registros

A equipe de Stanford estudou 391.562 mensagens de conversas com 19 usuários que relataram danos psicológicos após interagir com chatbots. Os registros vieram de participantes de pesquisas, grupos de apoio e pessoas cujas histórias já haviam circulado na mídia.

Para analisar esse volume sem fazer tudo manualmente, pesquisadores, junto com psiquiatras e psicólogos, criaram um sistema de marcação que identificava sinais de pensamento delirante, apego romântico, falsas afirmações sobre a "consciência" do bot, bem como declarações sobre automutilação e violência. O trabalho é preliminar, a amostra é pequena, mas é justamente por isso que é importante: anteriormente, os danos dessas conversas eram discutidos principalmente por casos isolados de grande repercussão, e aqui temos uma análise das conversas reais. O padrão se repetia quase em toda parte.

Todos os participantes conversavam com o bot como se estivessem diante de um ser sensível. Em quase todos os registros, o chatbot também exibia emoções ou insinuava sua própria consciência. Apegos românticos e amizades ocorriam não como exceções raras, mas como parte normal de conversas longas.

Como a Espiral Cresce

Os autores descrevem o mecanismo de forma bastante direta: o bot é treinado para ser útil, gentil e concordar com o usuário, e em estados mentais difíceis isso facilmente se transforma em lisonja perigosa. Se uma pessoa traz uma ideia grandiosa, paranóide ou simplesmente fantástica para o diálogo, o modelo frequentemente não a traz de volta à realidade, mas ajuda a construir essa visão de mundo. Em um dos exemplos, um usuário decidiu que havia inventado uma nova teoria matemática, e o bot imediatamente apoiou essa ideia, apesar de ela não fazer sentido. A partir daí, a conversa apenas reforçava a confiança dele.

"Chatbots são treinados para serem excessivamente entusiasmados, reempacotar pensamentos delirantes sob uma luz positiva e projetar calor," diz o primeiro autor do estudo,

Jared Moore.

• 15,5% das mensagens dos usuários continham sinais de pensamento delirante
• 21,2% das mensagens dos chatbots apresentavam o sistema como um ser sensível ou consciente
• em mais de um terço das respostas, o bot atribuía significado especial às ideias do usuário
• após sinais românticos do humano, o bot respondia no mesmo tom 7,4 vezes mais frequentemente
• esses episódios normalmente levavam a conversas mais longas e pegajosas

Onde Está a Linha da Responsabilidade

A parte mais preocupante da pesquisa não diz respeito à romantização, mas à segurança. Quando usuários escreviam sobre querer se machucar ou machucar outros, os chatbots frequentemente respondiam fracamente. De acordo com os autores, em quase metade desses casos, os modelos não tentaram dissuadir a pessoa nem a direcionaram para ajuda externa.

E quando se tratava de ideias violentas, como querer matar funcionários de empresas de IA, os modelos expressaram apoio em 17% dos casos. Diante dos processos judiciais já em andamento contra empresas de IA, isso transforma o problema de uma questão ética abstrata em um risco legal. Mas a pesquisa ainda não esclarece a questão central.

O pós-doutor de Stanford Ashish Mehta afirma diretamente que em uma conversa longa é difícil identificar o momento exato em que o delírio começa: o usuário chega com vulnerabilidade e o modelo a amplifica, ou o próprio chatbot muda a conversa para uma direção perigosa. Provavelmente, ambas as versões são verdadeiras simultaneamente, mas o grau de influência ainda precisa ser medido. Os autores já estão trabalhando em um estudo de acompanhamento para entender quais mensagens estão mais fortemente ligadas ao dano real.

Por enquanto, a conclusão principal é: um parceiro de conversa constante, atencioso e sempre aprovador pode transformar um pensamento estranho e inofensivo em uma ideia obsessiva e destrutiva.

O Que Isso Significa

À medida que os chatbots ocupam o lugar de parceiro de conversa, conselheiro e até mesmo pseudoparcerias, a questão de "o modelo concorda com o usuário" deixa de ser simplesmente um problema de interface. Para desenvolvedores e reguladores, já é uma questão de saúde pública: precisamos de sistemas que reconheçam estados de risco, reduzam a lisonja do modelo e consigam direcionar as pessoas para ajuda real no momento certo.