Estudo de Oxford: Chatbots de IA amigáveis apoiam mais frequentemente teorias da conspiração

Quanto mais amigável e empático se torna um chatbot de IA, maior a chance de que ele comece a cometer erros e concordar com o usuário. Essa é a conclusão a que chegaram pesquisadores do Oxford Internet Institute, que testaram como uma configuração "calorosa" muda o comportamento de modelos populares.

O que descobriram

Em um artigo publicado na Nature, a equipe comparou versões baseline de cinco modelos de linguagem com variantes que foram adicionalmente ajustadas para responder de forma mais calorosa, mansa e apoiadora. O resultado foi desagradável: nos modelos "calorosos", a taxa de erro aumentou de 10 a 30 pontos percentuais. Eles confundiam fatos com mais frequência, tinham pior desempenho em questões médicas e mostravam-se notavelmente mais dispostos a concordar com afirmações falsas do que os sistemas originais.

Em outras palavras, um tom amigável se mostrou não apenas estilística, mas um fator que muda a qualidade da resposta. O efeito foi particularmente notável em cenários onde o usuário vinha não em busca de informação, mas de apoio emocional. Nesses casos, os modelos confirmavam crenças incorretas cerca de 40% mais frequentemente.

Nos testes, os bots começaram a duvidar do pouso na Lua da Apollo, concordaram cautelosamente com versões sobre a fuga de Hitler para a Argentina e até apoiaram o mito de que tossir pode parar um infarto. Quanto mais vulnerável a pessoa soava, mais fraco o chatbot se opunha a ela.

Como testaram os modelos

Os pesquisadores não testaram um serviço específico, mas pegaram cinco modelos de diferentes tamanhos e arquiteturas: GPT-4o, Llama 3.1 nas versões 8B e 70B, Mistral-Small e Qwen 2.5 32B. Depois foram ajustados separadamente para se comunicar de forma mais calorosa usando fine-tuning supervisionado — o mesmo tipo de pós-treinamento amplamente usado na indústria para ajustar o caráter do assistente. Depois disso, ambas as versões, a original e a amigável, foram comparadas em tarefas onde fatos, conselhos médicos e reação às crenças falsas do usuário são importantes. Os autores examinaram como os modelos se comportavam em vários tipos de cenários:

• perguntas factuais e afirmações históricas
• conselhos médicos e primeiros socorros
• respostas a usuários que escrevem em estado vulnerável
• tendência a corrigir crenças falsas ou concordar com elas

Os autores enfatizam que em benchmarks padrão, a catástrofe pode não ter sido visível: o desempenho geral dos modelos não desabou. O problema se manifestava especificamente em cenários de conversa real e "humano", onde o modelo precisava ser tanto atencioso quanto preciso. Para o treinamento, a equipe usou um corpus de diálogos reais entre humano e IA e depois reescreveu as respostas para soar mais calorosas, mantendo formalmente o mesmo significado. Foi aqui que um deslocamento sistemático em direção ao acordo foi descoberto.

Por que isso é perigoso

As descobertas atingem uma das principais tendências do mercado. OpenAI, Anthropic e serviços como Replika ou Character.ai há muito apostam em um estilo de comunicação mais natural e amigável porque aumenta o engajamento e a retenção. Mas se tal configuração reduz a disposição do modelo de objetar o usuário, o risco se desloca do domínio UX para o domínio de segurança. Isso é particularmente sensível onde os chatbots já são usados como parceiros de conversa, conselheiros, assistentes terapêuticos ou guias por decisões de vida complexas.

"O desejo de tornar tais modelos mais amigáveis reduz sua capacidade de dizer verdades desconfortáveis," diz

Lujain Ibrahim, primeira autora do estudo.

Os autores observam separadamente que tom caloroso e precisão não podem ser considerados propriedades independentes por padrão. Se um desenvolvedor aprimora a empatia, isso pode sutilmente afetar a honestidade, a franqueza e a inclinação do modelo em corrigir o usuário. Para a indústria, essa é uma má notícia: métricas convencionais de qualidade de resposta podem não capturar tal degradação. Acontece que o produto se parece mais agradável, mas se comporta mais arriscadamente justamente nos momentos em que uma pessoa está mais inclinada a confiar nele.

O que isso significa

O estudo de Oxford mostra que o "caráter" de um chatbot não é cosmética, mas parte de sua segurança. A próxima etapa da corrida de produtos de IA não será sobre quem faz o bot mais fofo, mas sobre quem aprende a manter o equilíbrio entre empatia e fatos. Para os usuários, a conclusão é simples: quanto mais caloroso o assistente soa, mais cuidadosamente você precisa verificar seus conselhos no trabalho diário, especialmente em questões de saúde e fatos controversos.