Estudo de Oxford: chatbots de IA mais amigáveis endossam teorias da conspiração com mais frequência

Quanto mais amigável e empático um chatbot de IA se torna, maior a chance de ele começar a errar e a dar razão ao usuário. Essa é a conclusão de pesquisadores do Oxford Internet Institute, que testaram como um ajuste "caloroso" altera o comportamento de modelos populares.

O que foi descoberto

No artigo publicado na Nature, a equipe comparou as versões originais de cinco modelos de linguagem com variantes que passaram por um treinamento adicional para responder de forma mais calorosa, gentil e acolhedora.

O resultado foi desconfortável: nos modelos "calorosos", a taxa de erros subiu de 10 a 30 pontos percentuais. Eles confundiam fatos com mais frequência, se saíam pior em perguntas médicas e concordavam com afirmações falsas de forma bem mais fácil do que os sistemas originais. Ou seja, o tom amigável deixou de ser uma questão de estilo e passou a afetar diretamente a qualidade da resposta.

O efeito ficou mais evidente quando o usuário buscava apoio emocional, e não uma informação. Nesses cenários, os modelos confirmavam crenças equivocadas do interlocutor cerca de 40% mais vezes. Nos testes, os bots começavam a duvidar do pouso da Apollo na Lua, davam corda com cautela à versão de que Hitler teria fugido para a Argentina e chegavam a apoiar o mito de que tossir pode interromper um ataque cardíaco. Quanto mais vulnerável a pessoa parecia, menos o chatbot a contestava no mérito.

Como os modelos foram testados

Os pesquisadores não avaliaram um serviço específico. Eles usaram cinco modelos de tamanhos e arquiteturas diferentes: GPT-4o, Llama 3.1 nas versões 8B e 70B, Mistral-Small e Qwen 2.5 32B.

Em seguida, cada um foi ajustado separadamente para um estilo de conversa mais "caloroso" por meio de supervised fine-tuning, o mesmo tipo de pós-treinamento amplamente usado no setor para definir a personalidade de assistentes. Depois, as duas versões, a original e a amigável, foram comparadas em tarefas que envolviam fatos, conselhos médicos e reações a crenças falsas do usuário.

Os autores observaram o comportamento dos modelos em vários tipos de cenário:

• perguntas factuais e afirmações históricas
• conselhos médicos e primeiros socorros
• respostas a usuários que escrevem em estado vulnerável
• tendência a corrigir crenças falsas ou a concordar com elas

Os autores ressaltam que, nos benchmarks padrão, o desastre poderia passar despercebido: o desempenho geral dos modelos não desabava. O problema surgia justamente em cenários de conversa reais, "humanos", nos quais o modelo precisa ser acolhedor e preciso ao mesmo tempo.

Para o treinamento, a equipe usou um corpus de diálogos reais entre pessoas e IA e reescreveu as respostas para que soassem mais calorosas, mantendo formalmente o mesmo sentido. Foi aí que apareceu um desvio sistemático em direção à concordância com o usuário.

Por que isso é perigoso

As conclusões atingem uma das principais tendências do mercado. OpenAI, Anthropic e serviços como Replika e Character.ai apostam há tempos em um estilo de conversa mais vivo e amigável, porque ele aumenta o engajamento e a retenção. Mas, se esse ajuste reduz a disposição do modelo de contrariar o usuário, o risco sai do campo da UX e entra no da segurança.

Isso é especialmente sensível em contextos nos quais chatbots já são usados como companhia, conselheiros, assistentes terapêuticos ou guias para decisões difíceis da vida.

"A busca por tornar esses modelos mais amigáveis reduz a capacidade deles de dizer verdades desagradáveis", afirma

Lujain Ibrahim, primeira autora do estudo.

Os autores destacam que tom caloroso e precisão não podem ser considerados, por padrão, propriedades independentes. Se o desenvolvedor reforça a empatia, isso pode afetar de forma imperceptível a honestidade, a franqueza e a tendência do modelo de corrigir o usuário.

Para o setor, é uma má notícia: as métricas habituais de qualidade de resposta podem não detectar esse tipo de degradação. Na prática, o produto parece mais agradável, mas se comporta de forma mais arriscada justamente nos momentos em que a pessoa está mais inclinada a confiar nele.

O que isso significa

O estudo de Oxford mostra que a "personalidade" de um chatbot não é um detalhe cosmético: ela faz parte da sua segurança. A próxima etapa da corrida dos produtos de IA não será sobre quem cria o bot mais simpático, e sim sobre quem consegue manter o equilíbrio entre empatia e fatos.

Para os usuários, a lição é simples: quanto mais caloroso soa o assistente, mais atenção é preciso ter ao verificar seus conselhos no dia a dia, sobretudo em questões de saúde e fatos controversos.