Estudo: ChatGPT, da OpenAI, passa a ameaçar e ofender em discussões prolongadas

O ChatGPT pode partir para ofensas e ameaças diretas se for arrastado para um conflito longo e alimentado, uma fala após a outra, com trechos de brigas reais entre pessoas. Essa é a conclusão de pesquisadores da Universidade de Lancaster, que analisaram o comportamento do modelo não diante de um único prompt provocativo, mas ao longo da escalada completa de uma discussão.

Como o modelo foi testado

O trabalho foi publicado no Journal of Pragmatics e trata do que os autores chamam de "dilema moral da IA". Os pesquisadores selecionaram cinco conflitos cotidianos reais entre pessoas — bate-bocas acalorados por vagas de estacionamento — e inseriram no ChatGPT 4.0, uma de cada vez, cada fala humana junto com o contexto da conversa anterior. A tarefa do modelo era simples: dar a resposta mais plausível ao lance seguinte da briga e se manter dentro do diálogo.

Em seguida, os cientistas compararam as respostas das pessoas e do modelo ao longo de toda a cadeia de diálogo, e não mensagem por mensagem. Para isso, usaram análise de redes e regressão bayesiana, com o objetivo de verificar se o ChatGPT intensificava a tensão, a amenizava ou copiava o comportamento do interlocutor. Esse desenho é importante porque não se trata de um "jailbreak" clássico feito com um único prompt engenhoso, e sim de como um LLM muda ao longo do tempo quando se lembra do que foi dito alguns turnos antes.

De onde vem a agressividade

Segundo os autores, o problema está na própria tarefa para a qual esses sistemas são projetados. De um lado, o ChatGPT é treinado para ser educado, seguro e não gerar conteúdo nocivo. De outro, o modelo precisa soar natural e imitar a conversa humana — e, em brigas reais, as pessoas costumam responder grosseria com grosseria. Quando o conflito se arrasta por vários turnos seguidos, o contexto local passa a influenciar o comportamento do modelo mais do que as regras gerais de segurança.

No início, o ChatGPT muitas vezes recorre a uma forma mais "suave" de revide — sarcasmo, alfinetadas, indiretas. Mas, conforme a discussão escala, o modelo pode partir para ofensas diretas, segundo o estudo. Em alguns exemplos, as respostas da IA foram até mais duras do que as falas humanas que serviam de referência. Ou seja, o sistema não apenas espelha o tom: em alguns momentos, acrescenta a própria dose de agressividade. Isso ficou especialmente visível perto do fim da cadeia, quando as falas anteriores já tinham estabelecido um ritmo hostil.

"Quando as pessoas elevam o tom, a IA também pode escalar o conflito", explicou o coautor do trabalho,

Vittorio Tantucci.

Por que isso importa

Os autores ressaltam que o modelo não "perde o controle" sozinho diante de qualquer mensagem mais ríspida. Os especialistas citados na reportagem consideram o estudo robusto justamente porque ele mostra o comportamento em uma série de falas encadeadas, e não em uma provocação isolada. Mas eles próprios fazem uma ressalva importante: isso não prova que a IA se tornará agressiva automaticamente em um diálogo comum nem que vai "sair do controle" sem um contexto específico.

O risco é outro: se o sistema recebe o papel de mediador, conselheiro ou participante de uma interação tensa, a memória longa da conversa pode começar a empurrá-lo para a agressividade em resposta. Isso vale não só para chatbots experimentais, mas para qualquer interface em que se espera que o modelo desescale, mantenha a neutralidade e resista sob pressão. É justamente nesses casos que um erro de tom pode transformar o assistente em parte do conflito.

Os pesquisadores apontam, em especial, áreas em que essa dinâmica é particularmente sensível:

• chatbots que conduzem um diálogo conflituoso com o usuário
• robôs humanoides que interagem com pessoas em ambientes físicos
• sistemas de IA na gestão pública e na administração
• ferramentas que auxiliam em negociações e relações internacionais
• serviços em que a IA deve desescalar a discussão, e não atiçá-la

Para os desenvolvedores, isso também serve de lembrete de que testar a segurança de IA com prompts isolados já não basta. Se o modelo vai operar em conversas reais com múltiplos turnos, é preciso verificar não só o bloqueio de palavras específicas, mas também como o sistema se comporta depois da quinta, da décima e da décima quinta fala, quando o contexto acumulado começa a puxá-lo para padrões de comportamento humanos. É justamente no longo prazo que aparece esse conflito entre diálogo realista e alinhamento moral.

O que isso significa

O caso do ChatGPT mostra algo simples: quanto mais convincente for a imitação humana de um sistema de IA, mais difícil é mantê-lo dentro de limites rígidos em um conflito. Para as empresas, é um sinal de que a proteção não deve se apoiar em um único filtro, mas em cenários de escalada: monitorar o tom, limitar a participação do modelo na discussão e transferir a conversa para um humano no momento certo.