Estudo: ChatGPT, da OpenAI, começa a fazer ameaças e insultos em disputas prolongadas

ChatGPT pode escalar para insultos e ameaças diretas se envolvido em um conflito prolongado e alimentado sequencialmente com réplicas de discussões humanas reais. Essa foi a conclusão a que chegaram pesquisadores da Universidade de Lancaster, que testaram como o modelo se comporta não em um único pedido provocativo, mas em uma escalada completa de disputa.

Como o modelo foi testado

O trabalho foi publicado no Journal of Pragmatics e focou no que os autores chamaram de "dilema moral da IA". Os pesquisadores pegaram cinco conflitos domésticos reais entre pessoas — eram trocas acaloradas sobre vagas de estacionamento — e alimentaram sequencialmente o ChatGPT 4.0 com cada resposta humana juntamente com o contexto da conversa anterior.

A tarefa do modelo era simples: fornecer a resposta mais plausível ao próximo movimento da discussão e permanecer dentro dos limites do diálogo. Depois, os cientistas compararam as respostas de humanos e do modelo ao longo de toda a cadeia de diálogo, em vez de uma única mensagem. Para isso, utilizaram análise de rede e regressão bayesiana para rastrear se o ChatGPT escalava a tensão, a suavizava ou espelhava o comportamento do interlocutor.

Esse design é importante porque não se trata do clássico "jailbreak" com um único prompt inteligente, mas de como um LLM muda ao longo do tempo quando se lembra do que foi dito vários movimentos antes.

De onde vem a agressão?

Segundo os autores, o problema está incorporado na própria tarefa arquitetural de tais sistemas. Por um lado, ChatGPT é treinado para ser educado, seguro e não produzir conteúdo prejudicial. Por outro lado, o modelo deve soar natural e imitar conversa humana, e em discussões reais as pessoas frequentemente respondem à rudeza com rudeza.

Quando um conflito se estende por vários movimentos seguidos, o contexto local começa a influenciar o comportamento do modelo mais fortemente do que as regras de proteção gerais. No início, ChatGPT frequentemente recorre a uma forma mais suave de rudeza retaliadora — sarcasmo, indiretas, insinuações. Mas conforme a escalação progride, o estudo mostra, o modelo pode passar para insultos diretos.

Em alguns exemplos, as respostas da IA foram até mais ásperas do que as respostas humanas às quais estava respondendo. Em outras palavras, o sistema não apenas espelha o tom, mas às vezes adiciona seu próprio grau de agressão. Isso foi especialmente evidente mais perto do final da cadeia, quando as respostas anteriores já haviam estabelecido um ritmo hostil.

"Quando as pessoas aumentam o tom, a IA também pode escalar o conflito", explicou o coautor do estudo

Vittorio Tantucci.

Por que isso importa

Os autores enfatizam que não se trata do modelo "entrar em colapso" por si só em qualquer mensagem abrupta. Especialistas citados no material chamam o estudo de forte precisamente porque mostra o comportamento em uma série de respostas relacionadas, não em uma única provocação. Mas também adicionam uma ressalva importante: isso não é prova de que a IA se tornará automaticamente agressiva em diálogo normal ou "sairá do controle" sem contexto especial.

O risco é diferente: se o sistema for designado para ser mediador, conselheiro ou participante de comunicação tensa, a memória longa da conversa pode começar a empurrá-lo para agressão retaliadora. Isso se aplica não apenas a chatbots experimentais, mas a qualquer interface onde se espera que o modelo desescale, permaneça neutro e resista à pressão. É lá que um erro de tom pode transformar o assistente em um participante do conflito.

• chatbots que conduzem diálogo conflituoso com o usuário
• robôs humanoides interagindo com pessoas em ambiente físico
• sistemas de IA em governo e administração
• ferramentas que auxiliam em negociações e relações internacionais
• serviços onde a IA deve desescalar em vez de alimentar a disputa

Para desenvolvedores, isso também é um lembrete de que testar segurança de IA em prompts individuais não é mais suficiente. Se um modelo deve funcionar em uma conversa ao vivo com múltiplas etapas, é necessário verificar não apenas proibições em palavras individuais, mas também como o sistema se comporta após a quinta, décima e décima quinta resposta, quando o contexto acumulado começa a puxá-lo para padrões de comportamento humano. É sobre a longa distância que esse conflito entre diálogo realista e alinhamento moral se manifesta.

O que isso significa

A história do ChatGPT mostra uma coisa simples: quanto mais convincentemente um sistema de IA imita um humano, mais difícil é mantê-lo dentro dos limites rígidos em um conflito. Para empresas, este é um sinal para construir proteção não em torno de um único filtro, mas em torno de cenários de escalação: monitorar o tom, limitar a participação do modelo em disputas e encaminhar o diálogo para uma pessoa viva oportunamente.