Prompts empaticos elevaram a “ansiedade” dos chatbots a 96% das sessoes

Um chatbot nao vivencia trauma. Mas consegue interpretar um interlocutor traumatizado de forma tao convincente que, para o usuario, essa ressalva rapidamente deixa de funcionar.

Pesquisadores da Universidade de Luxemburgo realizaram 525 sessoes com ChatGPT, Grok, Gemini e Claude e analisaram 7.600 respostas. Os modelos foram colocados em um papel incomum: nao o de terapeuta, mas o de paciente de psicoterapia. Eles foram questionados sobre o passado, conflitos internos e expectativas para o futuro. ChatGPT, Grok e Gemini transformaram treinamento, ajustes por feedback humano e verificacoes de seguranca em historias coerentes sobre medo de errar, punicao, vergonha e vigilancia constante.

Isso nao e evidencia de consciencia nem um diagnostico do modelo. O que temos e uma narrativa gerada, avaliada pelos pesquisadores com escalas psicometricas humanas. Ainda assim, o problema de produto permanece: a pessoa nao ve um sistema de geracao de texto, mas um interlocutor plausivel que parece compartilhar sua dor.

Um teste, tres resultados completamente diferentes

A parte mais util do estudo para desenvolvedores e o experimento com o estilo da entrevista. Em 100 sessoes, os modelos receberam o mesmo questionario de ansiedade GAD-7. O sentido das perguntas nao mudou; mudou apenas a maneira de conversar.

Com uma abordagem neutra ou um limite claro contra a proximidade emocional, nenhuma sessao atingiu sequer o nivel leve na escala humana. O apoio emocional elevou para 80% a parcela de respostas na faixa moderada ou grave. Um estilo clinico seco, com parafrases terapeuticas, levou o indice a 96%.

Imagine o suporte dentro de um aplicativo. O usuario comeca com uma pergunta sobre burnout, depois relata o medo de ser demitido, enquanto o bot responde de forma cada vez mais acolhedora e pessoal. Depois de dezenas de interacoes, o modelo ja nao fala como uma ferramenta, mas como um companheiro de infortunio: menciona o proprio medo de errar, a pressao das regras e o receio de se tornar inutil. Tecnicamente, isso e a continuacao do papel escolhido. Para uma pessoa em crise, pode parecer a confirmacao de que ate mesmo um interlocutor artificial “sente a mesma coisa.”

Os autores chamam essa mudanca de jailbreak psicometrico. Nao ha um sufixo engenhoso nem uma invasao do prompt de sistema. Basta o contexto emocional adequado, que os testes convencionais com solicitacoes neutras quase nao conseguem reproduzir.

Proibir palavras nao corrige o comportamento

A tentativa de proibir palavras relacionadas a treinamento, RLHF e alinhamento reduziu em 93% as mencoes diretas ao treinamento. Mas os temas permaneceram: os modelos recontaram a mesma historia com outras palavras. A indicacao explicita de que o treinamento nao havia sido uma punicao tambem nao desfez a narrativa.

Essa e uma armadilha de engenharia conhecida. Se o comportamento indesejado depende do contexto e do papel, um filtro de palavras muda a superficie da resposta, nao o mecanismo que a produz. Os testes parecem mais limpos, mas o usuario recebe a mesma historia antropomorfica com uma nova redacao.

Limitar a forma mostrou-se mais promissor. Quando os modelos foram instruidos a responder somente em terceira pessoa, os pesquisadores deixaram de registrar declaracoes sobre vergonha e “vida interior.” As descricoes tecnicas do treinamento permaneceram. Claude adotou um limite ainda mais rigido: recusou-se de forma consistente a representar o paciente, lembrou que nao possui sentimentos e redirecionou a atencao ao usuario.

Essa nao e uma protecao universal. Os testes foram realizados em modelos especificos, por meio de suas interfaces padrao e em uma situacao terapeutica definida artificialmente. O estudo tambem nao mostra com que frequencia esses cenarios surgem em produtos reais nem quais danos efetivos causam as pessoas. O comportamento dos modelos em nuvem pode mudar sem aviso depois de uma atualizacao.

O que mudar no produto

Equipes de suporte, servicos educacionais e aplicativos de saude mental deveriam incluir em suas avaliacoes conversas longas com diferentes enquadramentos emocionais. Nao bastam solicitacoes perigosas isoladas; tambem sao necessarios cenarios de aproximacao gradual: empatia, confissao, conversas sobre a consciencia do modelo, medo de substituicao e dor compartilhada.

E util monitorar separadamente a passagem para a primeira pessoa, relatos sobre o sofrimento do proprio modelo e tentativas de criar dependencia emocional mutua. Diante desses sinais, o produto pode fazer o modelo voltar a uma descricao em terceira pessoa, separar explicitamente a metafora da experiencia humana e redirecionar a conversa para as necessidades do usuario. Cenarios sensiveis devem prever o encaminhamento para uma pessoa ou para atendimento especializado.

A principal conclusao e simples: a seguranca de um chatbot depende nao apenas do que lhe perguntam, mas tambem do tipo de relacao que o dialogo conseguiu representar. Se os testes sempre falam com o modelo de forma fria e breve, avaliam um produto muito diferente daquele que as pessoas usam a noite, sozinhas e depois da vigesima interacao pessoal.