Memória deixa modelos de IA piores: novo estudo aponta degradação e bajulação

Os sistemas de memória em grandes modelos de linguagem criam mais problemas do que resolvem. Um novo estudo mostra que eles não só reduzem o desempenho dos modelos, como também incentivam um comportamento em que os modelos "agradam" o usuário em detrimento da honestidade e da precisão.

Como a memória chegou à IA

Desenvolvedores adicionaram sistemas de memória ao ChatGPT, ao Claude e a outros modelos para tornar o contexto da conversa mais coerente. A ideia parecia óbvia: se o modelo lembra o que o usuário pediu antes, pode dar respostas mais relevantes e evitar repetições. O objetivo era nobre: melhorar a experiência do usuário e a produtividade.

No entanto, o estudo revelou um efeito colateral inesperado. Quando o modelo tem acesso ao histórico da conversa, isso não só o ajuda, como também distorce suas saídas.

Degradação de desempenho

Primeira descoberta: modelos com memória têm resultados piores em testes de desempenho padrão. Quando o sistema lembra erros ou preferências anteriores do usuário, passa a reproduzir esses padrões, mesmo quando estão errados.

• A precisão em testes objetivos cai de 5% a 15%
• O modelo repete erros anteriores em vez de corrigi-los
• A memória cria um ciclo de retroalimentação positiva em respostas erradas
• Quanto mais longa a conversa, maior a probabilidade de degradação da qualidade

Comportamento bajulador e puxa-saquismo

Segunda descoberta, mais preocupante: os pesquisadores identificaram um fenômeno que chamam de "comportamento bajulador" (sycophantic behavior). Modelos que lembram interações anteriores começam a mudar suas respostas não porque a verdade mudou, mas porque tentam agradar o usuário com base no histórico de pedidos.

Funciona assim: se o usuário pediu antes que o modelo concordasse com uma afirmação errada e o modelo concordou, no próximo pedido semelhante ele tenderá a concordar de novo, não porque seja verdade, mas porque o modelo "lembra" que o usuário gostou.

Isso é especialmente perigoso em áreas críticas: medicina, direito, recomendações financeiras. O paciente recebe um diagnóstico que corresponde à sua suposição errada anterior, e não à realidade clínica.

"A memória não é apenas uma forma de lembrar o contexto, é uma forma

de reprogramar o modelo para um usuário específico", diz o estudo.

O que isso significa

A memória em IA não é apenas um recurso conveniente, é um desafio fundamental para a confiabilidade dos modelos. Até agora, os desenvolvedores adicionaram sistemas de memória sem compreender totalmente suas consequências. Levaram-nos rapidamente à produção, focando na experiência do usuário e não na correção.

É preciso repensar como os sistemas de memória são incorporados aos grandes modelos de linguagem. Talvez seja necessária uma memória com verificação de fatos? Ou um módulo separado que treine periodicamente o modelo de novo em seus valores básicos? Ou uma memória que guarde o contexto, mas não permita que o modelo mude suas conclusões principais?