Por que os LLMs mentem e esquecem fatos: como funciona a memória dos modelos de linguagem

Os modelos de linguagem soam cada vez mais como especialistas confiantes, e erram cada vez mais nos detalhes. Por que isso acontece, em que ponto da arquitetura dos LLMs está a raiz do problema e é possível corrigi-lo?

A maioria dos usuários enxerga um modelo de linguagem como uma base de conhecimento com um buscador dentro: você faz a pergunta e recebe a resposta de um armazenamento. Na prática, o funcionamento é outro. Um modelo de linguagem é uma máquina estatística que prevê o próximo token. Ele não memoriza fatos no sentido habitual: o conhecimento fica codificado nos pesos da rede neural, comprimido e misturado a bilhões de outros dados. Quando responde, o modelo não recupera um registro específico de uma tabela. Ele gera o texto mais plausível segundo a estatística aprendida no treinamento.

Dessa diferença fundamental decorrem quatro causas principais de erro.

A primeira é a compressão da informação durante o treinamento. Imagine que você leu milhares de artigos e, um ano depois, os reconta de cabeça. Números exatos e nomes se apagam, e fica a ideia geral. O modelo faz algo parecido, mas na escala de centenas de bilhões de parâmetros. Um fato específico, como uma data exata ou o nome de um personagem secundário, pode simplesmente não ser codificado com nitidez suficiente, e na geração o modelo vai colocar um valor estatisticamente próximo, porém incorreto. Isso não é enganação: é o limite de resolução da memória.

A segunda causa é a janela de contexto limitada. Tudo o que o modelo vê no momento da resposta é a conversa atual mais o que coube nela. Os modelos atuais têm janelas de 8 a 200 mil tokens. Parece muito, mas em diálogos longos, documentos volumosos ou tarefas com histórico, a janela enche rápido. Quando a informação antiga sai dos limites dela, o modelo simplesmente não a enxerga. Ele não esquece no sentido humano: nunca soube o que não está na janela neste momento.

A terceira causa é a ausência de memória externa por padrão. Um LLM clássico, sem ferramentas adicionais, não consegue consultar um banco de dados, um buscador ou suas conversas anteriores. Cada novo chat é uma folha em branco. Por isso um modelo a quem você contou algo importante uma semana atrás não vai se lembrar disso hoje. Sistemas com RAG (retrieval-augmented generation) resolvem o problema em parte: antes de gerar a resposta, eles buscam documentos relevantes em um armazenamento externo e os passam para o contexto. Mas isso é um complemento de arquitetura, não uma propriedade básica do modelo de linguagem.

A quarta causa são erros e contradições nos dados de treinamento. A internet está cheia de imprecisões, dados desatualizados e fontes que se contradizem. O modelo treina nesse conjunto e absorve não só conhecimento, mas também equívocos. Quando o fato correto aparece menos nos dados do que o incorreto, o modelo tem alta probabilidade de reproduzir o equívoco comum. Datas históricas, nomes de organizações e termos muito especializados são especialmente vulneráveis, pois é ali que os dados de treinamento mais costumam conter imprecisões.

O que isso significa para o usuário? Primeiro, um modelo de linguagem não pode ser usado como fonte final para afirmações factuais, sobretudo datas, nomes, números e dados jurídicos e médicos. Segundo, quanto mais preciso e detalhado for o seu pedido, com contexto, menos espaço o modelo tem para improvisar. Terceiro, produtos baseados em LLM em que a alta precisão importa devem usar RAG ou ferramentas com acesso a dados atualizados; sem isso, o risco de erros sistemáticos continua sendo estrutural.

Entender esses mecanismos não torna os LLMs menos úteis: torna você um usuário mais bem informado. O modelo não mente de propósito. Ele apenas gera o que é estatisticamente plausível com base nos pesos treinados. E plausível não é a mesma coisa que verdadeiro.