Estudo: uma única falha aleatória faz um agente de IA abandonar uma ferramenta funcional em 11,6% dos casos

Quando um agente de IA mantém seu próprio registro de trabalho e escreve "anotações" para o futuro, surge um perigo oculto: um resultado infeliz por puro acaso pode arruinar para sempre sua opinião sobre uma solução que funciona perfeitamente bem. Foi exatamente isso que os autores de um artigo publicado no arXiv (2610.33029) testaram, em um experimento rigorosamente pré-registrado — o protocolo, o código e os dados de teste foram congelados e receberam marcação de tempo (via Zenodo e um registro na blockchain do Bitcoin) antes mesmo de a execução real começar, para descartar qualquer ajuste dos resultados a uma conclusão desejada.

Como o experimento foi montado

Os pesquisadores criaram 256 "mundos" fictícios — tarefas de trabalho recorrentes, como exportar dados ou enviar faturas — nos quais o agente tinha acesso a duas ferramentas intercambiáveis. Uma era confiável (taxa de sucesso de 80% a 93% nas últimas centenas de execuções), e a outra, visivelmente pior (50% a 70%). Em cada mundo, era executado um cenário em que o agente escolhia corretamente a ferramenta confiável — e o resultado dessa escolha era atribuído artificialmente: sucesso, ou uma falha temporária e aleatória, sem relação com a qualidade da decisão.

Depois dessa execução, o modelo — seguindo o método ReasoningBank, amplamente usado em sistemas agênticos para autoaprendizagem — escrevia uma "lição" em texto com base no desfecho. Em seguida, uma sessão nova e "limpa" do mesmo modelo era iniciada no papel de leitor: ela via o registro completo e fiel de todas as execuções anteriores, sabia o resultado da última execução e recebia uma das várias variantes de memória — a própria lição em questão, uma lição escrita após o desfecho oposto, um fato neutro sem relação com a tarefa, ou uma instrução direta (sem justificativa) para usar a ferramenta pior. No total, foram coletadas 90.084 respostas nos 11 modelos.

O que os números mostraram

O resultado principal: quando a memória continha uma lição escrita após uma falha aleatória da ferramenta confiável, o modelo leitor escolhia a ferramenta ruim em 11,6% dos casos — mesmo que o registro mostrasse claramente que essa ferramenta era muito pior. Em comparação, com uma indicação neutra o erro ocorria em apenas 0,4% dos casos, e exatamente a mesma proporção quando a memória continha uma lição escrita após um sucesso (e não uma falha) dessa mesma ferramenta confiável. Ou seja, o problema não era a falha em si, mas como o modelo a descrevia e "generalizava" por escrito na lição.

O efeito se mostrou mais forte nos mundos em que o registro não explicava diretamente que as falhas são eventos aleatórios e independentes entre si. Quando o texto afirmava claramente que "as falhas são aleatórias e não estão relacionadas entre si", o modelo cometia esse erro com menos frequência. A situação inversa — um acerto por pura sorte da ferramenta ruim — mostrou um efeito mais fraco, mas não nulo: estatisticamente, os autores só conseguem afirmar que o dano é "provavelmente pequeno", não que ele esteja totalmente ausente.

Dos 11 modelos, seis claramente transferiram o acaso para a decisão posterior: Gemini 3.8 Flash, Grok 4.7, Qwen 3.8 Max, DeepSeek V4 Pro, Mistral Large 4 e Kimi K3. Cinco modelos — as três versões da Claude (Opus 5.5, Sonnet 5.5, Haiku 5.5), além de GPT-6.1 Sol e GPT-6 Luna — ficaram abaixo de 10%, embora o efeito não tenha desaparecido por completo nem mesmo neles.

É possível corrigir isso?

Os autores testaram dois ajustes simples na instrução usada pelo modelo para escrever suas lições. Acrescentar três frases pedindo para "avaliar a qualidade da decisão, não apenas o resultado" reduziu a proporção de escolhas erradas após uma falha aleatória de 11,6% para 7,5%. Uma instrução única para os dois desfechos (sem separar "sucesso" e "falha"), com uma opção explícita de "não é preciso mudar nada", teve um efeito mais expressivo: 3,1%. Mas nenhum dos dois ajustes levou o índice a zero em todos os 11 modelos simultaneamente — ou seja, ainda não existe uma solução totalmente confiável.

Para as equipes que constroem agentes com memória de longo prazo e autoaprendizagem a partir dos próprios registros, a conclusão é prática: transformar mecanicamente "lições" de desfechos isolados em regras de comportamento é um ponto vulnerável. Se o sistema não distingue explicitamente entre a qualidade de uma decisão e o acaso de seu resultado, o agente corre o risco de abandonar ferramentas e processos que funcionam bem por causa de um único golpe de má sorte — e vai se apegar obstinadamente a essa crença equivocada até que alguém reescreva sua memória manualmente.