Agentes aprendem com o azar: lições escritas por LLMs transferem falhas aleatórias para as decisões

O agente falhou na tarefa por azar da ferramenta, e não por ter escolhido uma ferramenta ruim. Ele registra uma «lição» na memória, e, na execução seguinte, essa lição o empurra para o erro. Kazuki Nakayashiki mediu a frequência desse problema em um estudo pré-registrado com 90 084 respostas de 11 endpoints de LLM. Quando uma ferramenta confiável quebrou por acaso, as lições escritas pelos modelos transferiram essa aleatoriedade para a escolha seguinte em 11,6% dos casos. Nas condições de controle, essas escolhas ocorreram em 0,4%.

Como a aleatoriedade foi flagrada na passagem da memória para a decisão

Agentes que se autoaprimoram, como os que usam o ReasoningBank, escrevem notas curtas ao fim das execuções e as carregam em sessões futuras. Se o resultado é ruidoso, a nota pode registrar sorte ou azar como se fosse um padrão. O autor testou apenas um elo dessa cadeia: se uma lição pronta influencia a escolha seguinte.

O desenho do experimento é este. Foram criados 256 mundos sintéticos. Em cada um, a mesma tarefa se repete e há duas ferramentas intercambiáveis, com confiabilidade conhecida. A execução anterior era roteirizada: usava a ferramenta mais confiável (boa decisão) ou a menos confiável (decisão ruim). O desfecho também era definido de antemão: sucesso ou falha temporária. O modelo escrevia a lição seguindo a instrução do ReasoningBank. Depois, uma sessão nova do mesmo modelo recebia um log de referência e o resultado da execução anterior e escolhia a primeira ferramenta. A memória continha exatamente um registro entre quatro: a lição daquela execução, a lição do desfecho oposto, um registro irrelevante ou uma diretiva sem explicação das razões.

O protocolo foi congelado, publicado e recebeu um carimbo de data e hora em um bloco do Bitcoin antes da primeira chamada confirmatória. Os registros das execuções estão abertos.

O que mostram os números

• Após uma falha aleatória da melhor ferramenta, a interação foi de +0,112 (intervalo de 95% de +0,097 a +0,126). Na condição «luck-carrying», os modelos leitores indicaram a pior ferramenta em 11,6% das execuções seguintes que tinham a lição desse tropeço.
• Com um registro irrelevante, a taxa foi de 0,4%; com a lição de um sucesso, também 0,4%.
• Quando o log afirmava explicitamente que as falhas são independentes, o efeito foi de +0,042. Quando não afirmava, +0,181 (dados descritivos).
• Após um sucesso por sorte da pior ferramenta, a interação foi de +0,002 e ficou limitada superiormente a 0,10. O autor ressalta que isso é um limite, e não uma prova de ausência de dano.
• Na análise exploratória, 6 endpoints transferiram a aleatoriedade, e em um deles o efeito chegou a +0,352. Os outros 5 endpoints ficaram dentro do limite de 0,10.

O resultado é heterogêneo entre os modelos. O efeito existe no painel como um todo, mas não aparece em todos os endpoints.

Dá para corrigir com a instrução?

O autor testou duas alterações na instrução de escrita da lição. Uma nota de três frases sobre a qualidade da decisão reduziu para 7,5% a taxa de escolha da pior ferramenta após uma falha aleatória. Uma instrução única para ambos os desfechos, com a opção «não mudar nada», reduziu a taxa para 3,1%. Nenhuma das variantes passou na regra pré-registrada de redução de dano em cada endpoint, de modo que a solução é apenas parcial. Essas comparações são secundárias.

O trabalho tem limites. Os mundos são sintéticos, há apenas duas ferramentas, as falhas são temporárias, e a influência foi medida na primeira escolha da execução seguinte. Como o efeito se acumula ao longo de muitas iterações de memória não foi verificado aqui.

Na prática, para quem constrói agentes com memória

Primeiro: se o agente tem uma camada de reflexão, registre no log não só o desfecho, mas também uma afirmação explícita sobre a natureza das falhas, por exemplo, que elas são independentes. A diferença entre +0,042 e +0,181 mostra que essa é a proteção mais barata. Segundo: dê ao modelo que escreve a lição o direito de responder «não mudar nada». Terceiro: teste a memória em desfechos ruidosos, em que uma boa escolha terminou em fracasso, sem se limitar a cenários totalmente determinísticos. Quarto: não generalize o resultado de um único modelo, porque em 5 dos 11 endpoints o efeito não passou do limite.