Los agentes aprenden de la mala suerte: las lecciones de los LLM convierten un fallo aleatorio en decisiones

Un agente fracasó en una tarea no porque eligiera una mala herramienta, sino porque la herramienta tuvo mala suerte. El agente guarda en su memoria una «lección» y, en la siguiente ejecución, esa lección lo empuja a equivocarse. Kazuki Nakayashiki midió con qué frecuencia ocurre esto en un estudio registrado con 90 084 respuestas de 11 endpoints de LLM. Cuando una herramienta fiable se rompió por azar, las lecciones escritas por los modelos trasladaron esa casualidad a la siguiente elección en el 11,6% de los casos. En las condiciones de control, esas elecciones fueron el 0,4%.

Cómo se detectó el azar en el paso de la memoria a la decisión

Los agentes que se automejoran, como los que usan ReasoningBank, escriben notas breves tras cada ejecución y las cargan en sesiones futuras. Si el resultado es ruidoso, la nota puede fijar la suerte o la mala suerte como si fuera un patrón. El autor comprobó un solo eslabón de esa cadena: si una lección ya escrita influye en la siguiente elección.

El diseño es el siguiente. Se tomaron 256 mundos sintéticos. En cada uno se repite una misma tarea y hay dos herramientas intercambiables con una fiabilidad conocida. La ejecución previa estaba guionizada: usaba la herramienta más fiable (buena decisión) o la menos fiable (mala decisión). El resultado también se fijaba de antemano: éxito o fallo temporal. El modelo escribía una lección siguiendo la instrucción de ReasoningBank. Después, una sesión nueva del mismo modelo recibía un log autorizado y el resultado de la ejecución anterior, y elegía la primera herramienta. En la memoria había exactamente una entrada de cuatro posibles: la lección de esa ejecución, la lección del resultado opuesto, una entrada irrelevante o una directiva sin explicación de motivos.

El protocolo se congeló, se publicó y se selló con una marca de tiempo en un bloque de Bitcoin antes de la primera llamada confirmatoria. Los registros de las ejecuciones son públicos.

Qué muestran las cifras

• Tras un fallo aleatorio de la mejor herramienta, la interacción fue de +0,112 (intervalo del 95%, de +0,097 a +0,126). En la condición «luck-carrying», los modelos lectores señalaron la peor herramienta en el 11,6% de las ejecuciones siguientes con la lección de ese fallo.
• Con una entrada irrelevante, la cifra fue del 0,4%; con una lección de un éxito, también del 0,4%.
• Si el log decía explícitamente que los fallos son independientes, el efecto fue de +0,042. Si no lo decía, de +0,181 (datos descriptivos).
• Tras un éxito afortunado de la peor herramienta, la interacción fue de +0,002 y quedó acotada por arriba por el umbral de 0,10. El autor subraya que se trata de un límite, no de una prueba de que no haya daño.
• En el análisis exploratorio, 6 endpoints trasladaron el azar y en uno de ellos el efecto llegó a +0,352. Otros 5 endpoints se mantuvieron dentro del umbral de 0,10.

El resultado no es homogéneo entre modelos. El efecto existe en el conjunto del panel, pero no se manifiesta en todos.

¿Se puede curar con una instrucción?

El autor probó dos variantes de modificación de la instrucción para escribir la lección. Una nota de tres frases sobre la calidad de la decisión redujo al 7,5% la proporción de elecciones de la peor herramienta tras un fallo aleatorio. Una instrucción única para ambos resultados, con la opción «no cambiar nada», la redujo al 3,1%. Ninguna de las dos variantes cumplió la regla registrada de reducción del daño en cada endpoint, así que es un remedio parcial. Estas comparaciones son secundarias.

El trabajo tiene límites. Los mundos son sintéticos, hay solo dos herramientas, los fallos son temporales y el efecto se midió en la primera elección de la ejecución siguiente. No se comprobó cómo se acumula el efecto a lo largo de muchas iteraciones de memoria.

Práctica para quienes construyen agentes con memoria

Primero: si el agente tiene una capa de reflexión, escriba en el log no solo el resultado, sino también una afirmación explícita sobre la naturaleza de los fallos, por ejemplo, que son independientes. La diferencia entre +0,042 y +0,181 indica que esta es la protección más barata. Segundo: dé al modelo que escribe la lección el derecho a responder «no cambiar nada». Tercero: pruebe la memoria con resultados ruidosos, en los que una buena elección terminó en fracaso, y no se limite a escenarios totalmente deterministas. Cuarto: no generalice el resultado de un solo modelo, porque en 5 de los 11 endpoints el efecto no superó el umbral.