Estudio: un solo fallo aleatorio hace que un agente de IA abandone una herramienta funcional en el 11,6% de los casos

Cuando un agente de IA lleva su propio registro de trabajo y se escribe "notas" para el futuro, surge un peligro oculto: un resultado desafortunado por puro azar puede arruinar para siempre su opinión sobre una solución que funciona perfectamente bien. Eso es justo lo que pusieron a prueba los autores de un artículo publicado en arXiv (2610.33029), mediante un experimento estrictamente preregistrado: el protocolo, el código y los datos de prueba se congelaron y se les puso sello de tiempo (a través de Zenodo y un registro en la cadena de bloques de Bitcoin) antes de que comenzara la ejecución real, para descartar que los resultados se ajustaran a una conclusión deseada.

Cómo se diseñó el experimento

Los investigadores inventaron 256 "mundos" ficticios —tareas de trabajo recurrentes, como exportar datos o enviar facturas— en los que el agente tenía acceso a dos herramientas intercambiables. Una era confiable (entre el 80% y el 93% de éxito en las últimas cientos de ejecuciones) y la otra visiblemente peor (entre el 50% y el 70%). En cada mundo se ejecutaba un escenario donde el agente elegía correctamente la herramienta confiable, y el resultado de esa elección se asignaba de forma artificial: éxito, o un fallo temporal y aleatorio ajeno a la calidad de la decisión.

Tras esa ejecución, el modelo —siguiendo el método ReasoningBank, ampliamente usado en sistemas agénticos para el autoaprendizaje— escribía una "lección" en texto basada en el desenlace. Después se lanzaba una sesión nueva y "limpia" del mismo modelo en el papel de lector: veía el registro completo y fiel de todas las ejecuciones anteriores, conocía el resultado de la última y recibía una de varias versiones de memoria —esa misma lección, una lección escrita tras el desenlace opuesto, un dato neutro sin relación con la tarea, o una instrucción directa (sin justificación) de usar la peor herramienta. En total se recogieron 90.084 respuestas en los 11 modelos.

Lo que mostraron las cifras

El resultado principal: cuando la memoria contenía una lección escrita tras un fallo aleatorio de la herramienta confiable, el modelo lector elegía la mala herramienta en el 11,6% de los casos, aunque el registro mostraba con claridad que esa herramienta era mucho peor. En comparación, con una indicación neutra el error solo ocurría en el 0,4% de los casos, y exactamente lo mismo cuando la memoria contenía una lección escrita tras un éxito (y no un fallo) de esa misma herramienta confiable. Es decir, el problema no era el fallo en sí, sino cómo el modelo lo describía y "generalizaba" por escrito en la lección.

El efecto resultó más fuerte en los mundos donde el registro no explicaba de forma directa que los fallos son eventos aleatorios e independientes entre sí. Cuando el texto afirmaba claramente que "los fallos son aleatorios y no están relacionados entre sí", el modelo cometía ese error con menos frecuencia. La situación inversa —un acierto por pura suerte de la herramienta mala— mostró un efecto más débil, aunque no nulo: estadísticamente, los autores solo pueden afirmar que el daño es "probablemente pequeño", pero no pueden demostrar que esté totalmente ausente.

De los 11 modelos, seis trasladaban claramente el azar a su decisión posterior: Gemini 3.8 Flash, Grok 4.7, Qwen 3.8 Max, DeepSeek V4 Pro, Mistral Large 4 y Kimi K3. Cinco modelos —las tres versiones de Claude (Opus 5.5, Sonnet 5.5, Haiku 5.5), además de GPT-6.1 Sol y GPT-6 Luna— quedaron por debajo del 10%, aunque el efecto no desapareció por completo ni siquiera en ellos.

¿Se puede corregir?

Los autores probaron dos ajustes sencillos en la instrucción con la que el modelo escribe sus lecciones. Añadir tres frases pidiendo "evaluar la calidad de la decisión, no solo su resultado" redujo la proporción de elecciones erróneas tras un fallo aleatorio del 11,6% al 7,5%. Una instrucción única para ambos desenlaces (sin separar "éxito" y "fallo"), con una opción explícita de "no es necesario cambiar nada", tuvo un efecto más notable: 3,1%. Pero ninguno de los dos ajustes llevó la cifra a cero en los 11 modelos a la vez, es decir, todavía no existe una solución completamente fiable.

Para los equipos que construyen agentes con memoria de largo plazo y autoaprendizaje a partir de sus propios registros, la conclusión es práctica: convertir mecánicamente "lecciones" de desenlaces puntuales en reglas de comportamiento es un punto vulnerable. Si el sistema no distingue explícitamente entre la calidad de una decisión y el azar de su resultado, el agente corre el riesgo de abandonar herramientas y procesos que funcionan bien por un solo golpe de mala suerte, y se aferrará con obstinación a esa creencia equivocada hasta que alguien reescriba su memoria a mano.