Los agentes ignoraron la pista de leer la memoria en 7 de 7 sesiones: análisis de 13 mil logs

El equipo de kaeru, que desarrolla memoria a largo plazo para agentes de IA como Claude Code, Codex y Cursor, ha publicado un análisis de sus propios logs: más de 13 mil archivos de sesiones de trabajo entre junio y septiembre. El resultado principal: en las 7 sesiones en las que el agente vio la pista «puedes leer los razonamientos guardados», no los leyó ni una vez, aunque sí cumplió 751 veces otra pista, «vincula la entrada con la anterior». Durante varios meses, los autores diseñaron el producto «a ojo» y después comprobaron cómo usan realmente la memoria los agentes.

Mucho resultó ser distinto de lo esperado, y la mayoría de las conclusiones atañen no solo a kaeru, sino a cualquiera que escriba un servidor MCP, hooks o instrucciones largas para agentes.

Qué es kaeru y qué se comprobó

kaeru es un servidor local al que el agente se conecta por MCP, el protocolo estándar para llamar a herramientas externas. Mientras trabaja, el agente escribe entradas por sí mismo: observaciones, decisiones, tareas con plazos e hipótesis con el resultado de su verificación. Las entradas están conectadas entre sí por vínculos ponderados, de modo que se puede guardar una cadena de razonamiento completa.

Un hecho corregido no se sobrescribe: la versión antigua se cierra con una fecha. Al entrar en un proyecto, el agente recibe un resumen: qué está vigente, qué ha vencido y qué razonamientos existen ya. Todo esto funciona solo si el agente lee la memoria antes de preguntar, anota lo que ha averiguado y marca lo obsoleto.

Los autores señalan con honestidad las limitaciones: son sus propios logs, no una muestra del mercado. Las muestras varían según el apartado, desde miles de eventos hasta siete sesiones o los logs de un solo usuario. Midieron el comportamiento de los agentes, no el beneficio: el equipo todavía no sabe cuánto tiempo o cuántos tokens ahorra la memoria por tarea, y prepara su propio benchmark.

La deuda se cumple, la posibilidad se omite

Al entrar en un proyecto se añadió la pista «el proyecto tiene razonamientos guardados, puedes leerlos». En cuatro días, el modelo la vio en 7 sesiones y no la leyó ni una vez, aunque en ese mismo tiempo los agentes guardaron 17 razonamientos nuevos. Están dispuestos a escribir, pero no a releer.

Otra pista, «vincula esta entrada con aquella de la que surgió», llegaba justo después de escribir y se cumplió 751 veces. Es la acción más frecuente de todo el producto. En la versión 0.8, el vínculo se indica directamente en la llamada de escritura y ya no hace falta una pista aparte. La diferencia está en el momento: la segunda continúa lo que el agente ya está haciendo, mientras que la primera le pide que deje la tarea y se ocupe de algo ajeno.

Ocurre lo mismo con el resumen. Ante la línea «2 entradas en duda, pendientes de decisión», los agentes resolvieron entradas en disputa 8 veces, y las tareas vencidas se cierran con regularidad, pero la línea «puedes leer los razonamientos guardados» no funcionó ni una vez. Ahora todo en el resumen se formula como una deuda.

Hooks, instrucciones truncadas y parámetros opcionales

En los logs de un usuario, el 80% de las preguntas del agente a la persona se hicieron sin una sola consulta a la memoria en los diez minutos anteriores; la mediana fue de 74 minutos desde la última lectura. Para corregirlo se creó un hook: un script que el cliente ejecuta en un momento determinado. Cuando el agente va a ceder el turno a la persona, el hook busca en la memoria material sobre el tema y manda al agente a leerlo, una sola vez.

La primera versión detectaba la consulta a la persona por el signo «?» En 2 608 paradas del agente, de 1 164 consultas, detectó 201, es decir, el 17%. En 856 casos se trataba de peticiones en imperativo: «dime», «envíame el informe», «necesito tu respuesta sobre el proveedor».

Los agentes piden más de lo que preguntan.

El hallazgo más desagradable: el cliente truncó la instrucción del servidor MCP en 2 048 caracteres y durante dos meses nadie lo notó. Entre las herramientas mencionadas antes del corte, el 9% no se usó. Entre las mencionadas después del corte, el 31%, igual que entre las que la instrucción no menciona en absoluto. Para el modelo, el final de la instrucción sencillamente no existía. Ahora el texto introductorio de kaeru ocupa 1 499 caracteres.

Con los parámetros pasa lo mismo. El peso del vínculo era opcional, con un valor por defecto. En 6 003 llamadas a las herramientas de memoria, los agentes crearon 1 262 vínculos y nunca indicaron el peso. En la 0.8 pasó a ser obligatorio. En los recordatorios, el plazo de visualización es obligatorio desde el principio: «el certificado caduca» y «vuelve a medir la cifra antes de citarla» requieren plazos distintos, y solo los conoce el autor de la entrada.

Lo que mejor funcionó fue la limpieza en segundo plano, que no le pide nada al agente: desde la primera pasada clasificó por capas 33 entradas acumuladas.

La conclusión práctica del equipo se resume en cinco reglas:

• lo necesario debe llegar solo, dentro de una respuesta que el agente ya recibe de todos modos;
• formular como deuda: «pendiente de decisión», y no «puedes echar un vistazo»;
• dar la pista en el momento de la acción, y no al inicio de la sesión con todo a la vez;
• hacer los parámetros obligatorios sin valores por defecto;
• mantener la instrucción corta y comprobar cuánto de ella llega al modelo en tu cliente.

El código fuente de kaeru está publicado en GitHub, y el próximo artículo de la serie mostrará cómo es una jornada de trabajo teniendo en cuenta estas conclusiones.