Anthropic elevó del 54% al 61% la precisión de los agentes con memoria

La mayoría de los sistemas con “memoria” se limitan, en realidad, a guardar conversaciones antiguas en una carpeta. Al cabo de varias semanas, el agente no obtiene una ventaja, sino un desván digital: notas contradictorias, estados obsoletos y decenas de archivos que debe releer antes de cada acción.

Anthropic propone un modelo más útil. El agente no debe guardar todo lo que ha visto, sino aquello que será útil en la siguiente sesión: reglas verificadas, el objetivo actual, un plan de trabajo y trampas que ya le hayan provocado errores. Después, durante los periodos de inactividad, vuelve a sus registros de trabajo, comprueba sus apuntes y los reorganiza. Los investigadores llaman dreaming, o “soñar”, a este proceso.

La memoria es una previsión, no un archivo

Cuando un agente anota una regla, en la práctica está haciendo una apuesta: volverá a necesitar esa información y será más eficiente conservarla que obtenerla de nuevo. Por eso, la calidad de la memoria depende ante todo de la capacidad para distinguir lo importante de lo temporal.

Esto se aprecia con claridad en un experimento con Pokémon Red. Claude Sonnet 3.7 guardó casi todos los encuentros, combates y objetos encontrados. Al llegar aproximadamente a los 10.000 pasos, había creado 413 archivos en 225 carpetas, pero solo había conseguido una medalla. Parte de las notas quedaba obsoleta rápidamente y el agente dedicaba cada vez más acciones a mantener su propio archivo.

Otro modelo, Fable 5, se limitó a nueve archivos en dos carpetas y un documento principal. En este figuraban el objetivo actual, un plan para avanzar y las reglas de gestión de la memoria. Otras notas describían rutas y técnicas de juego verificadas. Este agente consiguió cuatro medallas: tenía menos memoria, pero cada anotación le ayudaba a tomar la siguiente decisión.

El principio práctico es sencillo. No merece la pena guardar coordenadas, un saldo o el estado de una tarea si el agente puede obtener esos datos en ese mismo momento mediante una herramienta fiable. Lo que debe conservarse es aquello que no existe en el sistema externo: lecciones extraídas de errores, patrones confirmados, planes y motivos de las decisiones adoptadas.

“Soñar” corrige errores sostenidos con seguridad

El peligro de la memoria persistente es que una nota incorrecta sobreviva a la sesión que la originó. En la siguiente ejecución, el agente lee su propio apunte como fuente de verdad y vuelve a tomar una decisión equivocada.

Durante una partida de Pokémon, Claude anotó erróneamente que el centro de curación estaba en el lado oriental de la montaña. Por ello, concluyó que ya había atravesado la cueva, tomó el camino equivocado y regresó varias veces a la misma ruta. Después de la tercera repetición, el agente prácticamente se rindió.

Durante el proceso de “soñar”, el modelo comparó la nota con el registro original, detectó la discrepancia y corrigió la ubicación del objeto. En la siguiente ejecución, Claude volvió a la cueva y llegó a una nueva ciudad. Lo importante no es la historia del juego en sí, sino el patrón de ingeniería: el registro de acciones sigue siendo la evidencia primaria, mientras que la memoria es un producto derivado y editable que debe verificarse periódicamente.

Qué aporta esto a los agentes en producción

Anthropic probó el mismo enfoque con un conjunto de aproximadamente 350.000 documentos internos que sumaban alrededor de 420 millones de tokens. Los agentes construyeron progresivamente una base de conocimiento interconectada: crearon páginas, fusionaron duplicados, corrigieron afirmaciones y las contrastaron con sus fuentes. Al aumentar el procesamiento en segundo plano de dos a 128 sesiones, el rendimiento en el conjunto de preguntas pasó del 13% al 48% de los criterios de evaluación.

Sin embargo, la base de conocimiento no sustituyó a la búsqueda. El mejor resultado se obtuvo al combinar los dos mecanismos: el mapa del conocimiento acumulado indica dónde buscar, mientras que la herramienta de búsqueda permite verificar los detalles en la fuente primaria. A medida que se desarrolló la base, el resultado de esta combinación subió del 54% al 61%, mientras que la búsqueda por sí sola obtuvo un 53%.

Para los desarrolladores, la conclusión es muy práctica. Empieza con una memoria pequeña: un archivo con el objetivo y los siguientes pasos, una sección aparte con reglas confirmadas y enlaces a los registros originales. Añade una tarea en segundo plano que busque contradicciones, marque las conclusiones no verificadas y elimine la información obsoleta. No impongas a un modelo potente decenas de reglas rígidas sobre qué debe recordar: en los experimentos de Anthropic, exigir que guardara únicamente los errores redujo la utilidad de la memoria.

Las métricas se obtuvieron con modelos propios y conjuntos de tareas pequeños, por lo que los porcentajes no pueden extrapolarse a cualquier producto. Pero la conclusión arquitectónica parece sólida: una buena memoria para agentes no es un registro infinito, sino un modelo de trabajo del mundo compacto, verificable y reescrito periódicamente.