Investigadores demuestran que inflar AGENTS.md es perjudicial: el archivo tiene un límite

En arXiv ha aparecido el trabajo 2610.11007 sobre cómo mantener los archivos de contexto de agentes LLM como AGENTS.md. Los autores los modelan como un problema de surtido con atención limitada del modelo. Cada token del archivo se paga de nuevo en cada ronda de la sesión, y las instrucciones nuevas reducen el cumplimiento de las antiguas. Se demuestra que el archivo óptimo tiene un tamaño máximo que no depende del número de candidatas. La práctica habitual de ir añadiendo todas las reglas «útiles en general» puede resultar arbitrariamente peor que elegir un subconjunto. Los experimentos con reglas de archivos reales confirman que las instrucciones irrelevantes reducen el cumplimiento. • El tamaño óptimo del archivo está acotado. • Eliminar las reglas que se ignoran puede eliminar también las útiles. • Conviene añadir una regla solo después de acumular evidencias.

Procesado por IA desde arXiv cs.AI; editado por Hamidun News
Investigadores demuestran que inflar AGENTS.md es perjudicial: el archivo tiene un límite
Fuente: arXiv cs.AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalarXiv cs.AI ↗
Editor jefe
Dato clave #1El tamaño óptimo del archivo está acotado.
Dato clave #2Eliminar las reglas que se ignoran puede eliminar también las útiles.
Dato clave #3Conviene añadir una regla solo después de acumular evidencias.

En el preprint de arXiv 2610.11007, el archivo de contexto de un agente, ya sea AGENTS.md o un equivalente, se describe como un problema de optimización. Al inicio de cada sesión, el agente LLM carga ese archivo completo, y cada uno de sus tokens se paga de nuevo en cada ronda siguiente. Los autores demuestran una cota superior para el tamaño óptimo del archivo, y esa cota no depende del número de instrucciones candidatas disponibles. Por muchas reglas que acumule un equipo, hasta cierto tamaño ayudan; a partir de ahí, el archivo solo perjudica.

En la práctica, estos archivos suelen crecer por acumulación. El agente se equivoca y alguien añade una línea. Seis meses después el archivo tiene cientos de líneas y nadie sabe cuáles funcionan.

Modelo: el archivo como una estantería con atención limitada

Los autores plantean la curación (curation) como un capacitated assortment problem, es decir, un problema de selección de surtido con capacidad limitada. Las instrucciones ocupan tokens y la atención del modelo es finita. Añadir una instrucción nueva nunca aumenta la probabilidad de que se cumplan las demás; solo puede reducirla. Además, cada instrucción que permanece en el archivo tiene un coste de mantenimiento por sesión.

De estos supuestos se derivan dos resultados:

  • El archivo óptimo tiene un techo de tamaño que no depende del número de candidatas.
  • La estrategia de «añadir todo lo que es útil por separado» puede quedar, en beneficio neto, arbitrariamente por debajo del subconjunto óptimo.
  • Un presupuesto de tokens acota las pérdidas incluso si el coste del token se ha subestimado.

El último punto es práctico. Calcular el precio exacto de un token en el ciclo de un agente es difícil, pero un límite estricto al tamaño del archivo protege frente a un error grave.

Retroalimentación censurada

La segunda parte del trabajo trata del aprendizaje a partir de sesiones pasadas, y aquí aparece un sesgo en los datos. Se pueden observar el beneficio y el daño de las instrucciones cargadas. Una instrucción ausente deja huella solo cuando su falta provocó un error. Si la regla no existe y todo salió bien, no se puede saber nada sobre esa regla. Eso es la censura.

De ello se desprende una conclusión incómoda. Si se eliminan las instrucciones que el agente ignora, inevitablemente se eliminarán también algunas útiles. Que los registros no muestren un efecto visible no demuestra que la regla sea inútil.

Los autores también determinan cuántas evidencias hay que reunir antes de añadir una instrucción nueva. Además, estiman el regret para el caso en que los revisores humanos solo logran comprobar un número limitado de cambios por periodo. Esto describe un proceso real: un curador automático propone modificaciones y una persona no puede revisarlas todas físicamente.

Qué mostraron los experimentos

El resumen describe la parte empírica de forma breve. Las reglas irrelevantes, tomadas de archivos de contexto reales, reducen el cumplimiento de instrucciones por parte del modelo de lenguaje. Esto concuerda con la teoría, pero el resumen no aporta cifras concretas. Qué modelos se probaron y cuánto cayó la precisión solo se sabrá con el texto completo. Los resultados son todavía preliminares: es la primera versión del preprint y no ha pasado por revisión por pares.

Cómo aplicarlo ya

Para los equipos que mantienen AGENTS.md, CLAUDE.md u otros archivos similares, el trabajo sugiere varias reglas:

  • Fije un límite estricto de tamaño del archivo y discuta de forma explícita cualquier exceso.
  • Añada una regla nueva tras varios fallos repetidos, no tras el primero.
  • No elimine una regla solo porque el agente «no reaccione»: compruebe antes si no está evitando errores silenciosos.
  • Reconstruya periódicamente el archivo a partir de un subconjunto de las mejores reglas y compárelo con el actual en tareas reales.
  • Pase las modificaciones automáticas por revisión en lotes pequeños, teniendo en cuenta la atención limitada de los revisores.

Es un trabajo teórico y sus conclusiones dependen de los supuestos del modelo, por ejemplo, que una instrucción nueva no aumenta el cumplimiento de las demás. Pero frente a la costumbre de seguir añadiendo líneas al archivo de un agente sin límite, ofrece un argumento formal en contra.

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Modelo: el archivo como una estantería con atención limitada?

Los autores plantean la curación (curation) como un capacitated assortment problem, es decir, un problema de selección de surtido con capacidad limitada. Las instrucciones ocupan tokens y la atención del modelo es finita. Añadir una instrucción nueva nunca aumenta la probabilidad de que se cumplan las demás; solo puede reducirla. Además, cada instrucción que permanece en el archivo tiene un coste de mantenimiento por sesión. De estos supuestos se derivan dos resultados: El archivo óptimo tiene un techo de tamaño que no depende del número de candidatas. La estrategia de «aña

¿Qué se sabe sobre Retroalimentación censurada?

La segunda parte del trabajo trata del aprendizaje a partir de sesiones pasadas, y aquí aparece un sesgo en los datos. Se pueden observar el beneficio y el daño de las instrucciones cargadas. Una instrucción ausente deja huella solo cuando su falta provocó un error. Si la regla no existe y todo salió bien, no se puede saber nada sobre esa regla. Eso es la censura. De ello se desprende una conclusión incómoda. Si se eliminan las instrucciones que el agente ignora, inevitablemente se eliminarán también algunas útiles. Que los registros no muestren un efecto visible no demuest

¿Qué se sabe sobre Qué mostraron los experimentos?

El resumen describe la parte empírica de forma breve. Las reglas irrelevantes, tomadas de archivos de contexto reales, reducen el cumplimiento de instrucciones por parte del modelo de lenguaje. Esto concuerda con la teoría, pero el resumen no aporta cifras concretas. Qué modelos se probaron y cuánto cayó la precisión solo se sabrá con el texto completo. Los resultados son todavía preliminares: es la primera versión del preprint y no ha pasado por revisión por pares.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Autonomous AI Agents

Delegate Deep Research, Coding & Workflows to an AI Agent

Deploy autonomous multi-step execution with NomadNet Agent (agent.nomadnet.ai) — automated web research, data synthesis, code generation, and complex task orchestration.

Launch NomadNet Agent →NomadNet AI Platform
¿Qué te parece?
Cargando comentarios…