Un agente con ventana de 16K mantiene el 70,2 % en SWE-bench Verified reiniciando el contexto en cada paso

Todos están acostumbrados a que un agente con una tarea larga necesite una ventana de contexto enorme: cuanto más quepa, mejor. Un nuevo trabajo, «You don't need long context» (Belcak, Molchanov y coautores), sostiene lo contrario: una ventana corta basta si se construye bien el arnés (harness).

Qué propusieron los autores

La idea es sencilla. En lugar de acumular el historial de la conversación hasta el límite, el arnés lo reinicia periódicamente y empieza una nueva sesión. Solo se transfiere un resumen de trabajo estructurado. Los archivos grandes no se cargan enteros en el contexto: el agente busca lo que necesita con utilidades de Bash como grep y lee en ventanas limitadas.

Hay dos modos. End-of-Conversation Compaction (EoCC) comprime la conversación cuando se alcanza un umbral de tokens. Single-Action Compaction (SAC) es más radical y reinicia el contexto después de cada acción.

Imagine a un desarrollador que corrige un error en un repositorio grande. No vuelve a leer todo el código en cada paso. Lleva notas: qué ha comprobado ya, qué está roto, qué probó en vano. Aquí ocurre lo mismo, solo que las notas las lleva el arnés.

Qué resultados se obtuvieron

En benchmarks de horizonte largo y con documentos grandes, la ventana corta mantiene la precisión y a veces incluso la mejora. El coste de decodificación en GPU baja hasta 7 veces al pasar de 256K a 16K tokens. Incluso en el exigente modo SAC, Claude Opus 4.5 resuelve el 70,2 % de las tareas de SWE-bench Verified.

También es de agradecer que los autores describieran el formato del resumen. Es un handoff brief de seis partes: objetivo, hechos verificados separados de las hipótesis, cambios realizados, comprobaciones ejecutadas, callejones sin salida y plan de los siguientes pasos. Separar hechos e hipótesis evita que una conjetura, tras ser retransmitida, se convierta en una «verdad establecida».

Un skill para Claude Code

El artículo no incluye código, así que Zhemal Khamidun, de gonzo-obzory, pidió a Claude que construyera un skill que reprodujera el enfoque. Está en el repositorio short-context-agent. El skill enseña al agente a no cargar archivos grandes en el contexto, sino a buscar en ellos y leerlos por ventanas, y a mantener ese mismo brief en tareas largas de varios pasos.

El reinicio del contexto lo sigue gestionando Claude Code: autocompactación por umbral, o /compact y /clear de forma manual. El hook del plugin vuelve a insertar el brief y el agente continúa desde el mismo punto. Así se obtiene el modo EoCC. El modo SAC no se puede reproducir en Claude Code; solo existe en el arnés de referencia del repositorio, junto con EoCC y un baseline sin compactación. El autor advierte con honestidad que no lo probó con detenimiento, que puede haber errores y que los PR son bienvenidos.

Limitaciones

Primera: el reinicio del contexto rompe la caché de prompts. Cada nueva sesión empieza con un prefijo frío, de modo que quizá no ahorre dinero aunque el ahorro de GPU en decodificación sea real. La mejora de 7 veces se refiere al coste de decodificación, no a su factura con el proveedor.

Segunda: los modelos abiertos débiles pueden desplomarse. Si un modelo es verboso, agota el presupuesto rígido de la ventana antes de terminar la tarea. Los resultados con Opus 4.5 no pueden extrapolarse automáticamente a cualquier modelo.

Tercera: el skill es no oficial y está sin pulir; no es una implementación verificada de los autores.

Qué hacer en la práctica

Si construye agentes, compruebe tres cosas. No obligue al agente a leer archivos grandes enteros; que busque y lea por ventanas. Establezca un resumen explícito que separe hechos e hipótesis. Y calcule el coste real teniendo en cuenta el reinicio de la caché, no solo el tamaño de la ventana. Para modelos autoalojados la idea es aún más interesante: entrenar y ejecutar un modelo con ventana de 16K–50K es notablemente más barato que perseguir el millón de tokens.