ASTC comprime el contexto del agente sin entrenamiento y reduce los Attention Pairs un 50,68 %

Los escenarios agénticos de larga duración chocan con el crecimiento del contexto: cada paso añade a la siguiente llamada al modelo las instrucciones del sistema, las decisiones anteriores, la salida de las herramientas, el código y el feedback del entorno. Procesar el contexto completo es caro, y los datos relevantes tienen que competir con basura obsoleta. Los autores de un artículo en arXiv proponen Agentic Soft-Token Compression (ASTC), un método que comprime ese contexto dentro del propio modelo y no requiere entrenar un compresor aparte.

Según sus datos, la calidad en las tareas se mantiene al nivel del modelo sin comprimir o por encima, y el número de Attention Pairs (pares «consulta — clave» que calcula la atención) a lo largo de toda la ejecución baja hasta el 50,68 %.

Por qué la compresión convencional rompe a los agentes

Los autores distinguen la compresión del contexto de un agente de la resumición habitual. En el historial conviven texto que se puede acortar sin daño y valores exactos: rutas, identificadores, sumas de comprobación, argumentos de API. Cambiar un solo carácter en uno de esos valores invalida la acción siguiente. Además, una información que ahora no importa puede volverse decisiva unos pasos más tarde, de modo que una única evaluación de importancia no es fiable.

Los métodos existentes toman la decisión antes de que el modelo procese el contexto. Los métodos duros descartan o reescriben el texto y corren el riesgo de perder valores exactos. Los métodos blandos almacenan representaciones continuas, pero necesitan codificadores entrenados por separado, y su objetivo puede no coincidir con lo que el modelo real ya ha asimilado y con lo que necesitará después. Los propios autores intentaron primero entrenar un compresor integrado, formado por bloques de attention y MLP, mediante on-policy distillation. La preparación resultó cara y el resultado, débil, y añadir capas de compresión no corrigió la situación.

El análisis de trayectorias de sesiones reales de usuarios mostró que lo que más espacio ocupa son las observaciones de las herramientas. Entre los sistemas mencionados en el artículo figuran Fable 5, GPT-5.6 Sol y Kimi K3. Por eso la salida de las herramientas se convirtió en el principal objetivo de la compresión.

Cómo usa ASTC el estado de GDN

El método está pensado para modelos híbridos en los que Gated Delta Network (una capa recurrente con memoria asociativa) se alterna con atención completa. La actualización de esta capa genera una señal de novedad: si el valor de entrada ya está bien representado en el estado, la corrección es pequeña, mientras que la información nueva o contradictoria modifica la memoria con más fuerza. En otras palabras, el propio modelo indica qué ha asimilado ya.

Las primeras capas leen todo el bloque nuevo. Después, ASTC elige las posiciones que, a la vez, son predecibles a partir del estado anterior y todavía se pueden leer del estado al final de la observación. Los valores exactos reconocidos y el límite de la acción quedan protegidos por una máscara y se mantienen como tokens normales. Las posiciones seleccionadas se dividen en grupos causales, se eliminan los valores atípicos y los estados ocultos restantes se promedian en un único soft token en el espacio del modelo. Los grupos de una sola posición y las distorsiones demasiado fuertes se descartan: esas posiciones permanecen como tokens originales.

La caché posterior al límite de compresión almacena una secuencia mixta más corta. Se reutiliza en la decodificación y en los pasos siguientes del agente, de modo que la ganancia no se limita a un solo prefill. Aun así, la compresión debe compensar: la atención ahorrada tiene que superar el coste de la selección y el pooling.

Qué mostraron las mediciones y dónde están los límites

Resultados declarados: en distintas tareas largas, ASTC mantiene una calidad cercana a la del modelo sin comprimir, o superior, y reduce los Attention Pairs de extremo a extremo hasta el 50,68 %. Si se retira la protección de los valores exactos, la precisión cae en picado. El criterio funciona también fuera de las observaciones de herramientas: al comprimir todo el historial, se alcanza la precisión del modelo sin comprimir con un 24,52 % menos de accesos KV en Decode. La mejora también se muestra en contexto largo y en corrección de código. Por Attention Pairs por tarea resuelta, el método supera a los compresores entrenados entre 15,4 y 103,7 veces, y además ofrece mayor precisión.

Hay varias limitaciones. El método se apoya en modelos híbridos con GDN, así que no sirve directamente para transformers puros. El reconocimiento de valores exactos puede pasar por alto parte de los campos. Las estimaciones teóricas, incluidas las condiciones en las que los soft tokens distorsionan la predicción menos que los hard tokens de igual longitud, dependen de supuestos que los umbrales de selección no garantizan. La métrica de Attention Pairs cuenta los cálculos de atención, no el tiempo ni el dinero en hardware real, por lo que el ahorro final conviene verificarlo en el propio stack.

Conclusión práctica para los equipos que construyen agentes de larga duración sobre arquitecturas híbridas: la compresión puede obtenerse de las señales internas del modelo, sin gastar recursos en un compresor aparte.