LangChain integra ScaleDown en Deep Agents para comprimir el contexto

LangChain ha publicado un artículo sobre cómo conectar los modelos ScaleDown a Deep Agents, su framework open source para agentes de larga duración. ScaleDown tiene un cometido acotado: asumir las tres operaciones que más contexto consumen en las sesiones largas. Son el resumen del historial, la compresión de los resultados de las herramientas y la extracción de datos estructurados. La promesa es sencilla: más rápido y más barato que pasarlo todo por el modelo principal. La descripción disponible no incluye benchmarks concretos, por lo que aquí analizamos la mecánica y los riesgos, no las cifras.

Por qué los agentes largos chocan con el límite de contexto

Un agente que trabaja durante horas acumula basura. Cada llamada a una herramienta devuelve la salida de grep, un fragmento de HTML, un JSON enorme de una API o el log de una compilación. Todo eso permanece en el contexto y se vuelve a pagar en cada paso siguiente. Suben el coste y la latencia, y la calidad del razonamiento suele caer hacia el paso 40: el dato necesario se pierde entre el ruido.

Deep Agents ya resuelve parte del problema desde la arquitectura: planificación, un sistema de archivos para descargar objetos grandes y subagentes con contexto aislado. Queda el resumen, y ahí aparece una situación extraña. La compresión del historial, un trabajo básicamente mecánico, suele hacerla el mismo modelo caro que se encarga del razonamiento principal.

Qué propone ScaleDown

Según la descripción, ScaleDown apuesta por el constrained decoding: la generación se limita a un esquema o a una gramática, y el modelo físicamente no puede salirse del formato establecido. Esto encaja bien con la compresión y la extracción de datos. La respuesta es una estructura corta y predecible que no hay que parsear con reintentos ni validar cada vez que hay un error. Además, un modelo especializado puede ser bastante más pequeño que uno generalista, de ahí el ahorro esperado.

Lo que se sabe de la integración:

• La combinación funciona a través de LangChain y Deep Agents.
• Resumen del historial: una conversación larga se sustituye por un resumen compacto.
• Compresión de los resultados de las herramientas: las respuestas voluminosas se reducen a los campos relevantes.
• Extracción de datos: de una salida no estructurada se obtiene un esquema predefinido.
• Efecto declarado: menor latencia y menor coste por paso.
• El material no incluye métricas públicas (grado de compresión, calidad, precio por millón de tokens).

Dónde puede fallar

Comprimir siempre implica perder información. Si el resumen descarta un detalle que hará falta en el paso 40, el agente no sabrá que existía. El constrained decoding garantiza el formato de la respuesta, pero no su fidelidad: un JSON correcto con contenido erróneo sigue siendo erróneo.

Hay además un efecto menos evidente. Al reescribir el historial se cambia el prefijo de la petición y se rompe el prompt caching del modelo principal. Un resumen barato puede acabar saliendo más caro que un contexto largo en caché. El beneficio depende del proveedor, de la duración de las sesiones y de la frecuencia con la que se reconstruye el contexto.

Cómo abordar la verificación en la práctica

Empiece por medir, no por integrar. Tome las trazas de ejecuciones reales y reparta los tokens por categorías: historial, respuestas de herramientas, instrucciones del sistema y razonamiento. Lo habitual es que la mayor parte corresponda a las respuestas de herramientas, y es razonable empezar por ellas.

Después, tres pasos:

• Conserve el original en el sistema de archivos del agente y ponga en el contexto la versión comprimida con un enlace al archivo completo. Así, un detalle perdido se puede volver a leer.
• Compare las variantes por la proporción de tareas completadas con éxito, y no solo por el coste de los tokens. Un agente barato que con más frecuencia no termina el trabajo sale más caro.
• Calcule por separado el efecto sobre la caché: compare la factura total con la caché y sin reconstruir el contexto.

Si en sus trazas la compresión se lleva una parte apreciable del presupuesto, esta combinación merece un experimento. Si los contextos son cortos y las sesiones, poco frecuentes, lo más probable es que el beneficio quede dentro del margen de error.