LangChain Deep Agents reduce hasta un 80 % el coste de los LLM con el almacenamiento en caché de prompts

LangChain ha añadido el almacenamiento en caché automático de prompts a Deep Agents. Según la compañía, esto reduce hasta un 80 % el gasto en tokens de LLM, sin configuración adicional ni cambios en el código del agente.

Qué es el prompt caching y por qué lo necesitan los agentes

El almacenamiento en caché de prompts es una técnica por la que el proveedor del modelo guarda una copia «congelada» de las partes del contexto que se repiten con frecuencia. Puede ser el prompt de sistema, el historial de la conversación o un gran conjunto de documentos cargados. En la siguiente llamada, el proveedor no vuelve a procesar esos tokens: los recupera de la caché y cobra por ellos bastante menos.

En una aplicación de chat corriente, la caché aporta una ganancia moderada, porque el prompt de sistema suele ser corto. Con los agentes, el panorama es radicalmente distinto. En el curso de una sola tarea, un agente hace decenas de llamadas consecutivas al modelo. Cada vez envía la misma instrucción larga, el historial de sus acciones anteriores, y las herramientas y documentos cargados. Sin caché, todo eso se procesa y se paga de nuevo en cada paso, aunque el 90 % del contenido no haya cambiado.

Un ejemplo sencillo: un agente de investigación lee 50 páginas de documentación técnica y luego ejecuta 30 pasos de razonamiento y llamadas a herramientas. Cada paso vuelve a meter el contexto completo en el modelo. Con caché, la primera llamada se paga entera y las siguientes solo cobran los tokens nuevos.

Cómo activa Deep Agents la caché de forma automática

LangChain ha implementado la caché para que funcione sin intervención del desarrollador. No hace falta estudiar la documentación de cada proveedor, colocar indicadores especiales ni rehacer la arquitectura del agente. El framework detecta qué proveedor se usa y activa el mecanismo adecuado.

Se admiten todos los grandes actores:

• Anthropic (Claude): caché a nivel del prompt de sistema y de las descripciones de herramientas
• OpenAI (GPT-4o, o3): caché de segmentos de entrada repetidos
• Google (Gemini): caché de contexto para documentos largos
• Otros proveedores compatibles

Esto significa que el desarrollador escribe el código una vez para LangChain Deep Agents y la caché funciona en todas partes. Al cambiar de proveedor no hay que configurar nada más.

Ahorro real: hasta un 80 % en tokens

La cifra de «hasta un 80 %» es alcanzable en escenarios concretos: un contexto largo y repetido más muchos pasos del agente. Cuantas más llamadas al modelo dentro de una tarea y cuanto más larga sea la parte inmutable del prompt, mayor es el ahorro. Para los equipos que ejecutan agentes en producción, esto supone reducir la factura de la API varias veces.

Es especialmente importante en escenarios empresariales:

• Análisis de grandes corpus de documentos
• Pipelines de investigación de varios pasos
• Agentes con memoria a largo plazo y contexto ampliado de herramientas
• Generadores de contenido que procesan cientos de solicitudes al día

LangChain subraya que el almacenamiento en caché de prompts es una de las optimizaciones más sencillas y con mayor ROI en el desarrollo de agentes. Los proveedores también tienen interés en ampliar este soporte: menos cómputo significa una infraestructura más barata para ellos mismos.

Qué significa esto

Los sistemas de agentes se encarecen al escalar, y el almacenamiento en caché de prompts ya es una de las principales vías para controlar el gasto. LangChain elimina la barrera de ingeniería: el desarrollador ya no tiene que implementar la caché por su cuenta para cada proveedor. Esto reduce el umbral de entrada al desarrollo de agentes en producción y hace económicamente viable ejecutarlos incluso con un presupuesto limitado.