Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarAWS Machine Learning Blog→ original

AWS: la caché de prompts redujo un 62 % el coste de los tokens de entrada de un agente de IA

En cada paso, el agente vuelve a enviar al modelo todas las herramientas, instrucciones e historial, y usted paga de nuevo por esos tokens. AWS demostró con modelos de OpenAI en Bedrock cómo la caché guarda el inicio inalterado de la petición y cobra solo una fracción de su precio. En la prueba de seis turnos con GPT-6 Astra, el coste de los tokens de entrada cayó aproximadamente un 62 % frente a funcionar sin caché. Por eso conviene colocar las herramientas y las instrucciones al principio del prompt, y la fecha y el ID de la petición al final.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
AWS: la caché de prompts redujo un 62 % el coste de los tokens de entrada de un agente de IA
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1La caché opera sobre un prefijo de al menos 1024 tokens, y en los ejemplos su vida útil es de 30 minutos
Dato clave #2Las etiquetas explícitas móviles ahorraron cerca de un 61 % con el mismo modelo
Dato clave #3Un prefijo de unos 4000 tokens se escribió como 4120 y después se leyó desde la caché

Imagine que su agente de IA se despierta cada mañana como el protagonista de «Groundhog Day» y no recuerda nada. Así es: el modelo no tiene memoria entre peticiones. En cada paso (invocar una herramienta, leer el resultado, decidir qué hacer después), el agente vuelve a enviarle todo el historial: las descripciones de las herramientas, las instrucciones, cada llamada anterior y cada resultado.

Hacia el vigésimo turno de una sesión de programación, el modelo vuelve a leer los turnos del primero al diecinueve, y usted paga por cada uno de esos tokens de entrada una y otra vez. AWS explicó en su blog cómo solucionarlo con la caché de prompts en los modelos de OpenAI en Amazon Bedrock. En la prueba de seis turnos con GPT-6 Astra, el coste de los tokens de entrada resultó aproximadamente un 62 % inferior al de funcionar sin caché.

Cómo funciona la caché y qué conviene guardar en ella

Antes de responder, el modelo procesa todo el texto de entrada y construye a partir de él un estado de trabajo: un conjunto de claves y valores (KV). La caché almacena ese estado. Si la siguiente petición empieza con los mismos tokens, el servicio carga lo guardado y calcula solo la nueva cola. Los tokens leídos desde la caché cuestan bastante menos que los normales.

La petición de un agente consta de cuatro partes: la lista de herramientas, las instrucciones del desarrollador, el historial de la sesión y el nuevo turno. Las dos primeras cambian solo con una nueva versión, el historial crece y la última parte es distinta en cada ocasión. De ahí se desprende una regla práctica: todo lo estable va al principio, y todo lo variable (la fecha, el nombre de usuario, el ID de la petición) va después de las instrucciones cacheables. La caché solo se activa con una coincidencia exacta del texto, por lo que las herramientas deben serializarse de forma idéntica en cada petición, también cuando llegan desde servidores MCP.

Hay dos modos. En el modo implícito, Bedrock decide por sí mismo dónde termina el inicio reutilizable de la petición. En el modo explícito, usted coloca una etiqueta prompt_cache_breakpoint allí donde quiere que termine el almacenamiento.

AWS recomienda combinar ambos: una etiqueta explícita tras las instrucciones crea un punto de partida común para distintas sesiones y agentes auxiliares, mientras que el modo implícito cachea automáticamente la conversación en crecimiento. Hay que tener en cuenta el tamaño mínimo: el prefijo cacheable no puede ser más corto de 1024 tokens. En los ejemplos, la vida útil de la caché es de 30 minutos, y el parámetro prompt_cache_key indica al servicio qué peticiones deben compartir una misma caché.

El parámetro store=False desactiva el almacenamiento de las respuestas, pero no la caché: el historial sigue en su aplicación.

Las cifras de la prueba

En una de las pruebas, el prefijo formado por las herramientas y las instrucciones ocupaba unos 4000 tokens. En la primera petición se escribieron 4120 tokens y, en las siguientes, esos mismos 4120 tokens se leyeron desde la caché. La tarea del usuario se sitúa después del límite de la caché, por lo que no se crea una nueva escritura por su causa.

En la carga de seis turnos, GPT-6 Astra mostró el mejor resultado del modo implícito: un coste de entrada aproximadamente un 62 % inferior al de funcionar sin caché. Las etiquetas explícitas móviles dieron cerca de un 61 % con el mismo modelo. En ambos casos, la caché reutilizó cada vez más historial a medida que la conversación crecía. AWS aclara que estas son las cifras de una carga concreta y que el ahorro de su propio agente debe medirlo usted mismo. La respuesta de la API incluye para ello los contadores cached_tokens y cache_write_tokens.

Errores habituales y qué hacer

El primer error afecta solo al modo explícito. Si se deja una única etiqueta estática, las herramientas y las instrucciones se cachean, pero el historial creciente se vuelve a procesar en cada turno. El segundo: mover la única etiqueta hacia delante. En ese caso, la caché puede no reutilizarse, así que conviene mantener las etiquetas de los turnos anteriores en el historial. El tercero está relacionado con el modo implícito y con las tareas cambiantes. Una nueva tarea no coincide con el prefijo anterior y, sin una etiqueta explícita tras las instrucciones comunes, el prefijo común corto no se guarda como entrada independiente.

Hay también una limitación: las cifras del artículo proceden de un solo modelo y de una única carga de seis turnos. En un agente con respuestas de herramientas largas o con ediciones frecuentes del prompt, el ahorro será distinto.

Qué debe hacer el desarrollador de agentes. En primer lugar, ordene el prompt: lo estable al principio, lo variable al final y una serialización de herramientas idéntica. En segundo lugar, use ambos esquemas a la vez: una etiqueta explícita tras las instrucciones y el modo implícito para el historial. En tercer lugar, registre desde el primer momento la proporción de tokens leídos desde la caché. Si es baja, algo del texto al inicio de la petición está cambiando, y usted está pagando de más en cada turno.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona la caché y qué conviene guardar en ella?

Antes de responder, el modelo procesa todo el texto de entrada y construye a partir de él un estado de trabajo: un conjunto de claves y valores (KV). La caché almacena ese estado. Si la siguiente petición empieza con los mismos tokens, el servicio carga lo guardado y calcula solo la nueva cola. Los tokens leídos desde la caché cuestan bastante menos que los normales.

¿Qué se sabe sobre Las cifras de la prueba?

En una de las pruebas, el prefijo formado por las herramientas y las instrucciones ocupaba unos 4000 tokens. En la primera petición se escribieron 4120 tokens y, en las siguientes, esos mismos 4120 tokens se leyeron desde la caché. La tarea del usuario se sitúa después del límite de la caché, por lo que no se crea una nueva escritura por su causa. En la carga de seis turnos, GPT-6 Astra mostró el mejor resultado del modo implícito: un coste de entrada aproximadamente un 62 % inferior al de funcionar sin caché.

¿Qué se sabe sobre Errores habituales y qué hacer?

El primer error afecta solo al modo explícito. Si se deja una única etiqueta estática, las herramientas y las instrucciones se cachean, pero el historial creciente se vuelve a procesar en cada turno. El segundo: mover la única etiqueta hacia delante. En ese caso, la caché puede no reutilizarse, así que conviene mantener las etiquetas de los turnos anteriores en el historial. El tercero está relacionado con el modo implícito y con las tareas cambiantes.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…