Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarAWS Machine Learning Blog→ original

Amazon Bedrock añade caché explícita de prompts para modelos abiertos

Si su aplicación envía en cada petición una instrucción larga o documentación, paga de nuevo por su procesamiento una y otra vez. Amazon Bedrock para modelos abiertos ahora admite caché explícita de prompts: el prefijo común se calcula una sola vez y después se lee desde la caché a un precio reducido y con más velocidad. Hay dos modos: el implícito funciona solo, mientras que el explícito requiere una marca de «cachear hasta aquí». Por eso conviene colocar al principio todo lo estático y al final lo que cambia.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Amazon Bedrock añade caché explícita de prompts para modelos abiertos
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1El modo explícito se activa con el campo prompt_cache_options y el marcador prompt_cache_breakpoint
Dato clave #2La lectura desde la caché se factura por debajo de la entrada normal; en algunos modelos, la escritura en caché cuesta más
Dato clave #3OpenCode funciona con la caché implícita sin configuración: cada paso procesa solo la nueva «cola»

La mayoría de las aplicaciones de IA envían a la modelo en cada petición lo mismo: la instrucción de sistema, los documentos de referencia, las descripciones de las herramientas y el historial de la conversación. Usted paga por procesar ese fragmento repetido cada vez y también cada vez espera. Amazon Bedrock para modelos abiertos (open-weight) ahora admite caché explícita de prompts. Esto permite calcular el prefijo común una sola vez y leerlo después desde la caché, a un precio menor y más rápido.

Cómo funciona

El principio es sencillo. Si una nueva petición empieza con el mismo texto que la anterior, Bedrock toma el comienzo desde la caché y procesa solo lo que viene después. La lectura desde la caché se factura por debajo del token de entrada normal. En algunos modelos, la escritura en caché cuesta más que la entrada estándar, así que las tarifas exactas deben consultarse en la lista de precios de cada modelo. Cuanto más largo sea el contexto repetido y más a menudo se use, mayor será el ahorro.

Hay dos modos. El implícito (implicit) no requiere cambios en las peticiones: Bedrock elige por sí mismo los prefijos adecuados con un criterio de best effort. Encaja bien en diálogos y bucles de agentes, donde cada petición siguiente contiene la anterior.

El explícito (explicit) sirve cuando usted quiere decidir qué cachear. Para ello se pasa prompt_cache_options con el modo explicit en la API de Chat Completions y se coloca el marcador prompt_cache_breakpoint en la parte de texto tras la que termina la caché. Todo lo anterior al marcador (incluido este) se escribe en la caché, y todo lo posterior se procesa de nuevo.

Se pueden poner varios marcadores si las capas cambian con frecuencias distintas: por ejemplo, primero las instrucciones generales y después el documento de un cliente concreto.

Matiz: el marcador sin el modo explícito funciona como caché implícita, y el modo explícito sin marcador no cachea nada. Ambos parámetros deben configurarse juntos.

Ejemplo: asistente de soporte para un filtro de agua

AWS lo muestra con un asistente ficticio para el filtro AquaPure 500. En el prompt de sistema hay una instrucción y un manual de usuario de unos 4000 tokens, y cada petición plantea una nueva pregunta del cliente. Si el modelo tiene una longitud mínima de prefijo, el manual debe ampliarse hasta alcanzarla: para la prueba basta con un texto de relleno, ya que a la caché solo le importa la coincidencia del prefijo.

El cliente es el SDK estándar de OpenAI apuntando al endpoint de Bedrock. La autenticación se realiza con una clave de API de corta duración (hasta 12 horas), que genera la función provide_token(), de modo que no hace falta guardar claves de larga duración. En la respuesta, en usage.prompt_tokens_details se ve cuántos tokens se leyeron desde la caché (cached_tokens) y cuántos se escribieron (cache_write_tokens).

El resultado en modo implícito es el siguiente: la primera llamada escribe el prompt en la caché; la segunda y la tercera leen la instrucción y el manual desde la caché, pero añaden algunos tokens porque el prefijo se amplía con la nueva pregunta. En modo explícito solo escribe la primera llamada, y las repeticiones no escriben nada: la pregunta posterior al marcador queda como resto no cacheado. Esto resulta ventajoso cuando la escritura cuesta más que la lectura y no se quiere pagar por cachear preguntas que ya no se repetirán.

Un detalle importante: en modo implícito, el manual y la pregunta deben ir en mensajes distintos (system y user). Cuando AWS los envió en un único mensaje de usuario, no hubo aciertos de caché.

El agente de programación OpenCode

Los agentes de programación reenvían en cada paso un prefijo grande y estable: el prompt de sistema, las descripciones de las herramientas y el historial. Por eso encajan de forma natural con la caché implícita. AWS conectó el agente abierto OpenCode (versión 1.

18.35) mediante un proveedor personalizado compatible con OpenAI apuntando al mismo endpoint. En una sesión de tres turnos, la primera petición procesa todo el prompt y lo escribe en la caché, y las siguientes leen todo hasta el final de la petición anterior y solo procesan la nueva cola.

No hizo falta configurar nada para la caché. Limitación: esta versión de OpenCode no registra cache_write_tokens para ese proveedor, así que el campo cache.write aparece en cero.

Los gráficos del artículo están marcados como ilustrativos, es decir, AWS no aporta porcentajes concretos de ahorro.

Qué hacer en la práctica

  • Coloque lo estático al principio del prompt: instrucción de sistema, herramientas y documentos. Las marcas de tiempo y los identificadores de petición, al final.
  • Compruebe que el prefijo sea lo bastante largo: cada modelo tiene un umbral mínimo de tokens.
  • Revise los campos usage de cada respuesta y, para toda la carga, las métricas CacheReadInputTokenCount y CacheWriteInputTokenCount.
  • Mantenga la caché caliente: el tiempo de vida (TTL) se reinicia con cada acierto, y tras una pausa superior al TTL el prefijo tendrá que escribirse de nuevo.
  • Cachee solo lo que realmente se repite. Con la inferencia entre regiones en horas punta pueden producirse escrituras adicionales en la caché.

El soporte de los modos, la longitud mínima del prefijo, el número de marcadores y el TTL dependen del modelo y de la región, así que primero conviene consultar la ficha del modelo. Según AWS, los prompts y las respuestas no se transmiten al proveedor del modelo ni se usan para entrenar.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona?

El principio es sencillo. Si una nueva petición empieza con el mismo texto que la anterior, Bedrock toma el comienzo desde la caché y procesa solo lo que viene después. La lectura desde la caché se factura por debajo del token de entrada normal. En algunos modelos, la escritura en caché cuesta más que la entrada estándar, así que las tarifas exactas deben consultarse en la lista de precios de cada modelo. Cuanto más largo sea el contexto repetido y más a menudo se use, mayor será el ahorro. Hay dos modos.

¿Qué se sabe sobre Ejemplo: asistente de soporte para un filtro de agua?

AWS lo muestra con un asistente ficticio para el filtro AquaPure 500. En el prompt de sistema hay una instrucción y un manual de usuario de unos 4000 tokens, y cada petición plantea una nueva pregunta del cliente. Si el modelo tiene una longitud mínima de prefijo, el manual debe ampliarse hasta alcanzarla: para la prueba basta con un texto de relleno, ya que a la caché solo le importa la coincidencia del prefijo. El cliente es el SDK estándar de OpenAI apuntando al endpoint de Bedrock.

¿Qué se sabe sobre El agente de programación OpenCode?

Los agentes de programación reenvían en cada paso un prefijo grande y estable: el prompt de sistema, las descripciones de las herramientas y el historial. Por eso encajan de forma natural con la caché implícita. AWS conectó el agente abierto OpenCode (versión 1.18.35) mediante un proveedor personalizado compatible con OpenAI apuntando al mismo endpoint.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…