Amazon Bedrock adiciona cache explícito de prompts para modelos abertos
Se o seu aplicativo envia a cada requisição uma instrução longa ou uma documentação inteira, você paga pelo processamento dessas informações repetidamente. O Amazon Bedrock para modelos abertos agora oferece cache explícito de prompts: o prefixo comum é processado uma vez e depois lido do cache, com preço reduzido e mais velocidade. Há dois modos: o implícito funciona sozinho, enquanto o explícito exige marcações que definem até onde o cache deve ir. Por isso, o recomendado é colocar todo o conteúdo estático no início do prompt e o que muda no final.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
A maioria dos aplicativos de IA envia ao modelo, a cada requisição, sempre o mesmo conteúdo: a instrução do sistema, documentos de referência, descrições de ferramentas e o histórico da conversa. Você paga pelo processamento desse trecho repetido a cada vez e também espera por ele a cada vez. O Amazon Bedrock para modelos abertos (open-weight) agora oferece suporte a cache explícito de prompts. Isso permite calcular o prefixo comum uma única vez e, depois, lê-lo do cache, com custo menor e mais velocidade.
Como funciona
O princípio é simples. Se uma nova requisição começa com o mesmo texto da anterior, o Bedrock recupera o início do cache e processa apenas o que vem depois. A leitura do cache é cobrada abaixo do preço do token de entrada comum. Em alguns modelos, a escrita no cache custa mais do que a entrada padrão, por isso os valores exatos devem ser conferidos na tabela de preços de cada modelo. Quanto mais longo for o contexto repetido e quanto mais vezes ele for reutilizado, maior será a economia.
Existem dois modos. O implícito (implicit) não exige mudanças nas requisições: o Bedrock escolhe os prefixos adequados por melhor esforço. Ele é indicado para diálogos e loops de agentes, nos quais cada requisição seguinte contém a anterior. O explícito (explicit) é para quando você quer decidir o que será armazenado em cache. Para isso, na Chat Completions API, envia-se prompt_cache_options com o modo explicit e posiciona-se o marcador prompt_cache_breakpoint na parte de texto após a qual o cache termina. Tudo até o marcador (inclusive) é gravado no cache; tudo depois dele é processado novamente. Podem ser usados vários marcadores se as camadas mudam com frequências diferentes, por exemplo, instruções gerais seguidas por um documento específico de cada cliente.
Atenção: um marcador sem o modo explícito funciona como cache implícito, e o modo explícito sem marcador não armazena nada em cache. Os parâmetros devem ser definidos juntos.
Exemplo: assistente de suporte de um filtro de água
A AWS demonstra isso com um assistente fictício para o filtro AquaPure 500. O prompt do sistema contém uma instrução e um manual do usuário de cerca de 4.000 tokens, e cada requisição traz uma nova pergunta do cliente. Se o modelo tiver um comprimento mínimo de prefixo, o manual deve ser complementado até atingi-lo; para o teste, um texto de preenchimento serve, já que o cache depende apenas da coincidência do prefixo.
O cliente é o SDK padrão da OpenAI apontado para o endpoint do Bedrock. A autenticação usa uma chave de API de curta duração (de até 12 horas), gerada pela função provide_token(), de modo que não é preciso armazenar chaves de longa duração. Na resposta, o campo usage.prompt_tokens_details mostra quantos tokens foram lidos do cache (cached_tokens) e quantos foram gravados (cache_write_tokens).
No modo implícito, o quadro é este: a primeira chamada grava o prompt no cache; a segunda e a terceira leem a instrução e o manual do cache, mas gravam alguns tokens adicionais, porque o prefixo se estende com a nova pergunta. No modo explícito, apenas a primeira chamada grava; as seguintes não gravam nada, e a pergunta posterior ao marcador permanece como parte não armazenada em cache. Isso compensa quando a escrita custa mais do que a leitura e você não quer pagar para armazenar perguntas que não vão se repetir.
Um detalhe importante: no modo implícito, o manual e a pergunta devem ficar em mensagens separadas (system e user). Quando a AWS enviou ambos numa única mensagem do usuário, não houve acertos no cache.
Agente de programação OpenCode
Os agentes de programação reenviam, a cada etapa, um grande prefixo estável: prompt do sistema, descrições de ferramentas e histórico. Por isso, eles se encaixam naturalmente no cache implícito. A AWS conectou o agente de código aberto OpenCode (versão 1.
18.35) por meio de um provedor personalizado compatível com a OpenAI, apontado para o mesmo endpoint. Numa sessão de três turnos, a primeira requisição processa o prompt inteiro e o grava no cache; as seguintes leem tudo até o fim da requisição anterior e processam apenas a nova parte final.
Não foi necessário configurar nada para o cache funcionar. Uma limitação: esta versão do OpenCode não registra cache_write_tokens para esse tipo de provedor, então o campo cache.write permanece zerado.
Os gráficos do artigo são ilustrativos, e a AWS não apresenta percentuais concretos de economia.
O que fazer na prática
- Coloque o conteúdo estático no início do prompt: instrução do sistema, ferramentas, documentos. Carimbos de data e hora e IDs de requisição devem ir para o final.
- Verifique se o prefixo é longo o suficiente: cada modelo tem um limite mínimo de tokens.
- Acompanhe os campos de usage em cada resposta e, para a carga total, as métricas CacheReadInputTokenCount e CacheWriteInputTokenCount.
- Mantenha o cache aquecido: o tempo de vida (TTL) é renovado a cada acerto, e, após uma pausa maior que o TTL, o prefixo precisará ser gravado novamente.
- Armazene em cache apenas o que de fato se repete. Na inferência entre regiões, em horários de pico, podem ocorrer gravações adicionais no cache.
O suporte aos modos, o comprimento mínimo do prefixo, o número de marcadores e o TTL dependem do modelo e da região, por isso consulte antes a ficha do modelo. Segundo a AWS, prompts e respostas não são repassados ao fornecedor do modelo nem usados para treinamento.
- 21 de nov. de 2026AG-UI 1.0 dá aos agentes de IA uma linguagem única para falar com o aplicativo: 31 tipos de eventos
- 21 de nov. de 2026OpenAI lança o ChatGPT Wallet: agentes compram sem nunca ver o número do cartão
- 21 de nov. de 2026Anunciantes dos EUA gastaram US$ 70,7 milhões em anúncios no ChatGPT em outubro, 127% a mais que em abril
- 21 de nov. de 2026ONNX Runtime some do GitHub: Microsoft oculta repositórios após comprometimento de pacote
Perguntas frequentes sobre a notícia
Como funciona?
O princípio é simples. Se uma nova requisição começa com o mesmo texto da anterior, o Bedrock recupera o início do cache e processa apenas o que vem depois. A leitura do cache é cobrada abaixo do preço do token de entrada comum. Em alguns modelos, a escrita no cache custa mais do que a entrada padrão, por isso os valores exatos devem ser conferidos na tabela de preços de cada modelo. Quanto mais longo for o contexto repetido e quanto mais vezes ele for reutilizado, maior será a economia. Existem dois modos.
O que se sabe sobre Exemplo: assistente de suporte de um filtro de água?
A AWS demonstra isso com um assistente fictício para o filtro AquaPure 500. O prompt do sistema contém uma instrução e um manual do usuário de cerca de 4.000 tokens, e cada requisição traz uma nova pergunta do cliente. Se o modelo tiver um comprimento mínimo de prefixo, o manual deve ser complementado até atingi-lo; para o teste, um texto de preenchimento serve, já que o cache depende apenas da coincidência do prefixo. O cliente é o SDK padrão da OpenAI apontado para o endpoint do Bedrock.
O que se sabe sobre Agente de programação OpenCode?
Os agentes de programação reenviam, a cada etapa, um grande prefixo estável: prompt do sistema, descrições de ferramentas e histórico. Por isso, eles se encaixam naturalmente no cache implícito. A AWS conectou o agente de código aberto OpenCode (versão 1.18.35) por meio de um provedor personalizado compatível com a OpenAI, apontado para o mesmo endpoint.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.