AWS: cache de prompts reduziu em 62% o custo dos tokens de entrada de um agente de IA
A cada etapa, o agente reenvia ao modelo todas as ferramentas, instruções e o histórico, e você paga por esses tokens de novo. A AWS mostrou, com modelos da OpenAI no Bedrock, como o cache guarda o início da requisição que não muda e cobra só uma fração do preço por ele. No teste de seis turnos com GPT-6 Astra, o custo dos tokens de entrada caiu cerca de 62% em relação a uma execução sem cache. Por isso, coloque ferramentas e instruções no início do prompt e a data e o ID da requisição no final.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine que o seu agente de IA acorda todo dia como o protagonista de "Feitiço do Tempo" e não se lembra de nada. Na prática é isso: o modelo não tem memória entre as requisições. A cada etapa (chamar uma ferramenta, ler o resultado, decidir o que fazer em seguida), o agente reenvia ao modelo todo o histórico: as descrições das ferramentas, as instruções, cada chamada anterior e cada resultado.
Na vigésima etapa de uma sessão de programação, o modelo relê os turnos de um a dezenove, e você paga por cada um desses tokens de entrada repetidamente. A AWS mostrou, em seu blog, como resolver isso com cache de prompts em modelos da OpenAI no Amazon Bedrock. No teste de seis turnos com GPT-6 Astra, o custo dos tokens de entrada ficou cerca de 62% menor do que sem cache.
Como o cache funciona e o que colocar nele
Antes de responder, o modelo processa todo o texto de entrada e constrói a partir dele um estado de trabalho: um conjunto de chaves e valores (KV). O cache armazena esse estado. Se a requisição seguinte começa com os mesmos tokens, o serviço carrega o estado salvo e calcula apenas a parte nova no final. Os tokens lidos do cache custam bem menos que os tokens comuns.
A requisição de um agente tem quatro partes: a lista de ferramentas, as instruções do desenvolvedor, o histórico da sessão e o novo turno. As duas primeiras mudam apenas com um lançamento, o histórico cresce e a última parte é diferente a cada vez. Daí vem a regra prática: tudo o que é estável vai para o início, e tudo o que é variável (data, nome do usuário, ID da requisição) fica depois das instruções em cache. O cache só é acionado com correspondência exata do texto, por isso as ferramentas precisam ser serializadas da mesma forma em cada requisição, inclusive quando vêm de servidores MCP.
Há dois modos. No modo implícito, o Bedrock decide sozinho onde termina o início reutilizável da requisição. No modo explícito, você coloca um marcador prompt_cache_breakpoint no ponto em que quer encerrar o armazenamento.
A AWS recomenda combinar os dois: o marcador explícito após as instruções cria um ponto de partida comum para diferentes sessões e agentes auxiliares, enquanto o modo implícito armazena em cache a conversa que cresce. É preciso respeitar o tamanho mínimo: o prefixo em cache deve ter no mínimo 1024 tokens. Nos exemplos, o cache dura 30 minutos, e o parâmetro prompt_cache_key indica ao serviço quais requisições devem compartilhar um mesmo cache.
O parâmetro store=False desativa o armazenamento das respostas, mas não desliga o cache: o histórico continua na sua aplicação.
Os números do teste
Em um dos testes, o prefixo formado por ferramentas e instruções ocupava cerca de 4000 tokens. Na primeira requisição, foram gravados 4120 tokens; nas seguintes, os mesmos 4120 tokens foram lidos do cache. A pergunta do usuário fica depois do limite do cache, por isso ela não gera uma nova gravação.
Na carga de seis turnos, o GPT-6 Astra apresentou o melhor resultado no modo implícito: o custo de entrada ficou cerca de 62% abaixo do que sem cache. Os marcadores explícitos deslizantes deram cerca de 61% com o mesmo modelo. Nos dois casos, o cache reaproveitou cada vez mais histórico conforme a conversa crescia. A AWS faz uma ressalva: esses números são de uma carga específica, e a economia do seu próprio agente deve ser medida por você. Para isso, a resposta da API traz os contadores cached_tokens e cache_write_tokens.
Erros comuns e o que fazer
O primeiro erro é específico do modo explícito. Se você mantiver um único marcador fixo, ferramentas e instruções ficam em cache, mas o histórico que cresce é reprocessado a cada turno. O segundo: mover o único marcador para frente a cada turno. Nesse caso, o cache pode não ser reutilizado, por isso é melhor manter os marcadores dos turnos anteriores no histórico. O terceiro está ligado ao modo implícito e a tarefas que mudam: uma nova tarefa não coincide com o prefixo antigo, e sem um marcador explícito após as instruções comuns, o prefixo curto compartilhado não será salvo como entrada separada.
Há também uma limitação: os números do artigo foram obtidos com um único modelo e uma única carga de seis turnos. Em um agente com respostas longas de ferramentas ou com edições frequentes no prompt, a economia será outra.
O que fazer como desenvolvedor de agentes. Primeiro, organize o prompt: o estável no início, o variável no final, e serialização idêntica das ferramentas. Segundo, use os dois esquemas juntos: um marcador explícito após as instruções e o modo implícito para o histórico. Terceiro, registre desde já a fração de tokens lidos do cache. Se ela estiver baixa, algum texto no início da requisição está mudando, e você está pagando mais por cada turno.
- 22 de nov. de 2026Analistas fizeram as contas: em 2028, 87% da energia da Anthropic virá do gás e 11% do carvão
- 22 de nov. de 2026AWS Quick ganhou conector para o Meta Ads: campanhas e relatórios por comando de texto
- 22 de nov. de 2026Projeto paralelo do LangChain virou startup avaliada em US$ 3 bilhões e captou US$ 300 milhões
- 21 de nov. de 2026A Amazon liberou o agente de IA AWS Quick com Claude de graça; o plano pago Plus custa US$ 25 por mês
Perguntas frequentes sobre a notícia
Como o cache funciona e o que colocar nele?
Antes de responder, o modelo processa todo o texto de entrada e constrói a partir dele um estado de trabalho: um conjunto de chaves e valores (KV). O cache armazena esse estado. Se a requisição seguinte começa com os mesmos tokens, o serviço carrega o estado salvo e calcula apenas a parte nova no final. Os tokens lidos do cache custam bem menos que os tokens comuns. A requisição de um agente tem quatro partes: a lista de ferramentas, as instruções do desenvolvedor, o histórico da sessão e o novo turno.
O que se sabe sobre Os números do teste?
Em um dos testes, o prefixo formado por ferramentas e instruções ocupava cerca de 4000 tokens. Na primeira requisição, foram gravados 4120 tokens; nas seguintes, os mesmos 4120 tokens foram lidos do cache. A pergunta do usuário fica depois do limite do cache, por isso ela não gera uma nova gravação. Na carga de seis turnos, o GPT-6 Astra apresentou o melhor resultado no modo implícito: o custo de entrada ficou cerca de 62% abaixo do que sem cache.
O que se sabe sobre Erros comuns e o que fazer?
O primeiro erro é específico do modo explícito. Se você mantiver um único marcador fixo, ferramentas e instruções ficam em cache, mas o histórico que cresce é reprocessado a cada turno. O segundo: mover o único marcador para frente a cada turno. Nesse caso, o cache pode não ser reutilizado, por isso é melhor manter os marcadores dos turnos anteriores no histórico.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.