Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarAWS Machine Learning Blog→ original

Accenture reduz em 40–85% os gastos de clientes com tokens no Bedrock

O preço do token cai, mas a conta de IA sobe: os agentes fazem várias chamadas ao modelo onde antes bastava uma. Em quatro projetos de clientes, AWS e Accenture mostraram como reduzir os gastos em 40–85%, por exemplo deixando de pagar de novo pela mesma instrução longa a cada requisição. Uma operadora de telecom baixou os custos de $12 milhões para $3,8 milhões por ano (−68%). Comece pelas tags de custo e ative as técnicas uma a uma, medindo a qualidade.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Accenture reduz em 40–85% os gastos de clientes com tokens no Bedrock
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Cache de promptsaté 90% de desconto na entrada repetida
Dado-chave #2Processamento em lote de tarefas não urgentes custa 50% menos
Cache semântico no teste da AWS72,5% de economia, 92,3% de precisão

O token fica mais barato, mas a conta de IA continua subindo. Tokens baratos atraem novas tarefas, e os agentes fazem várias chamadas ao modelo onde antes bastava uma. Imagine um chatbot de suporte com uma longa instrução de sistema: ela vai para o modelo a cada mensagem, e você paga pelo processamento dela toda vez.

Multiplique isso por milhares de conversas, e o consumo supera a queda de preços. É esse problema que a AWS e a consultoria Accenture propõem atacar na plataforma Amazon Bedrock. As duas descreveram seis técnicas de economia e, em quatro projetos de clientes (telecomunicações, seguros, mineração e uma grande implantação corporativa), o gasto com tokens, onde foi possível medir, caiu cerca de 40–85%.

Se você paga por APIs de modelos, é um roteiro pronto de ações. O próprio setor já considera o tema relevante: a Linux Foundation lançou a Tokenomics Foundation, voltada a padrões abertos para a economia da IA.

Primeiro, entender quem gasta e com o quê

Sem marcação, a fatura da AWS mostra a IA em uma única linha, sem divisão por equipes, agentes e modelos. Por isso, o primeiro passo é o controle de custos. Para cada aplicação, cria-se um application inference profile separado e o marca com tags: equipe, centro de custo, ambiente. Depois, as tags são ativadas como cost allocation tags no console do AWS Billing and Cost Management.

Os dados vêm de três fontes. Os relatórios Cost and Usage Reports (CUR 2.0) mostram quanto dinheiro foi gasto em cada carga de trabalho e em cada equipe. O CloudWatch contabiliza chamadas e latências. O log de invocações do Bedrock registra o modelo e o número de tokens de entrada e de saída em cada requisição.

Para as equipes de produto, a Accenture propõe a métrica Cost per Business Transaction (CpBT): o custo total de um resultado de negócio bem-sucedido. Ela inclui todas as chamadas ao modelo, novas tentativas, acessos a ferramentas e repasses entre agentes. Assim, fica visível o custo das tentativas fracassadas, que o preço por token esconde.

Seis técnicas em três fases

Fase 1: apenas configurações. O cache de prompts permite não pagar o preço cheio pelas partes repetidas da requisição: instruções de sistema, descrições de ferramentas, documentos de referência. A AWS promete desconto de até 90% na entrada em cache para os modelos compatíveis. O processamento em lote (batch inference) executa tarefas não urgentes de forma assíncrona e custa 50% menos que o modo normal para vários modelos. É indicado para relatórios noturnos, processamento de documentos e rodadas de avaliação de qualidade.

Fase 2: arquitetura. O intelligent prompt routing envia as requisições simples para modelos menores da mesma família e promete até 30% de economia sem perda de precisão. Vale conferir na tabela de preços o custo do próprio roteamento. A segunda técnica é a otimização de RAG (quando o modelo responde com base em documentos recuperados): divisão hierárquica dos documentos em trechos, filtros por metadados e reranqueamento, para que só os trechos relevantes cheguem ao modelo. A Accenture acrescenta duas técnicas próprias: cada agente recebe apenas o seu fragmento dos documentos, e os documentos são comprimidos antes de serem enviados ao modelo.

Fase 3: infraestrutura e treinamento. O cache semântico devolve uma resposta armazenada a uma pergunta parecida, mesmo que a formulação seja diferente. Na AWS, ele é montado sobre um banco vetorial, como o Amazon ElastiCache, na frente do modelo.

No teste da AWS com 63 796 requisições reais a um chatbot, com limiar de similaridade de 90%, o cache foi acionado em 74,5% dos casos, a precisão foi de 92,3% e a economia, de 72,5%. A destilação transfere o conhecimento de um modelo grande para um pequeno. Segundo a AWS, esses modelos no Bedrock são até 500% mais rápidos e até 75% mais baratos que o original, e a precisão cai menos de 2% em tarefas como RAG.

Compensa em tarefas estáveis e de grande volume.

O que os clientes conseguiram

Um grande cliente corporativo enviava todas as requisições ao modelo mais potente, sem cache nem lotes. A Accenture ativou ao mesmo tempo a divisão de tarefas entre modelos, o cache de prompts e o processamento em lote. O gasto mensal com tokens caiu 85%. Cerca de 15% das tarefas continuaram exigindo o modelo de ponta.

A operadora de telecom gastava $12 milhões por ano: agentes sem limites geravam requisições em excesso, e tudo ia para o modelo mais potente. Após o roteamento por complexidade, o cache semântico e a compressão de contexto, os tokens de entrada diminuíram 70%, e o gasto anual caiu para $3,8 milhões (−68%). A qualidade foi comparada com os testes internos que a operadora já usava.

A seguradora ativou o cache de prefixo no nível do modelo, e a mineradora, o cache semântico na aplicação. Juntas, economizaram cerca de 40% sem trocar de modelo e sem treinamento.

As ressalvas importam. Trata-se de um blog de fornecedor, os nomes dos clientes estão ocultos e, em dois projetos, as técnicas foram introduzidas ao mesmo tempo, então a contribuição de cada uma é desconhecida. Os resultados dependem da carga de trabalho.

O que fazer na prática

Aplique as tags, encontre as cargas mais caras pelo CUR 2.0 e pelo log de invocações, ative o cache para o tráfego interativo e o batch para o assíncrono. Antes de qualquer mudança, registre o custo e a qualidade de referência e verifique-os em uma amostra reservada de tráfego real, não em dados sintéticos. Mude uma técnica por vez, para poder reverter. Em setores regulados, documente os resultados dos testes e o plano de reversão. Com roteamento e cache semântico, mantenha o Guardrails em cada caminho e defina um prazo de validade para o cache, para que os usuários não recebam respostas desatualizadas.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Primeiro, entender quem gasta e com o quê?

Sem marcação, a fatura da AWS mostra a IA em uma única linha, sem divisão por equipes, agentes e modelos. Por isso, o primeiro passo é o controle de custos. Para cada aplicação, cria-se um application inference profile separado e o marca com tags: equipe, centro de custo, ambiente. Depois, as tags são ativadas como cost allocation tags no console do AWS Billing and Cost Management. Os dados vêm de três fontes.

O que se sabe sobre Seis técnicas em três fases?

Fase 1: apenas configurações. O cache de prompts permite não pagar o preço cheio pelas partes repetidas da requisição: instruções de sistema, descrições de ferramentas, documentos de referência. A AWS promete desconto de até 90% na entrada em cache para os modelos compatíveis. O processamento em lote (batch inference) executa tarefas não urgentes de forma assíncrona e custa 50% menos que o modo normal para vários modelos.

O que os clientes conseguiram?

Um grande cliente corporativo enviava todas as requisições ao modelo mais potente, sem cache nem lotes. A Accenture ativou ao mesmo tempo a divisão de tarefas entre modelos, o cache de prompts e o processamento em lote. O gasto mensal com tokens caiu 85%. Cerca de 15% das tarefas continuaram exigindo o modelo de ponta. A operadora de telecom gastava $12 milhões por ano: agentes sem limites geravam requisições em excesso, e tudo ia para o modelo mais potente.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…