ArisGlobal cortou 40% da conta de IA ao cachear o prompt comum em vez do PDF
A IA da ArisGlobal analisa relatórios de efeitos adversos de medicamentos, e o prompt comum para as farmacêuticas cresceu de 72 mil para 180 mil tokens. No início, a empresa cacheava o PDF de 10 a 200 páginas, mas ele é único em cada caso. Agora as regras comuns vêm primeiro, 65% dos tokens de entrada saem do cache e a conta de inferência caiu cerca de 40%. A conclusão: cacheie o que se repete, não o que é maior.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Se você desenvolve um produto de IA para vários clientes corporativos, conhece o problema: o prompt de sistema vai inchando com o tempo. Cada cliente traz suas próprias regras e exemplos, e o modelo os lê de novo a cada requisição, cobrando por isso. A ArisGlobal, fornecedora de software para a indústria farmacêutica, contou no blog da AWS como reduziu em cerca de 40% a conta mensal de inferência (o trabalho do modelo).
Ela não encurtou o prompt: mudou a ordem das suas partes. O Amazon Bedrock consegue cachear o início da requisição: se a requisição seguinte começa com o mesmo texto, esse trecho é lido do cache por um preço reduzido. Antes, a ArisGlobal cacheava o documento PDF, que muda a cada caso, e pagava o preço cheio pelas instruções comuns.
Agora 65% dos tokens de entrada vêm do cache, e o preço efetivo da entrada caiu cerca de 50%.
De onde veio o aumento da conta
O mecanismo de IA NavaX, da ArisGlobal, roda no Amazon Bedrock com modelos Claude. Ele processa comunicações de reações adversas a medicamentos, que chegam em PDFs de 10 a 200 páginas. Desse documento, o agente extrai cerca de 130 campos: dados do paciente, medicamento suspeito, cronologia dos eventos, critérios de gravidade e classificação regulatória. Ele faz isso em uma série de requisições, e cada uma cuida de uma seção do formulário.
Quatro blocos se repetem em toda requisição: instruções de sistema, regras da farmacêutica específica, esquema de extração com exemplos e o próprio documento. Enquanto havia um só cliente, o prompt era compacto. Depois chegaram novos clientes, cada um com exigências próprias: como registrar o início da reação, qual formato usar para a UE, a FDA ou o regulador japonês, como avaliar a gravidade do caso. Em 6 meses, a parte comum do prompt cresceu de 72 mil para 180 mil tokens, ou seja, 150%. O custo de processar um caso subiu mais de 200%, porque essa parte era reprocessada a cada requisição.
O que mudou
O cache do Bedrock funciona por prefixo: é cacheado um trecho contínuo, do início da requisição até um ponto de controle (checkpoint). Tudo o que vem depois desse ponto é cobrado pelo preço cheio. A equipe começou cacheando, de forma lógica, o maior bloco, o documento, e o colocava em primeiro lugar. Dentro de um mesmo caso, isso funcionava: a primeira requisição gravava o PDF no cache, e as demais o liam por um preço baixo. Mas o caso seguinte trazia outro PDF, e o cache recomeçava do zero. Enquanto isso, o prompt comum inchado ficava depois do ponto de controle e era pago por inteiro em cada requisição.
O novo esquema reorganizou os blocos. Primeiro vem o prefixo comum: regras de sistema, esquema e exemplos. Depois, o ponto de controle e, só então, o documento e a pergunta sobre a seção específica. O mesmo checkpoint agora gera um cache que é lido por todas as requisições, todos os casos e todos os clientes que usam esse agente. A regra simples que o artigo traz: cacheie o que se repete, não o que é maior. Um documento de 200 páginas é grande, mas quase não é reaproveitado.
Por padrão, o cache dura 5 minutos, e cada acerto prolonga o prazo. Em contas ativas, um novo caso chega mais ou menos a cada 5 minutos por cliente, e há vários clientes, então o prefixo comum se mantém "quente" durante o horário de trabalho. Em parte dos modelos, é possível escolher um TTL de 1 hora.
Números e limitações
Segundo dados da ArisGlobal repassados à AWS, com volume acima de 19 bilhões de tokens por mês, o resultado foi este:
- 65% dos tokens de entrada de uma requisição típica vêm do cache;
- o preço efetivo da entrada ficou cerca de 50% menor;
- a conta mensal total de inferência ficou cerca de 40% menor;
- a latência das requisições em cache diminuiu em até 25%;
- cerca de 15% mais clientes corporativos foram conectados à plataforma, sem aumento proporcional dos custos.
O roteamento dentro da UE por inferência entre regiões (cross-region) continua o mesmo. No CloudWatch, a leitura do cache nos períodos de pico é cerca de 10 vezes maior que a gravação.
Há ressalvas. Os dados são da própria empresa, e a AWS afirma explicitamente que o resultado depende da estrutura do prompt, do tráfego e da taxa de acertos no cache. A equipe abriu mão de reaproveitar o documento dentro do caso, então o PDF agora é processado pelo preço cheio em cada requisição. Um segundo checkpoint depois do documento não é necessário: essa gravação seria única para um só caso. Para o Claude Sonnet 4.5, o tamanho mínimo do prefixo cacheável é de 1 024 tokens, e a requisição admite até quatro checkpoints.
O que fazer na prática
Coloque no início da requisição tudo o que é estável: descrições de ferramentas, instruções de sistema, esquemas e exemplos. Deixe os dados do cliente, o documento e a pergunta depois do ponto de controle. Garanta que o prefixo seja idêntico byte a byte: um carimbo de data e hora, um ID aleatório ou uma ordem diferente das ferramentas causam falha de cache (cache miss). Por fim, acompanhe no CloudWatch a leitura e a gravação do cache. Se a taxa de acertos cair de forma persistente abaixo do seu nível habitual (na ArisGlobal, 65%), algo quebrou o prefixo.
Para equipes com agentes multicliente, a conclusão é direta: antes de cortar o prompt, verifique o que está antes do ponto de controle do cache. Reordenar os blocos não exige reescrever o pipeline e, em grandes volumes, se paga de imediato.
- 18 de nov. de 2026Agente de IA deixou o SOC com 27 minutos para reagir, contra 53 diante de um atacante júnior
- 18 de nov. de 2026Garry Tan removeu a skill /investigate: 50,0% contra 47,2% de sucesso, e cada correção custava 43% mais
- 18 de nov. de 2026Após banimento, autor roda equipe de agentes no Kimi, Codex e OpenCode: execução a partir de US$ 0,30
- 18 de nov. de 2026Plugin TokenEconomizer reduz em 18,4–30,9% o custo de agentes de IA para código sem trocar de modelo
Perguntas frequentes sobre a notícia
O que se sabe sobre De onde veio o aumento da conta?
O mecanismo de IA NavaX, da ArisGlobal, roda no Amazon Bedrock com modelos Claude. Ele processa comunicações de reações adversas a medicamentos, que chegam em PDFs de 10 a 200 páginas. Desse documento, o agente extrai cerca de 130 campos: dados do paciente, medicamento suspeito, cronologia dos eventos, critérios de gravidade e classificação regulatória. Ele faz isso em uma série de requisições, e cada uma cuida de uma seção do formulário.
O que mudou?
O cache do Bedrock funciona por prefixo: é cacheado um trecho contínuo, do início da requisição até um ponto de controle (checkpoint). Tudo o que vem depois desse ponto é cobrado pelo preço cheio. A equipe começou cacheando, de forma lógica, o maior bloco, o documento, e o colocava em primeiro lugar. Dentro de um mesmo caso, isso funcionava: a primeira requisição gravava o PDF no cache, e as demais o liam por um preço baixo. Mas o caso seguinte trazia outro PDF, e o cache recomeçava do zero.
O que se sabe sobre Números e limitações?
Segundo dados da ArisGlobal repassados à AWS, com volume acima de 19 bilhões de tokens por mês, o resultado foi este: 65% dos tokens de entrada de uma requisição típica vêm do cache; o preço efetivo da entrada ficou cerca de 50% menor; a conta mensal total de inferência ficou cerca de 40% menor; a latência das requisições em cache diminuiu em até 25%; cerca de 15% mais clientes corporativos foram conectados à plataforma, sem aumento proporcional dos custos.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.