Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarAWS Machine Learning Blog→ original

ArisGlobal cortou 40% da conta de IA ao cachear o prompt comum em vez do PDF

A IA da ArisGlobal analisa relatórios de efeitos adversos de medicamentos, e o prompt comum para as farmacêuticas cresceu de 72 mil para 180 mil tokens. No início, a empresa cacheava o PDF de 10 a 200 páginas, mas ele é único em cada caso. Agora as regras comuns vêm primeiro, 65% dos tokens de entrada saem do cache e a conta de inferência caiu cerca de 40%. A conclusão: cacheie o que se repete, não o que é maior.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
ArisGlobal cortou 40% da conta de IA ao cachear o prompt comum em vez do PDF
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1O preço efetivo dos tokens de entrada caiu cerca de 50%
Dado-chave #2A latência das requisições em cache diminuiu em até 25%
Dado-chave #3A base de clientes cresceu 15% sem aumento proporcional dos custos

Se você desenvolve um produto de IA para vários clientes corporativos, conhece o problema: o prompt de sistema vai inchando com o tempo. Cada cliente traz suas próprias regras e exemplos, e o modelo os lê de novo a cada requisição, cobrando por isso. A ArisGlobal, fornecedora de software para a indústria farmacêutica, contou no blog da AWS como reduziu em cerca de 40% a conta mensal de inferência (o trabalho do modelo).

Ela não encurtou o prompt: mudou a ordem das suas partes. O Amazon Bedrock consegue cachear o início da requisição: se a requisição seguinte começa com o mesmo texto, esse trecho é lido do cache por um preço reduzido. Antes, a ArisGlobal cacheava o documento PDF, que muda a cada caso, e pagava o preço cheio pelas instruções comuns.

Agora 65% dos tokens de entrada vêm do cache, e o preço efetivo da entrada caiu cerca de 50%.

De onde veio o aumento da conta

O mecanismo de IA NavaX, da ArisGlobal, roda no Amazon Bedrock com modelos Claude. Ele processa comunicações de reações adversas a medicamentos, que chegam em PDFs de 10 a 200 páginas. Desse documento, o agente extrai cerca de 130 campos: dados do paciente, medicamento suspeito, cronologia dos eventos, critérios de gravidade e classificação regulatória. Ele faz isso em uma série de requisições, e cada uma cuida de uma seção do formulário.

Quatro blocos se repetem em toda requisição: instruções de sistema, regras da farmacêutica específica, esquema de extração com exemplos e o próprio documento. Enquanto havia um só cliente, o prompt era compacto. Depois chegaram novos clientes, cada um com exigências próprias: como registrar o início da reação, qual formato usar para a UE, a FDA ou o regulador japonês, como avaliar a gravidade do caso. Em 6 meses, a parte comum do prompt cresceu de 72 mil para 180 mil tokens, ou seja, 150%. O custo de processar um caso subiu mais de 200%, porque essa parte era reprocessada a cada requisição.

O que mudou

O cache do Bedrock funciona por prefixo: é cacheado um trecho contínuo, do início da requisição até um ponto de controle (checkpoint). Tudo o que vem depois desse ponto é cobrado pelo preço cheio. A equipe começou cacheando, de forma lógica, o maior bloco, o documento, e o colocava em primeiro lugar. Dentro de um mesmo caso, isso funcionava: a primeira requisição gravava o PDF no cache, e as demais o liam por um preço baixo. Mas o caso seguinte trazia outro PDF, e o cache recomeçava do zero. Enquanto isso, o prompt comum inchado ficava depois do ponto de controle e era pago por inteiro em cada requisição.

O novo esquema reorganizou os blocos. Primeiro vem o prefixo comum: regras de sistema, esquema e exemplos. Depois, o ponto de controle e, só então, o documento e a pergunta sobre a seção específica. O mesmo checkpoint agora gera um cache que é lido por todas as requisições, todos os casos e todos os clientes que usam esse agente. A regra simples que o artigo traz: cacheie o que se repete, não o que é maior. Um documento de 200 páginas é grande, mas quase não é reaproveitado.

Por padrão, o cache dura 5 minutos, e cada acerto prolonga o prazo. Em contas ativas, um novo caso chega mais ou menos a cada 5 minutos por cliente, e há vários clientes, então o prefixo comum se mantém "quente" durante o horário de trabalho. Em parte dos modelos, é possível escolher um TTL de 1 hora.

Números e limitações

Segundo dados da ArisGlobal repassados à AWS, com volume acima de 19 bilhões de tokens por mês, o resultado foi este:

  • 65% dos tokens de entrada de uma requisição típica vêm do cache;
  • o preço efetivo da entrada ficou cerca de 50% menor;
  • a conta mensal total de inferência ficou cerca de 40% menor;
  • a latência das requisições em cache diminuiu em até 25%;
  • cerca de 15% mais clientes corporativos foram conectados à plataforma, sem aumento proporcional dos custos.

O roteamento dentro da UE por inferência entre regiões (cross-region) continua o mesmo. No CloudWatch, a leitura do cache nos períodos de pico é cerca de 10 vezes maior que a gravação.

Há ressalvas. Os dados são da própria empresa, e a AWS afirma explicitamente que o resultado depende da estrutura do prompt, do tráfego e da taxa de acertos no cache. A equipe abriu mão de reaproveitar o documento dentro do caso, então o PDF agora é processado pelo preço cheio em cada requisição. Um segundo checkpoint depois do documento não é necessário: essa gravação seria única para um só caso. Para o Claude Sonnet 4.5, o tamanho mínimo do prefixo cacheável é de 1 024 tokens, e a requisição admite até quatro checkpoints.

O que fazer na prática

Coloque no início da requisição tudo o que é estável: descrições de ferramentas, instruções de sistema, esquemas e exemplos. Deixe os dados do cliente, o documento e a pergunta depois do ponto de controle. Garanta que o prefixo seja idêntico byte a byte: um carimbo de data e hora, um ID aleatório ou uma ordem diferente das ferramentas causam falha de cache (cache miss). Por fim, acompanhe no CloudWatch a leitura e a gravação do cache. Se a taxa de acertos cair de forma persistente abaixo do seu nível habitual (na ArisGlobal, 65%), algo quebrou o prefixo.

Para equipes com agentes multicliente, a conclusão é direta: antes de cortar o prompt, verifique o que está antes do ponto de controle do cache. Reordenar os blocos não exige reescrever o pipeline e, em grandes volumes, se paga de imediato.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre De onde veio o aumento da conta?

O mecanismo de IA NavaX, da ArisGlobal, roda no Amazon Bedrock com modelos Claude. Ele processa comunicações de reações adversas a medicamentos, que chegam em PDFs de 10 a 200 páginas. Desse documento, o agente extrai cerca de 130 campos: dados do paciente, medicamento suspeito, cronologia dos eventos, critérios de gravidade e classificação regulatória. Ele faz isso em uma série de requisições, e cada uma cuida de uma seção do formulário.

O que mudou?

O cache do Bedrock funciona por prefixo: é cacheado um trecho contínuo, do início da requisição até um ponto de controle (checkpoint). Tudo o que vem depois desse ponto é cobrado pelo preço cheio. A equipe começou cacheando, de forma lógica, o maior bloco, o documento, e o colocava em primeiro lugar. Dentro de um mesmo caso, isso funcionava: a primeira requisição gravava o PDF no cache, e as demais o liam por um preço baixo. Mas o caso seguinte trazia outro PDF, e o cache recomeçava do zero.

O que se sabe sobre Números e limitações?

Segundo dados da ArisGlobal repassados à AWS, com volume acima de 19 bilhões de tokens por mês, o resultado foi este: 65% dos tokens de entrada de uma requisição típica vêm do cache; o preço efetivo da entrada ficou cerca de 50% menor; a conta mensal total de inferência ficou cerca de 40% menor; a latência das requisições em cache diminuiu em até 25%; cerca de 15% mais clientes corporativos foram conectados à plataforma, sem aumento proporcional dos custos.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…