Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarAWS Machine Learning Blog→ original

AWS lança skill de cache compartilhado de LLM para agentes: até 40% mais barato e primeiro token até 80% mais rápido

Se você hospeda LLMs em GPUs, depois de uma pausa o servidor recalcula todo o histórico da conversa (KV cache), e o advogado espera 13 segundos pelo primeiro token. A AWS lançou uma skill para Claude Code, Kiro e Codex: o agente avalia o ganho de um cache compartilhado no ElastiCache e o implanta sozinho. A empresa declara até 40% de economia em inferência e até 80% menos tempo até o primeiro token (TTFT). Primeiro, avalie o ganho com o seu próprio tráfego. Fonte: texto original em russo.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
AWS lança skill de cache compartilhado de LLM para agentes: até 40% mais barato e primeiro token até 80% mais rápido
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1Funciona no Kiro, Claude Code, OpenAI Codex e em outros agentes com Agent Skills
Dado-chave #2O KVTrace calcula o ganho gratuitamente com o seu tráfego antes da implantação
Dado-chave #3O agente só cria e remove recursos depois de uma confirmação

Imagine um assistente jurídico de IA rodando nas suas próprias GPUs. Em uma única conversa, já se acumularam centenas de milhares de tokens do histórico de um processo. O advogado volta a ela depois do almoço, mas a requisição cai em um servidor que não tem esse histórico na memória. A placa de vídeo recalcula o KV cache, as "anotações" internas do modelo sobre cada token do texto já lido. Essa etapa se chama prefill, e enquanto ela roda o usuário não vê nenhuma palavra. No exemplo da AWS, com um contexto de 64 mil tokens, o primeiro token chegava após 13 segundos. Essa pausa é abreviada como TTFT, ou time to first token (tempo até o primeiro token).

A AWS propõe tirar o cache da memória de cada servidor e levá-lo para uma camada compartilhada, ao lado do parque de GPUs, no Amazon ElastiCache. Assim, qualquer servidor aproveita o estado já pronto, mesmo que a requisição vá para outra máquina ou que o servidor anterior tenha caído. Segundo a AWS, esse KV cache distribuído reduz o custo de inferência em até 40% e o TTFT em até 80%.

São os valores máximos citados pela empresa, não uma garantia para qualquer carga de trabalho. A novidade é que a AWS publicou uma skill pronta para essa configuração no Agent Toolkit for AWS. Ela funciona no Kiro, no Claude Code, no OpenAI Codex e em outros agentes que suportam Agent Skills.

Os quatro cenários de uso da skill

A AWS mostra quatro diálogos com o agente.

No primeiro, o agente diagnostica um primeiro token lento. Ele começa procurando soluções que não exijam nova infraestrutura. Se você desativou o prefix caching, basta ligá-lo de novo. Se a taxa de acertos no cache local da GPU já passa de 90% com afinidade de sessão ao servidor, talvez o cache compartilhado seja desnecessário. O agente também alerta sobre um risco de multitenancy: pelo tempo de resposta, um cliente pode deduzir que outro enviou o mesmo texto. Por isso, os casos que precisam ficar isolados devem ficar em caches separados, e, no cache compartilhado, o ID do tenant entra no hash.

No segundo cenário, o agente estima a economia. Para um parque de 8 instâncias p5 com requisições de 64 mil tokens, ele usou os preços da tabela da AWS e recomendou dois nós cache.i8ge.48xlarge. O agente não inventa a taxa de acertos do cache: ele sugere medi-la com o KVTrace.

KVTrace, configuração e depuração

O KVTrace grava os eventos do KV cache do vLLM ou do SGLang e depois os reproduz offline em um cache compartilhado de diferentes tamanhos. Os registros contêm hashes de blocos e o número de tokens, não o texto dos prompts. Como os hashes são construídos a partir do conteúdo, a AWS recomenda a flag --anonymize-key-file para dados sensíveis. O ideal é gravar em todos os servidores durante um período representativo, como um dia útil. O relatório recomenda o menor volume que entrega 90% do teto de economia. Em prompts curtos, a leitura do cache pode demorar mais que o recálculo, então tudo depende do tamanho do prompt e da frequência de repetição.

No terceiro cenário, o agente implanta o cache do zero. Depois da sua confirmação, ele cria um security group com permissões para EFA e um cluster Valkey 9.1 com políticas de eviction.

Para o LMCache, é criado um usuário dedicado, e a senha fica no Secrets Manager. Em seguida, o agente conecta o conector do LMCache ao vLLM ou SGLang já existente, incluindo as variantes para llm-d e Ray Serve. Em todos os servidores, ele define um mesmo mecanismo de KV ID e um tipo de dados explícito; sem isso, cada servidor grava um estado que os demais não encontram.

Antes de ir para produção, ele limpa os níveis locais e verifica se duas execuções com carga a partir do cache produzem a mesma resposta. Se o layout dos dados não coincide, os contadores de acerto parecem bons, mas as respostas saem erradas.

No quarto cenário, o agente investiga uma falha. A conexão com o ElastiCache existe, mas a transferência de dados falha e o contador rdma_write_errors cresce. A causa provável é que o security group bloqueia o tráfego EFA entre os próprios membros. O agente fornece os comandos para verificar e corrigir.

Limitações e conclusão prática

Os requisitos são rígidos: instâncias com suporte a EFA RDMA write (por exemplo, p5), LMCache 0.5.8rc1 ou mais recente, vLLM 0.11.1+ ou SGLang 0.5.13+, e ElastiCache for Valkey 9.1+ em nós cache.i8ge.48xlarge. O tempo de GPU liberado só vira dinheiro se você reduzir o número de servidores ou atender mais tráfego nos mesmos.

Se você tem conversas longas com vários turnos, RAG ou sessões de agentes retomáveis em GPUs próprias, primeiro capture um trace do KVTrace ao longo de um dia útil. Aproveite para testar as opções baratas: prefix caching e afinidade de sessão. O cache compartilhado se justifica quando o cálculo mostra que a economia cobre o preço dos nós. A skill em si apenas automatiza o trabalho de rotina e pede permissão antes de cada ação relevante.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Os quatro cenários de uso da skill?

A AWS mostra quatro diálogos com o agente. No primeiro, o agente diagnostica um primeiro token lento. Ele começa procurando soluções que não exijam nova infraestrutura. Se você desativou o prefix caching, basta ligá-lo de novo. Se a taxa de acertos no cache local da GPU já passa de 90% com afinidade de sessão ao servidor, talvez o cache compartilhado seja desnecessário. O agente também alerta sobre um risco de multitenancy: pelo tempo de resposta, um cliente pode deduzir que outro enviou o mesmo texto.

O que se sabe sobre KVTrace, configuração e depuração?

O KVTrace grava os eventos do KV cache do vLLM ou do SGLang e depois os reproduz offline em um cache compartilhado de diferentes tamanhos. Os registros contêm hashes de blocos e o número de tokens, não o texto dos prompts. Como os hashes são construídos a partir do conteúdo, a AWS recomenda a flag --anonymize-key-file para dados sensíveis. O ideal é gravar em todos os servidores durante um período representativo, como um dia útil. O relatório recomenda o menor volume que entrega 90% do teto de economia.

O que se sabe sobre Limitações e conclusão prática?

Os requisitos são rígidos: instâncias com suporte a EFA RDMA write (por exemplo, p5), LMCache 0.5.8rc1 ou mais recente, vLLM 0.11.1+ ou SGLang 0.5.13+, e ElastiCache for Valkey 9.1+ em nós cache.i8ge.48xlarge. O tempo de GPU liberado só vira dinheiro se você reduzir o número de servidores ou atender mais tráfego nos mesmos. Se você tem conversas longas com vários turnos, RAG ou sessões de agentes retomáveis em GPUs próprias, primeiro capture um trace do KVTrace ao longo de um dia útil.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…