Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
InfraestruturaAPI / Produto · Pronto p/ usoAWS Machine Learning Blog→ original

SageMaker passa a enviar requisições de LLM para a GPU com cache pronto: primeiro token 97% mais rápido

Quando as requisições de um chat ou de um sistema RAG caem numa GPU aleatória, ela recalcula todo o prompt longo, mesmo que o cache já esteja pronto na GPU ao lado. A nova estratégia de roteamento KV_AWARE, do SageMaker AI, envia a requisição para onde está a maior correspondência. No Llama 3.1 70B, o tempo até o primeiro token caiu 97% e o throughput subiu 234%. Vale testar a estratégia com o seu próprio tráfego em diálogos longos e em RAG.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
SageMaker passa a enviar requisições de LLM para a GPU com cache pronto: primeiro token 97% mais rápido
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1A taxa de acertos no cache subiu de 3–48% para 80–93%
Teste7 instâncias ml.p5.48xlarge, prompts de até 64 000 tokens
Ativaçãovariável SM_VLLM_KV_EVENTS_CONFIG e KV_AWARE na configuração

Imagine um atendimento ao cliente baseado em LLM em que toda conversa começa com o mesmo trecho de 6 000 tokens da base de conhecimento. O modelo processa esse trecho uma vez e guarda o resultado na memória da GPU, o chamado KV-cache. Se a mensagem seguinte da conversa cair em outro servidor, que não tem esse cache, a GPU recalcula os 6 000 tokens do zero, e o usuário espera pelo primeiro token da resposta.

O Amazon SageMaker AI adicionou aos endpoints em tempo real a estratégia de roteamento KV_AWARE, que envia a requisição para onde o cache necessário realmente está. No Llama 3.1 70B, isso reduziu o tempo mediano até o primeiro token (TTFT) em 97% e aumentou o throughput em 234%.

Onde o roteamento por prefixo falha

O SageMaker já tinha a estratégia PREFIX_AWARE. Ela calcula o hash do início da requisição, um número definido de bytes ou caracteres (PrefixLength), e envia requisições parecidas para a mesma instância. O roteador, porém, não enxerga o que de fato está no cache, e por isso erra em dois casos.

No primeiro, a memória da GPU encheu, a instância descartou entradas antigas do cache, e o roteador continua mandando requisições para lá, achando que o cache está aquecido. No segundo, num chat de vários turnos, o histórico cresce a cada mensagem. Enquanto a requisição é menor que PrefixLength, o texto usado no hash muda a cada turno, e a mensagem seguinte pode ir parar em outra instância. A conversa só "gruda" em um servidor quando a requisição passa de PrefixLength.

Como funciona o KV_AWARE

O próprio contêiner do modelo informa o que tem no cache: a cada gravação ou remoção de entradas, ele publica um evento. A variável SM_VLLM_KV_EVENTS_CONFIG ativa esses eventos. O SageMaker os reúne em um índice gerenciado. O índice não contém prompts, IDs de tokens, corpos de requisição nem tensores KV, apenas hashes truncados e irreversíveis e ponteiros para a instância ou a cópia do inference component em que eles estão.

Quando chega uma requisição, o endpoint tokeniza o prompt e procura os tokens no índice. Em seguida, compara o tamanho da correspondência com a carga da instância. Se o melhor candidato estiver ocupado, a requisição vai para o próximo disponível. Se não houver correspondências úteis ou se todas as instâncias estiverem ocupadas, entra o balanceamento de carga comum, como no LEAST_OUTSTANDING_REQUESTS.

Um exemplo da AWS: a quarta mensagem de uma conversa tem 6 200 tokens, e a instância A guarda os primeiros 6 000; assim, A só precisa calcular os 200 restantes. Já no cenário de atendimento sob carga, A descartou quase todo o trecho da base de conhecimento, mas a instância B ainda tem os primeiros 4 000 tokens dele. O roteador por prefixo enviaria a requisição para A, e o roteador KV-aware a enviará para B. Com carga baixa, não há remoção de cache, e as duas estratégias escolherão A. A correspondência é medida em tokens, então não é preciso ajustar um limite de paralelismo.

Números e limitações

A AWS rodou o Llama 3.1 70B Instruct em sete instâncias ml.p5.48xlarge. Os testes duraram 30 minutos cada, com 20 ou 100 usuários virtuais, chats de vários turnos e perguntas sobre documentos, com prompts de até 64 000 tokens. Em comparação com o roteamento aleatório, com prompts longos e sob carga, o KV_AWARE reduziu o p50 do TTFT em 97%, aumentou o throughput em 234% e elevou a taxa de acertos no cache de 3–48% para 80–93%. Os prompts longos também ganharam com carga menor. Nos curtos, o ganho é mínimo: há quase nada a recalcular.

O que levar em conta:

  • A estratégia só funciona a partir de duas instâncias ou duas cópias do inference component. Com uma única instância, ela não muda nada.
  • É preciso um contêiner compatível (AWS vLLM Deep Learning Container) com cache de prefixo e eventos de KV-cache ativados.
  • A latência extra do roteador é de alguns milissegundos para um prompt curto e maior para um longo, principalmente por causa da tokenização. Na estratégia por prefixo, ela é de 1,3–1,9 ms.
  • Depois de um escalonamento ou de uma atualização, as novas instâncias começam com o cache vazio, e as latências ficam mais altas por algum tempo.
  • Os fallbacks para o balanceamento por carga não aparecem no console nem nas métricas no início, então será preciso verificar o efeito por conta própria.

O que fazer na prática

A ativação tem dois passos: adicione a variável de ambiente ao modelo e defina RoutingStrategy como KV_AWARE em RoutingConfig na variante do endpoint. Os clientes chamam o endpoint pelas mesmas APIs.

Se você tem um prompt de sistema compartilhado e estável, requisições curtas e carga moderada, PREFIX_AWARE basta: ele funciona com qualquer contêiner. O KV_AWARE faz sentido quando o contexto é longo, a carga é alta e falta memória de GPU para o cache: conversas longas, RAG com documentos grandes e assistentes com prompts pesados. Os números do blog dependem da carga, então rode o seu tráfego em dois endpoints e compare o TTFT, o throughput e a taxa de acertos no cache.

História

Perguntas frequentes sobre a notícia

Onde o roteamento por prefixo falha?

O SageMaker já tinha a estratégia PREFIX_AWARE. Ela calcula o hash do início da requisição, um número definido de bytes ou caracteres (PrefixLength), e envia requisições parecidas para a mesma instância. O roteador, porém, não enxerga o que de fato está no cache, e por isso erra em dois casos. No primeiro, a memória da GPU encheu, a instância descartou entradas antigas do cache, e o roteador continua mandando requisições para lá, achando que o cache está aquecido.

Como funciona o KV_AWARE?

O próprio contêiner do modelo informa o que tem no cache: a cada gravação ou remoção de entradas, ele publica um evento. A variável SM_VLLM_KV_EVENTS_CONFIG ativa esses eventos. O SageMaker os reúne em um índice gerenciado. O índice não contém prompts, IDs de tokens, corpos de requisição nem tensores KV, apenas hashes truncados e irreversíveis e ponteiros para a instância ou a cópia do inference component em que eles estão. Quando chega uma requisição, o endpoint tokeniza o prompt e procura os tokens no índice.

O que se sabe sobre Números e limitações?

A AWS rodou o Llama 3.1 70B Instruct em sete instâncias ml.p5.48xlarge. Os testes duraram 30 minutos cada, com 20 ou 100 usuários virtuais, chats de vários turnos e perguntas sobre documentos, com prompts de até 64 000 tokens. Em comparação com o roteamento aleatório, com prompts longos e sob carga, o KV_AWARE reduziu o p50 do TTFT em 97%, aumentou o throughput em 234% e elevou a taxa de acertos no cache de 3–48% para 80–93%. Os prompts longos também ganharam com carga menor.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…