Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAPI / Produto · Pronto p/ usoAWS Machine Learning Blog→ original

Amazon SageMaker passa a detectar GPUs ociosas e aumento de latência em endpoints de LLM por conta própria

Um endpoint de LLM em produção vai se desajustando com o tempo: os prompts crescem, as GPUs ficam ociosas e nenhum alerta dispara, porque nada quebrou. O Amazon SageMaker AI agora monitora por padrão endpoints com vLLM e GPU e envia uma notificação pelo AWS Health. O serviço compara a latência mediana e o tempo até o primeiro token com os da semana anterior e procura GPUs subutilizadas. Depois, um clique inicia o benchmark de alternativas. O ambiente de produção não muda sem a sua decisão.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Amazon SageMaker passa a detectar GPUs ociosas e aumento de latência em endpoints de LLM por conta própria
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1O monitoramento vem ativado por padrão e não consome GPU
Dado-chave #2Lê apenas latência e uso de GPU, não as requisições e respostas
Dado-chave #3Pode ser desativado com a variável OPT_OUT_TRACKING no contêiner do modelo

Um endpoint com LLM está perfeitamente ajustado só no dia do lançamento. A equipe escolhe o tipo de instância, os parâmetros de serving e o autoscaling para o tráfego da época e depois passa para outras tarefas. Mas o tráfego muda, os prompts ficam mais longos, o vLLM ganha novas versões e surgem novos checkpoints ajustados (fine-tuned). O endpoint vai se desajustando em silêncio: o tempo até o primeiro token aumenta, parte das otimizações nunca é ativada e uma GPU cara fica semanas ociosa. Nada cai, os alertas ficam quietos, e quem percebe o problema são os usuários ou o financeiro. O Amazon SageMaker AI decidiu fechar essa brecha.

O que passa a ser monitorado

O monitoramento vem ativado por padrão para endpoints do SageMaker AI que rodam em contêineres vLLM e instâncias com GPU. Não é preciso configurar nada. O serviço olha apenas sinais operacionais: latência, uso de GPU e configuração de serving. Ele não lê o conteúdo das requisições e respostas, e o monitoramento não gera custo adicional de GPU.

Há três tipos de achados:

  • Deriva de latência. A latência mediana (p50) de ponta a ponta ou o tempo até o primeiro token aumentou em relação à semana anterior. A comparação usa o próprio histórico do endpoint, então não é preciso definir um limite.
  • Capacidade não utilizada. As GPUs pelas quais você paga quase não são usadas. No exemplo da AWS, a GPU mais ocupada usou no máximo 12% da capacidade ao longo da semana.
  • Lacunas de configuração. O contêiner está defasado em relação a uma versão com aceleração e patches de segurança (CVEs críticas e altas). Ou o modelo suporta decodificação especulativa ou ajuste de kernels de GPU, mas o endpoint não os utiliza.

A notificação chega pelo AWS Health e por e-mail, uma por endpoint, já com todos os achados. Ela diz o que foi detectado, por que isso importa e o que fazer a seguir. As estimativas no texto são identificadas como estimativas: nesta etapa, o benchmark ainda não foi executado.

Da notificação à decisão

Um clique abre uma interface com agente no SageMaker Studio, com o endpoint e o tráfego recente já preenchidos. O agente resume o achado em linguagem simples e pede confirmação. Em seguida, gera um notebook com o SageMaker Python SDK que cria uma tarefa de inference recommendation. Cada passo fica em uma célula separada, então dá para revisar e editar o código antes de executar.

Os benchmarks rodam em capacidade separada e comparam a configuração atual com alternativas em tempo de resposta, vazão e custo por milhão de tokens. O que é testado depende do achado:

  • em caso de deriva de latência: configurações de paralelismo de tensor e outros tipos e tamanhos de instância;
  • em caso de GPU ociosa: instâncias mais baratas e menores, considerando o pico de carga observado;
  • em caso de decodificação especulativa desativada: comparação com e sem o recurso;
  • em caso de contêiner desatualizado: versão antiga e versão atualizada.

A produção não é tocada até que você mesmo aplique o resultado. A AWS recomenda implantar a mudança primeiro em uma variante (production variant) e manter a configuração anterior para rollback. "Deixar como está" também é considerado um desfecho normal. Por exemplo, a equipe pode decidir que a folga de GPU é necessária para um crescimento planejado e não reduzir a instância.

O que fazer com isso

Para equipes que mantêm LLMs em produção no SageMaker, é uma camada gratuita de controle sobre custos e qualidade. Ela é especialmente útil quando ninguém acompanha o endpoint todo dia: assistentes internos, autocompletar de código, sumarização. O exemplo típico do artigo: depois da adição de RAG, os prompts ficaram mais longos, as respostas começaram a demorar mais e os alertas configurados manualmente não dispararam.

Há limitações. O monitoramento funciona apenas com contêineres vLLM e instâncias com GPU. As notificações são vinculadas à região, então os achados só aparecem ao entrar na região do endpoint, e o número de notificações por conta é limitado. Os benchmarks são cobrados pelas tarifas normais do SageMaker ou da sua reserva de ML, e é preciso ter cota suficiente para instâncias de teste. O resultado também depende do tráfego: nos horários de pico e fora deles, o ganho pode variar, por exemplo com a decodificação especulativa.

Se a telemetria não agrada, é possível excluir o endpoint do monitoramento. Para isso, defina no mapa Environment, ao chamar CreateModel, a variável OPT_OUT_TRACKING com qualquer valor. Assim, o serviço não coleta métricas do engine, métricas de GPU nem dados da configuração de inicialização, e não envia nenhuma notificação.

A conclusão prática é simples. Verifique quais dos seus endpoints se enquadram no monitoramento, configure o recebimento de notificações no AWS User Notifications e inclua no processo uma revisão regular dos achados, por exemplo uma vez por mês.

História

Perguntas frequentes sobre a notícia

O que passa a ser monitorado?

O monitoramento vem ativado por padrão para endpoints do SageMaker AI que rodam em contêineres vLLM e instâncias com GPU. Não é preciso configurar nada. O serviço olha apenas sinais operacionais: latência, uso de GPU e configuração de serving. Ele não lê o conteúdo das requisições e respostas, e o monitoramento não gera custo adicional de GPU. Há três tipos de achados: Deriva de latência. A latência mediana (p50) de ponta a ponta ou o tempo até o primeiro token aumentou em relação à semana anterior.

O que se sabe sobre Da notificação à decisão?

Um clique abre uma interface com agente no SageMaker Studio, com o endpoint e o tráfego recente já preenchidos. O agente resume o achado em linguagem simples e pede confirmação. Em seguida, gera um notebook com o SageMaker Python SDK que cria uma tarefa de inference recommendation. Cada passo fica em uma célula separada, então dá para revisar e editar o código antes de executar.

O que fazer com isso?

Para equipes que mantêm LLMs em produção no SageMaker, é uma camada gratuita de controle sobre custos e qualidade. Ela é especialmente útil quando ninguém acompanha o endpoint todo dia: assistentes internos, autocompletar de código, sumarização. O exemplo típico do artigo: depois da adição de RAG, os prompts ficaram mais longos, as respostas começaram a demorar mais e os alertas configurados manualmente não dispararam. Há limitações. O monitoramento funciona apenas com contêineres vLLM e instâncias com GPU.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…