Amazon SageMaker passa a detectar GPUs ociosas e aumento de latência em endpoints de LLM por conta própria
Um endpoint de LLM em produção vai se desajustando com o tempo: os prompts crescem, as GPUs ficam ociosas e nenhum alerta dispara, porque nada quebrou. O Amazon SageMaker AI agora monitora por padrão endpoints com vLLM e GPU e envia uma notificação pelo AWS Health. O serviço compara a latência mediana e o tempo até o primeiro token com os da semana anterior e procura GPUs subutilizadas. Depois, um clique inicia o benchmark de alternativas. O ambiente de produção não muda sem a sua decisão.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Um endpoint com LLM está perfeitamente ajustado só no dia do lançamento. A equipe escolhe o tipo de instância, os parâmetros de serving e o autoscaling para o tráfego da época e depois passa para outras tarefas. Mas o tráfego muda, os prompts ficam mais longos, o vLLM ganha novas versões e surgem novos checkpoints ajustados (fine-tuned). O endpoint vai se desajustando em silêncio: o tempo até o primeiro token aumenta, parte das otimizações nunca é ativada e uma GPU cara fica semanas ociosa. Nada cai, os alertas ficam quietos, e quem percebe o problema são os usuários ou o financeiro. O Amazon SageMaker AI decidiu fechar essa brecha.
O que passa a ser monitorado
O monitoramento vem ativado por padrão para endpoints do SageMaker AI que rodam em contêineres vLLM e instâncias com GPU. Não é preciso configurar nada. O serviço olha apenas sinais operacionais: latência, uso de GPU e configuração de serving. Ele não lê o conteúdo das requisições e respostas, e o monitoramento não gera custo adicional de GPU.
Há três tipos de achados:
- Deriva de latência. A latência mediana (p50) de ponta a ponta ou o tempo até o primeiro token aumentou em relação à semana anterior. A comparação usa o próprio histórico do endpoint, então não é preciso definir um limite.
- Capacidade não utilizada. As GPUs pelas quais você paga quase não são usadas. No exemplo da AWS, a GPU mais ocupada usou no máximo 12% da capacidade ao longo da semana.
- Lacunas de configuração. O contêiner está defasado em relação a uma versão com aceleração e patches de segurança (CVEs críticas e altas). Ou o modelo suporta decodificação especulativa ou ajuste de kernels de GPU, mas o endpoint não os utiliza.
A notificação chega pelo AWS Health e por e-mail, uma por endpoint, já com todos os achados. Ela diz o que foi detectado, por que isso importa e o que fazer a seguir. As estimativas no texto são identificadas como estimativas: nesta etapa, o benchmark ainda não foi executado.
Da notificação à decisão
Um clique abre uma interface com agente no SageMaker Studio, com o endpoint e o tráfego recente já preenchidos. O agente resume o achado em linguagem simples e pede confirmação. Em seguida, gera um notebook com o SageMaker Python SDK que cria uma tarefa de inference recommendation. Cada passo fica em uma célula separada, então dá para revisar e editar o código antes de executar.
Os benchmarks rodam em capacidade separada e comparam a configuração atual com alternativas em tempo de resposta, vazão e custo por milhão de tokens. O que é testado depende do achado:
- em caso de deriva de latência: configurações de paralelismo de tensor e outros tipos e tamanhos de instância;
- em caso de GPU ociosa: instâncias mais baratas e menores, considerando o pico de carga observado;
- em caso de decodificação especulativa desativada: comparação com e sem o recurso;
- em caso de contêiner desatualizado: versão antiga e versão atualizada.
A produção não é tocada até que você mesmo aplique o resultado. A AWS recomenda implantar a mudança primeiro em uma variante (production variant) e manter a configuração anterior para rollback. "Deixar como está" também é considerado um desfecho normal. Por exemplo, a equipe pode decidir que a folga de GPU é necessária para um crescimento planejado e não reduzir a instância.
O que fazer com isso
Para equipes que mantêm LLMs em produção no SageMaker, é uma camada gratuita de controle sobre custos e qualidade. Ela é especialmente útil quando ninguém acompanha o endpoint todo dia: assistentes internos, autocompletar de código, sumarização. O exemplo típico do artigo: depois da adição de RAG, os prompts ficaram mais longos, as respostas começaram a demorar mais e os alertas configurados manualmente não dispararam.
Há limitações. O monitoramento funciona apenas com contêineres vLLM e instâncias com GPU. As notificações são vinculadas à região, então os achados só aparecem ao entrar na região do endpoint, e o número de notificações por conta é limitado. Os benchmarks são cobrados pelas tarifas normais do SageMaker ou da sua reserva de ML, e é preciso ter cota suficiente para instâncias de teste. O resultado também depende do tráfego: nos horários de pico e fora deles, o ganho pode variar, por exemplo com a decodificação especulativa.
Se a telemetria não agrada, é possível excluir o endpoint do monitoramento. Para isso, defina no mapa Environment, ao chamar CreateModel, a variável OPT_OUT_TRACKING com qualquer valor. Assim, o serviço não coleta métricas do engine, métricas de GPU nem dados da configuração de inicialização, e não envia nenhuma notificação.
A conclusão prática é simples. Verifique quais dos seus endpoints se enquadram no monitoramento, configure o recebimento de notificações no AWS User Notifications e inclua no processo uma revisão regular dos achados, por exemplo uma vez por mês.
- 20 de nov. de 2026Torneio de agentes na Cisco: 1200 engenheiros, e venceu quem escreveu 1220 tokens em vez de 1430
- 20 de nov. de 2026AWS ensina agentes de IA a comprar APIs no Marketplace e pagar pela fatura comum da AWS
- 20 de nov. de 2026BMW leva as regras de agentes de IA para o CI/CD e um registro comum para 12 500 desenvolvedores
- 19 de nov. de 2026Amazon e Google ficarão com 28,4% da Anthropic após o IPO, mas sem direito a voto
Perguntas frequentes sobre a notícia
O que passa a ser monitorado?
O monitoramento vem ativado por padrão para endpoints do SageMaker AI que rodam em contêineres vLLM e instâncias com GPU. Não é preciso configurar nada. O serviço olha apenas sinais operacionais: latência, uso de GPU e configuração de serving. Ele não lê o conteúdo das requisições e respostas, e o monitoramento não gera custo adicional de GPU. Há três tipos de achados: Deriva de latência. A latência mediana (p50) de ponta a ponta ou o tempo até o primeiro token aumentou em relação à semana anterior.
O que se sabe sobre Da notificação à decisão?
Um clique abre uma interface com agente no SageMaker Studio, com o endpoint e o tráfego recente já preenchidos. O agente resume o achado em linguagem simples e pede confirmação. Em seguida, gera um notebook com o SageMaker Python SDK que cria uma tarefa de inference recommendation. Cada passo fica em uma célula separada, então dá para revisar e editar o código antes de executar.
O que fazer com isso?
Para equipes que mantêm LLMs em produção no SageMaker, é uma camada gratuita de controle sobre custos e qualidade. Ela é especialmente útil quando ninguém acompanha o endpoint todo dia: assistentes internos, autocompletar de código, sumarização. O exemplo típico do artigo: depois da adição de RAG, os prompts ficaram mais longos, as respostas começaram a demorar mais e os alertas configurados manualmente não dispararam. Há limitações. O monitoramento funciona apenas com contêineres vLLM e instâncias com GPU.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.