Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAPI / Produto · Pronto p/ usoAWS Machine Learning Blog→ original

Amazon SageMaker HyperPod passa a salvar requisições reais de LLMs no S3 em três camadas

Um modelo em produção encontra coisas que não estavam nos testes: produtos novos e gírias. O Amazon SageMaker HyperPod (serviço da AWS para modelos em clusters de GPU) agora grava requisições e respostas reais no S3 em três camadas: endpoint, balanceador de carga e pod do modelo. Na demonstração, um roteador de chamados não conhecia os novos aparelhos de ar-condicionado; a lacuna foi identificada no Athena e corrigida com ajuste fino. Por isso, vale ativar a gravação do tráfego antes da primeira mudança no padrão dos dados.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Amazon SageMaker HyperPod passa a salvar requisições reais de LLMs no S3 em três camadas
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1As camadas 1 e 3 guardam textos completos; ao ativar as duas, os registros são duplicados
Demonstração900 chamados em 15 minutos, conjunto de avaliação de 280 exemplos
Dado-chave #3Os registros podem conter nomes e endereços: são necessárias criptografia com KMS e mascaramento

Imagine um bot de suporte técnico de uma loja de eletrodomésticos. Ontem ele classificava perfeitamente as mensagens sobre geladeiras e máquinas de lavar; hoje a loja lançou aparelhos de ar-condicionado, e o bot não sabe o que fazer com eles. Os testes preparados com antecedência não vão revelar isso: foram feitos antes do lançamento do novo produto.

O problema só pode ser visto nas requisições reais dos usuários, e é preciso armazená-las em algum lugar. Para isso, a AWS adicionou ao Amazon SageMaker HyperPod a função Data Capture. O HyperPod é um serviço da AWS para executar e ajustar modelos em clusters de GPU.

O Data Capture grava as requisições recebidas e as respostas do modelo em funcionamento no S3, ou seja, no armazenamento em nuvem da Amazon. Segundo a AWS, a latência fica mínima e a disponibilidade do modelo não é afetada.

Três camadas de gravação: o que exatamente é salvo

A função é ativada pelo bloco dataCapture na configuração. A gravação pode ser feita em três pontos independentes do caminho da requisição, e qualquer combinação deles é possível.

A primeira camada é o endpoint do SageMaker, ou seja, o ponto de entrada do modelo. Aqui são salvas as requisições e respostas completas por meio do mecanismo integrado do SageMaker. Ele serve para conformidade, auditoria e para o serviço Model Monitor.

A segunda camada é o balanceador de carga ALB. Ele grava apenas os campos dos access logs: a linha da requisição, os códigos de resposta, os tempos, o IP do cliente e o user agent. Não há textos de diálogos ali. Em compensação, é uma forma barata de acompanhar o tráfego e a taxa de erros.

A terceira camada é o pod do modelo, um grupo de contêineres no Kubernetes. O operador de inferência do HyperPod adiciona a ele três contêineres auxiliares: um proxy NGINX, um coletor OpenTelemetry e um carregador para o S3. No bucket chegam as requisições e respostas completas, além dos metadados dos eventos. Essa camada é escolhida para depuração, análise e coleta de dados de treinamento.

Uma ressalva importante: as camadas 1 e 3 guardam ambas os textos completos. Se as duas forem ativadas, cada registro acaba no S3 duas vezes. Por isso, a AWS recomenda escolher a camada de acordo com a tarefa: a primeira para conformidade, a segunda para métricas de tráfego e a terceira para trabalhar com o conteúdo.

Como funciona, usando o exemplo do roteador de chamados

O cenário do artigo é fictício, e os dados são sintéticos. O modelo Qwen2.5-3B-Instruct atua como roteador de chamados: classifica cada mensagem em uma das categorias geladeira, máquina de lavar, forno, lava-louças, micro-ondas ou "Outros". Em seguida, a loja lança a linha de ar-condicionado Arctis, que o roteador não conhece, e ele escolhe a categoria familiar mais próxima.

Depois vem uma cadeia de cinco etapas em um mesmo cluster, que a AWS chama de "volante" de melhoria do modelo:

  1. Gravar todas as requisições e respostas no S3.
  2. Analisar os registros com consultas SQL no Athena, serviço que lê arquivos diretamente do S3.
  3. Rotular os registros com uma política em SQL.
  4. Ajustar o modelo em uma segunda GPU pelo training operator.
  5. Implantar a nova versão ao lado da antiga, mantendo a gravação ativada.

Na demonstração, 900 chamados passam pelo roteador em 15 minutos. O conjunto de avaliação tem 280 exemplos rotulados. A precisão é medida antes e depois do ajuste fino, com dados que não poderiam existir no momento da primeira implantação.

A demonstração exige duas GPUs: uma atende o modelo e a outra o ajusta. Os autores usaram ml.g6e.8xlarge e ml.g6e.xlarge, cada um com uma NVIDIA L40S de 48 GB. O pod de inferência mantém sua GPU ocupada durante toda a vida do endpoint. Por isso, com apenas uma GPU, o pod de treinamento fica preso no status Pending.

O que observar na implantação

  • As requisições devem ser enviadas à porta 8081, onde está o proxy de gravação. O modelo escuta na porta 8000, e chamadas diretas a ela não chegam ao S3.
  • Por padrão, 100% das requisições são gravadas. Isso pode ser reduzido com amostragem, limitando o tamanho do payload e definindo a chave de criptografia KMS. O buffer padrão de 10 registros é descarregado a cada 60 segundos.
  • Se o endpoint estiver saudável, mas não houver arquivos no S3, verifique primeiro o papel IAM do driver Mountpoint-S3 CSI. Quem grava os arquivos é ele, e não a conta de serviço do pod.
  • Os corpos das requisições e respostas ficam no formato de data capture do SageMaker, codificados em base64. Antes da análise, é preciso decodificá-los.

Privacidade e limitações

A terceira camada guarda textos completos, e neles aparecem nomes, endereços e números de pedido. Antes de transformar os registros em dados de treinamento, proteja-os. A AWS sugere amostragem, criptografia com KMS (serviço de gerenciamento de chaves), regras de ciclo de vida do S3 e mascaramento de dados pessoais, por exemplo com o Amazon Comprehend.

O exemplo em si usa dados sintéticos e um modelo pequeno, de 3 bilhões de parâmetros. Em tráfego real e com modelos grandes, o resultado dependerá da qualidade da rotulagem e do volume de dados.

A conclusão prática para equipes que usam o HyperPod: vale ativar a gravação do tráfego com antecedência. Quando os usuários trouxerem algo novo, você já terá a prova do problema e o material para o ajuste fino.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Três camadas de gravação: o que exatamente é salvo?

A função é ativada pelo bloco dataCapture na configuração. A gravação pode ser feita em três pontos independentes do caminho da requisição, e qualquer combinação deles é possível. A primeira camada é o endpoint do SageMaker, ou seja, o ponto de entrada do modelo. Aqui são salvas as requisições e respostas completas por meio do mecanismo integrado do SageMaker. Ele serve para conformidade, auditoria e para o serviço Model Monitor. A segunda camada é o balanceador de carga ALB.

Como funciona, usando o exemplo do roteador de chamados?

O cenário do artigo é fictício, e os dados são sintéticos. O modelo Qwen2.5-3B-Instruct atua como roteador de chamados: classifica cada mensagem em uma das categorias geladeira, máquina de lavar, forno, lava-louças, micro-ondas ou "Outros". Em seguida, a loja lança a linha de ar-condicionado Arctis, que o roteador não conhece, e ele escolhe a categoria familiar mais próxima.

O que observar na implantação?

As requisições devem ser enviadas à porta 8081, onde está o proxy de gravação. O modelo escuta na porta 8000, e chamadas diretas a ela não chegam ao S3. Por padrão, 100% das requisições são gravadas. Isso pode ser reduzido com amostragem, limitando o tamanho do payload e definindo a chave de criptografia KMS. O buffer padrão de 10 registros é descarregado a cada 60 segundos. Se o endpoint estiver saudável, mas não houver arquivos no S3, verifique primeiro o papel IAM do driver Mountpoint-S3 CSI.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…