Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarAWS Machine Learning Blog→ original

AWS permite escrever seu próprio ciclo de treinamento de LLMs e pagar por token, não por hora de GPU

Para fazer fine-tuning de um modelo de linguagem (LLM) do seu jeito, normalmente é preciso manter um cluster de GPUs próprio. O Amazon SageMaker AI propõe outra abordagem: você escreve o ciclo de treinamento em Python no seu ambiente, e a AWS cuida das GPUs, das falhas e da execução distribuída. A cobrança é por tokens processados, não por hora de aluguel: enquanto o seu código leva 10 segundos para verificar as respostas, as GPUs não são tarifadas. A solução serve quando você precisa de uma recompensa própria ou de uma loss não padrão, sem administrar o hardware.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
AWS permite escrever seu próprio ciclo de treinamento de LLMs e pagar por token, não por hora de GPU
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1O modelo permanece carregado na GPU entre as etapas do ciclo
Exemplo com GSM8Kcerca de 8.500 problemas de matemática do ensino fundamental
Dado-chave #3Um adaptador LoRA para o GPT-OSS 20B é treinado com o método GRPO

Imagine que você está fazendo fine-tuning de um modelo de linguagem (LLM) e precisa de uma função de recompensa própria: por exemplo, um código que executa as respostas do modelo contra testes unitários e atribui uma nota. Os serviços gerenciados prontos não oferecem isso, então seria preciso montar um cluster de GPUs, configurar os frameworks e acompanhar tudo para que nada quebre no meio da noite. O Amazon SageMaker AI agora oferece uma terceira opção: as APIs de sessões de treinamento (training session APIs). Você escreve o ciclo de treinamento em Python, e a AWS cuida do aluguel e da manutenção da computação.

O que a AWS esconde

Antes, os serviços gerenciados escondiam do usuário o próprio algoritmo: você escolhia o modelo, carregava os dados e definia os hiperparâmetros. Agora, o que fica oculto é a computação, e o algoritmo continua sendo seu. As operações básicas de treinamento viraram chamadas de API: forward_backward() calcula como os pesos devem mudar, optim_step() aplica essa mudança, e sample() gera as respostas do modelo. Com esses blocos, você monta qualquer procedimento: fine-tuning supervisionado (SFT) com exemplos rotulados, otimização de preferências, aprendizado por reforço (RL) ou um método novo publicado na semana passada.

O código roda na sua máquina, e as chamadas vão para uma sessão ativa com GPU, onde já estão carregados o modelo base e o adaptador LoRA (uma pequena camada adicional, que é justamente o que está sendo treinado). O modelo permanece na memória entre as etapas. A execução distribuída, a sincronização de gradientes, a recuperação após falhas e o isolamento entre clientes ficam por conta do serviço. Além disso, a sessão ativa expõe um endpoint compatível com o chat completions da OpenAI, então o código cliente existente pode ser apontado para o modelo em treinamento.

No SageMaker Python SDK há três clientes. O ServiceClient guarda as configurações da plataforma: a role de acesso, o local dos resultados no S3 e, se necessário, a chave KMS e a configuração de VPC. Ele cria um TrainingClient para o treinamento e o salvamento de checkpoints, e este cria um SamplingClient para gerar e avaliar respostas.

Como isso funciona numa tarefa de matemática escolar

A AWS detalha um exemplo mínimo com o GSM8K, um conjunto de cerca de 8.500 problemas de matemática do ensino fundamental, cada um com uma única resposta numérica. Por exemplo: Natália vendeu clipes para 48 amigos em abril, e em maio vendeu a metade. Quantos clipes ela vendeu no total? Resposta: 72. O que se treina é um adaptador LoRA para o GPT-OSS 20B, usando o método GRPO. Para cada pergunta, o modelo gera várias respostas candidatas, cada uma é verificada quanto à correção, e as que ficam acima da média do grupo são reforçadas.

Cada etapa do ciclo tem quatro partes. Primeiro, as respostas são geradas na GPU. Depois, o seu código no notebook as avalia: 1 se o número coincide com o gabarito, 0 caso contrário. Em seguida, forward_backward e optim_step são executados na GPU. Por fim, o gerador é atualizado para que a próxima etapa obtenha respostas do modelo já aprimorado. Os dados, o controle do ciclo e a recompensa permanecem com você, e tudo o que exige placas de vídeo fica a cargo do SageMaker.

O mesmo conjunto de operações serve para o SFT tradicional: basta remover a geração e a recompensa e calcular a cross_entropy sobre exemplos rotulados. Junto com o serviço, a AWS publicou um cookbook com receitas prontas de SFT e RL. A mais ilustrativa ensina o modelo a resolver problemas de programação competitiva: o código gerado é executado contra testes unitários, e o resultado vira a recompensa.

Custos e para quem é indicado

O detalhe prático mais importante está na cobrança. Paga-se pelos tokens processados, não pelas horas de uso da GPU. Se a sua função de recompensa leva dez segundos para verificar um lote na sua máquina, as placas não são tarifadas nesse tempo. Não há custo ocioso: o carregamento dos dados, o logging e a depuração não consomem o orçamento de GPU. Os gastos dependem do volume de dados e da geração, não do tempo de relógio nem do tamanho do cluster, o que facilita a previsão de custos e a comparação entre experimentos. Vale especialmente quando há muita computação local: modelos de recompensa complexos, execuções agênticas com várias ferramentas, verificação humana.

O serviço se destina a pesquisadores de pós-treinamento, equipes com loss não padrão ou pipelines de várias etapas, desenvolvedores de RL agêntico e engenheiros de ML que já ultrapassaram as receitas de configuração, mas não querem administrar clusters. Para controle total sobre o hardware, continuam disponíveis os SageMaker Training Jobs e o HyperPod.

Há também limitações. O treinamento é feito por meio de adaptadores LoRA; a lista de modelos e regiões suportadas deve ser conferida na documentação, e a descrição do serviço é da própria AWS, sem medições independentes. Se você só precisa de uma receita padrão, a customização gerenciada é mais simples. Já se o gargalo é o seu próprio algoritmo, e não o hardware, vale testar essa abordagem.

História

Perguntas frequentes sobre a notícia

O que a AWS esconde?

Antes, os serviços gerenciados escondiam do usuário o próprio algoritmo: você escolhia o modelo, carregava os dados e definia os hiperparâmetros. Agora, o que fica oculto é a computação, e o algoritmo continua sendo seu. As operações básicas de treinamento viraram chamadas de API: forward_backward() calcula como os pesos devem mudar, optim_step() aplica essa mudança, e sample() gera as respostas do modelo.

Como isso funciona numa tarefa de matemática escolar?

A AWS detalha um exemplo mínimo com o GSM8K, um conjunto de cerca de 8.500 problemas de matemática do ensino fundamental, cada um com uma única resposta numérica. Por exemplo: Natália vendeu clipes para 48 amigos em abril, e em maio vendeu a metade. Quantos clipes ela vendeu no total? Resposta: 72. O que se treina é um adaptador LoRA para o GPT-OSS 20B, usando o método GRPO.

O que se sabe sobre Custos e para quem é indicado?

O detalhe prático mais importante está na cobrança. Paga-se pelos tokens processados, não pelas horas de uso da GPU. Se a sua função de recompensa leva dez segundos para verificar um lote na sua máquina, as placas não são tarifadas nesse tempo. Não há custo ocioso: o carregamento dos dados, o logging e a depuração não consomem o orçamento de GPU.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…