AWS mostra como ajustar o Amazon Nova com o Nova Forge SDK e o SageMaker Jobs

A AWS apresentou um cenário prático de personalização de modelos Amazon Nova com o Nova Forge SDK e o Amazon SageMaker AI. No guia, a equipe percorre todo o ciclo: da avaliação base do modelo a SFT, RFT e a publicação de um endpoint próprio de inferência.

Cenário e dados

A AWS posiciona o Nova Forge SDK como uma camada que elimina a parte mais tediosa da personalização de LLMs: preparar infraestrutura, escolher imagens, validar configurações e iniciar receitas de treinamento. Em vez de montar o pipeline na mão, o desenvolvedor recebe componentes prontos para carregar o dataset, converter o formato, iniciar um job no SageMaker e avaliar o resultado.

O artigo mostra isso não com um exemplo de brinquedo, mas com uma tarefa aplicada clara: classificar automaticamente a qualidade de perguntas do Stack Overflow.

No experimento, a AWS usou o dataset Stack Overflow Question Quality, com 60 mil perguntas de 2016–2020, e selecionou aleatoriamente 4700 registros. O modelo precisava enquadrar cada pergunta em uma de três categorias: HQ, LQ_EDIT ou LQ_CLOSE. Foram separados 3500 exemplos para SFT e 500 para avaliação. Para o RFT, a AWS usou mais 700 exemplos especializados, complementados com todos os 3500 registros de SFT, para que o modelo não perdesse o formato de resposta já aprendido.

Como foi o treinamento

O experimento tem quatro etapas: avaliação base do Nova 2.0 pré-treinado, depois supervised fine-tuning, em seguida reinforcement fine-tuning e, por fim, deploy no Amazon SageMaker AI Inference.

A AWS usa a classe `CSVDatasetLoader` para carregar CSV, verificar o esquema e transformar os dados, e `SMTJRuntimeManager` para iniciar a computação. O SFT do exemplo roda em quatro instâncias ml.p5.48xlarge, e o SDK pode validar antecipadamente a compatibilidade do ambiente e dos parâmetros, para que os erros não apareçam só depois do início do job.

• O baseline mostra como o modelo se comporta sem ajuste fino
• O SFT ensina o formato correto e o padrão de resposta do domínio
• O RFT refina a solução por meio de uma função de recompensa
• O deploy pode ser feito no Bedrock ou no SageMaker

Para o RFT, a AWS adicionou uma função de recompensa simples via Lambda: +1 para a classe correta e -1 para a errada. O ajuste rodou sobre o checkpoint do SFT em duas instâncias ml.p5.48xlarge, e a execução foi curta: apenas 40 passos. Além disso, a equipe limitou o tamanho da saída e incluiu uma penalidade KL para que o modelo não se afastasse demais do comportamento fixado no SFT.

Ou seja, o SDK atua aqui não apenas como um invólucro para iniciar jobs, mas como ponto único para preparação de dados, treinamento, logs e deploy.

O que as métricas mostraram

A parte mais útil do artigo são os números. O Nova 2.0 base atingiu apenas 13% de exact match na tarefa de três classes, em que um palpite aleatório daria cerca de 33,3%. Mesmo ignorando a verbosidade e extraindo só o rótulo de classe do texto, a precisão foi de 52,2%. A AWS atribui isso a dois problemas: o modelo escrevia explicações longas com facilidade demais, em vez de um único rótulo, e tinha viés para responder HQ independentemente da qualidade real da pergunta.

Após um SFT curto, o exact match subiu para 77,2%, e a precisão de classificação sobre rótulos extraídos, para 79,0%. A camada seguinte, o RFT, acrescentou um pouco mais: o exact match chegou a 78,8%, o quasi-EM a 80,6% e o F1 a 78,8%. O ganho após a etapa de reforço não é gigantesco, mas é estável em quase todas as métricas principais.

A AWS observa ainda que o BLEU é quase inútil para essa tarefa: quando o modelo responde com um único token, como HQ ou LQ_CLOSE, exact match e F1 importam mais do que a sobreposição de n-gramas.

O que isso significa

A AWS tenta vender não apenas mais um modelo, mas um caminho mais curto para ajustá-lo a usos reais. Se o Nova Forge SDK de fato cobre validação, execução, monitoramento e deploy em uma única interface, ficará mais fácil para as equipes testar hipóteses em datasets de nicho sem uma maratona de MLOps a cada iteração.