AWS detalha como rodar reinforcement fine-tuning no Amazon Bedrock com APIs compatíveis com OpenAI

A AWS publicou um passo a passo detalhado de como executar reinforcement fine-tuning no Amazon Bedrock por meio de APIs compatíveis com OpenAI. Na prática, a empresa propõe um caminho familiar aos desenvolvedores: o mesmo SDK da OpenAI, mas com o Bedrock como plataforma de treinamento, avaliação e inferência.

Como funciona o processo

O reinforcement fine-tuning (RFT) é usado quando não basta mostrar ao modelo as respostas corretas, como no supervised fine-tuning clássico. Aqui, o modelo gera várias respostas para o mesmo prompt, e uma função de recompensa separada atribui a cada uma uma nota numérica. O Amazon Bedrock pega esse sinal e executa sozinho o ciclo de otimização com o algoritmo GRPO. Para a equipe, isso significa que não é preciso montar uma infraestrutura pesada de reinforcement learning: o serviço cuida da orquestração, do paralelismo, dos checkpoints e das métricas.

No walkthrough prático, a AWS mostra que deixou a entrada o mais parecida possível com o stack já conhecido da OpenAI. O desenvolvedor só precisa apontar `OPENAI_BASE_URL` para o endpoint regional do Bedrock Mantle e informar a `OPENAI_API_KEY` gerada para o Bedrock. Depois, dá para usar as mesmas chamadas: `client.files.create()`, `client.fine_tuning.jobs.create()` e `client.chat.completions.create()`. Ou seja, a barreira não é um SDK novo, e sim o quão bem você formalizou o critério de qualidade da resposta.

Dados e função de recompensa

No exemplo, a AWS usa o dataset GSM8K, com problemas de matemática do ensino fundamental. Os dados são enviados pela Files API em formato JSONL: cada linha tem um bloco `messages` e, nas tarefas verificáveis, é adicionado `reference_answer`. Esse formato permite não só enviar a pergunta ao modelo, mas também guardar uma resposta de referência ou uma regra de verificação. O walkthrough também mostra que o prompt pode ser estruturado de antemão para que a resposta final seja fácil de extrair automaticamente, por exemplo em um formato especial como `\boxed{}` ou depois de um marcador `####`.

O elemento central de todo o esquema é a função de recompensa no AWS Lambda. Na demonstração, ela recebe as trajetórias, encontra a última resposta do assistente, extrai a resposta correta de `reference_answer` e devolve um score de 0 a 1. Em matemática, é uma checagem binária simples, mas a lógica não se limita a esses casos. A AWS destaca que dá para embutir regras próprias no Lambda e, para tarefas menos formalizáveis, usar a abordagem de model-as-a-judge. Há ainda um ponto importante para empresas: durante o processo, os dados não saem do ambiente protegido da AWS e não são usados para treinar modelos do Bedrock.

Treinamento e execução

Iniciar o treinamento é bem compacto: em `fine_tuning.jobs.create()` são passados o modelo base, o arquivo de treinamento, o tipo de método `reinforcement`, o ARN do avaliador Lambda e um conjunto de hiperparâmetros. O exemplo usa `openai.gpt-oss-20b`, uma época, `batch_size=4` e `learning_rate_multiplier=1.0`, embora a documentação recomende começar com um valor abaixo de um, por estabilidade. Em seguida, o Bedrock cria o job, conta os passos e salva checkpoints intermediários, que podem ser usados para avaliar a qualidade antes do fim do treinamento.

Durante o treino, a AWS sugere acompanhar não só o status do job, mas também os eventos com métricas. No exemplo, o job em um subconjunto do GSM8K percorre 67 passos, e a curva de recompensa sobe de cerca de 0.56 para a faixa de 0.85–0.97 já na metade do treinamento. Ao mesmo tempo, as respostas ficam mais curtas, o que os autores interpretam como sinal de que o modelo aprendeu a resolver os problemas com mais precisão e sem enrolação.

• `critic_rewards_mean`: o principal sinal; se cresce, o modelo está aprendendo
• `actor_entropy`: mostra se a diversidade das respostas está colapsando em mode collapse
• `actor_grad_norm`: ajuda a notar instabilidade quando os gradientes começam a oscilar bruscamente
• `response_length_mean`: útil contra reward hacking, quando o modelo passa a inflar as respostas para ganhar nota

Depois que o job termina, não é preciso implantar o modelo separadamente. Basta pegar o `fine_tuned_model` nos detalhes da tarefa e chamá-lo na hora pela Chat Completions API ou pela Responses API, inclusive com streaming. Essa é a principal vantagem prática do esquema: treinamento e inferência ficam no mesmo ambiente de API. A documentação do Bedrock esclarece ainda que o caminho compatível com OpenAI para fine-tuning está disponível, por enquanto, para `openai.gpt-oss-20b` e `qwen.qwen3-32b` na região `us-west-2`.

"Sem endpoint nem hospedagem separados".

O que isso significa

A AWS claramente tenta fazer do reinforcement fine-tuning não uma exótica de pesquisa, mas uma ferramenta normal de engenharia. Se a equipe já tem código para o SDK da OpenAI e uma lógica de recompensa clara, entrar no RFT fica bem mais simples: dá para começar com 100–200 exemplos, verificar as métricas, comparar checkpoints e descobrir se o ajuste produz um modelo mais barato e rápido para uma tarefa específica. Isso é especialmente interessante para matemática, código e outros cenários em que a qualidade da resposta pode ser verificada automaticamente.