AWS explica como ajustar o Amazon Nova com um LLM como juiz em tarefas corporativas complexas

A AWS detalhou como aplicar reinforcement fine-tuning com a abordagem LLM-as-a-judge aos modelos Amazon Nova. Em vez de rotulagem manual ou de um conjunto de regras rígidas, um modelo de linguagem separado avalia a qualidade da resposta, e o veredito dele vira o sinal de recompensa para o treinamento.

Por que usar um juiz

Segundo a AWS, o RFT comum pode ser construído ou sobre regras verificáveis, como a correspondência exata de uma string, ou sobre um esquema em que outro LLM avalia a resposta por vários critérios ao mesmo tempo. A segunda opção serve para os casos em que a qualidade não se resume a uma única fórmula.

Em tarefas corporativas, importa não só a precisão factual, mas também tom, segurança, completude, relevância e conformidade com as políticas internas. Nessa abordagem, o modelo juiz não apenas dá uma nota: ele também ajuda a entender por que uma resposta é melhor que outra. A AWS ressalta que esse esquema acelera as iterações: a equipe vê exatamente onde o modelo falha e pode corrigir a função de recompensa mais rápido. Isso é especialmente útil em áreas onde o erro não aparece como um bug evidente, mas se manifesta em nuances de redação, em um risco omitido ou em uma argumentação fraca.

Seis passos de configuração

A AWS divide a implantação do LLM-as-a-judge em alguns passos práticos. Primeiro, é preciso escolher o tipo de avaliação: rubric-based, em que o juiz dá uma nota absoluta a uma única resposta, ou preference-based, em que ele compara duas opções e escolhe a melhor. Se não houver preferências prontas, a empresa aconselha começar pela abordagem de rubrica, com critérios simples de pass/fail em vez de uma escala de 1 a 10.

• Escolher o modo de julgamento: avaliação absoluta ou comparação em pares
• Definir com clareza os critérios de qualidade, com sinais observáveis
• Selecionar o modelo juiz conforme o domínio e o orçamento via Amazon Bedrock
• Exigir uma resposta JSON estruturada, para que a recompensa possa ser interpretada com confiabilidade
• Conectar a função de recompensa às métricas de produção e adicionar uma camada Lambda resiliente

A AWS dá ênfase especial à infraestrutura. Ela recomenda não depender apenas do juiz e complementá-lo com verificações determinísticas rápidas: validade do JSON, tamanho da resposta, correspondência de idioma e filtros de segurança. A própria Reward Lambda precisa aguentar milhares de avaliações por passo de treinamento; por isso, são recomendados exponential backoff nas chamadas ao Bedrock, paralelização com ThreadPoolExecutor ou padrões async, timeout de até 15 minutos e provisioned concurrency de cerca de 100 nas configurações típicas. Se o juiz ou a API falharem, é melhor devolver uma recompensa neutra do que derrubar todo o passo de treinamento. Também se aconselha manter um conjunto de testes de regressão para o próprio pipeline do juiz.

O caso dos contratos

Como demonstração, a AWS descreve um projeto com um parceiro do setor jurídico. A tarefa é analisar automaticamente novos contratos, compará-los com regras internas, contratos anteriores e exigências da legislação, e gerar como saída um JSON com comentários, tipos de apontamentos e ações recomendadas.

O conjunto de dados original era pequeno e continha contratos rotulados por especialistas, então o supervised fine-tuning clássico trazia um efeito limitado. Para o RFT, foram usados um modelo juiz separado, o GPT OSS 120B, e um system prompt personalizado. O juiz verificava se o comentário de fato se baseia em um trecho do próprio contrato, se está de acordo com o documento de referência e se é possível tomar uma ação a partir dele. Depois, tudo isso foi encapsulado em uma função Lambda, e o treinamento foi iniciado pelo Nova Forge SDK, com várias gerações por exemplo e limite de 100 chamadas concorrentes.

O resultado: o Amazon Nova 2 Lite após o RFT alcançou nota agregada de 4,33 em 5 e validação perfeita do esquema JSON, superando o Claude Sonnet 4.5 e o Claude Haiku 4.5. A AWS observa à parte que as versões SFT apresentaram artefatos como comentários repetidos e caracteres Unicode estranhos, enquanto os checkpoints de RFT não tiveram isso. Mais importante ainda: o modelo manteve bons resultados mesmo após a mudança do judge prompt, ou seja, aprendeu padrões gerais de qualidade, e não uma fórmula de avaliação específica. A desvantagem também é apontada sem rodeios: o RFT exigiu de 4 a 8 rollouts por exemplo de treinamento e custou mais em computação.

O que isso significa

Na prática, a AWS promove o RFT com LLM-as-a-judge como um caminho viável para ajustar modelos a cenários corporativos sensíveis, em que regras simples não bastam e a rotulagem manual é cara demais. Se a abordagem com o Amazon Nova realmente funcionar em produção, empresas dos setores jurídico, financeiro e de saúde ganham uma forma de ajustar modelos aos seus próprios padrões e, ao mesmo tempo, controlar melhor o formato, a qualidade e a explicabilidade das respostas.