DeCert ensina juízes de IA a explicar veredictos: 76,2 no RM-Bench com modelo de 8B

Uma reward model generativa é um LLM que compara duas respostas, explica em palavras qual é a melhor e emite um veredicto. Esses modelos-juízes sustentam pipelines de RLHF e sistemas de avaliação automática. Eles têm um ponto fraco: veredicto correto não significa raciocínio correto. O modelo pode ter simplesmente chutado, se apoiado em um detalhe irrelevante ou escrito uma justificativa que nem sequer leva à conclusão a que ele chegou. A equipe formada por Guiquan Sun, Bing Bai, Martin Renqiang Min e Dongjin Song propõe o DeCert, um framework que treina juízes a escrever justificativas convincentes, sem usar explicações de referência. O DeCert-Qwen3-8B, modelo de 8B, alcança 76,2 no RM-Bench e 52,0 no JudgeBench.

Por que o veredicto correto é um rótulo fraco para o treinamento

O esquema padrão de treinamento de um juiz é simples: gerar várias amostras de julgamento e recompensar aquelas cujo veredicto coincide com a anotação. Porém, dois julgamentos com o mesmo veredicto correto podem ter qualidade muito diferente. Um analisa os fatos e a lógica da resposta; o outro entrega frases genéricas. Para o esquema clássico, os dois valem o mesmo, e o modelo não recebe nenhum sinal de que um é melhor que o outro.

Algumas abordagens existentes resolvem isso com explicações de referência: a justificativa do juiz é comparada com um padrão-ouro. Os autores apontam dois problemas. Esses padrões são caros de obter. Além disso, a coincidência com a referência não prova que a justificativa gerada de fato sustenta o veredicto emitido.

Como o DeCert avalia o «certificado de decisão»

O DeCert verifica a própria justificativa: quão válida ela é e quão alinhada está ao veredicto. Essas avaliações viram um sinal de treinamento por preferências, que leva em conta tanto a correção do veredicto quanto a qualidade da argumentação. A justificativa é avaliada em três eixos:

• soundness — correção e solidez dos argumentos apresentados;
• coverage — completude: se os aspectos relevantes das respostas comparadas foram considerados;
• decision support — se a justificativa de fato conduz ao veredicto emitido.

O passo central trata do caso em que várias amostras chegam ao mesmo veredicto correto. Antes, era preciso tratá-las como equivalentes. Agora, a diferença de qualidade do «certificado» permite montar pares de preferência no nível das justificativas: a forte contra a fraca. O modelo aprende a distinguir uma explicação bem fundamentada de uma que é formalmente correta, mas vazia.

Números e robustez à ordem das respostas

O método foi testado em duas famílias de modelos de 8B e em vários benchmarks, tanto in-distribution quanto out-of-distribution. Segundo os autores, o DeCert supera de forma consistente fortes juízes generativos de referência e, ao mesmo tempo, melhora a qualidade das justificativas. Principais resultados:

• DeCert-Qwen3-8B: 76,2 no RM-Bench;
• DeCert-Qwen3-8B: 52,0 no JudgeBench;
• ganho de position-consistent accuracy de até +14,8 pontos;
• melhora em três indicadores: precisão dos julgamentos, qualidade das justificativas e robustez posicional.

A última métrica merece atenção especial. O viés posicional é um problema conhecido dos juízes baseados em LLM: o veredicto depende da posição em que a resposta é apresentada, e não da qualidade dela. A position-consistent accuracy só conta o acerto se o modelo escolhe a resposta correta nas duas ordens de apresentação. Um ganho de até 14,8 pontos indica que exigir qualidade na justificativa também reduz esses artefatos. Um juiz obrigado a explicar por que uma resposta é melhor tende a se apoiar menos em sinais aleatórios, como a posição.

O que dá para aproveitar na prática

O código está publicado no GitHub, no repositório UConn-DSIS/DeCert, e o artigo está disponível no arXiv com o número 2610.27528. Para equipes que constroem sistemas de LLM-as-a-judge ou treinam reward models para RLHF e RLAIF, a ideia é diretamente aplicável.

Se o juiz precisa entregar não só notas, mas também explicações legíveis (para auditoria de datasets, depuração de agentes, anotação), vale incluir no treinamento um objetivo separado de qualidade do rationale, em vez de se limitar à coincidência do veredicto. Ao gerar várias amostras de julgamento por exemplo, também é útil analisar aquelas em que os veredictos são iguais: é nelas que está o sinal sobre a qualidade do raciocínio. Vale ainda medir a position-consistent accuracy, e não apenas a precisão comum: ela mostra o quanto se pode confiar no juiz.

As limitações também são visíveis: os modelos usados pelos autores são pequenos, de 8B, e a escalabilidade da abordagem ainda precisa ser verificada. Mesmo assim, a possibilidade de melhorar juízes sem explicações de referência caras torna o método interessante para quem busca avaliações confiáveis e explicáveis das respostas de LLMs.