Pesquisadores da CMU ensinam modelos de RL a não enrolar: FORK eleva a taxa de vitória de 22% para 74%

O aprendizado por reforço com rubricas virou uma das formas práticas de aprimorar modelos onde não há verificação automática de correção: em consultas médicas, explicações longas e perguntas abertas. Mas o método trouxe um efeito colateral conhecido por qualquer pessoa que já leu respostas de chatbots modernos: elas incham. Um grupo de pesquisadores da Carnegie Mellon University e de instituições parceiras mostrou que a causa está no próprio desenho da recompensa e propôs uma correção chamada FORK. Em benchmarks médicos, ela elevou a taxa de vitória sobre o modelo-base de 10,6% para 68,0% no RubricHub-Medical e de 22,1% para 74,1% no HealthBench.

Por que a rubrica premia a falação

A rubrica é uma lista de critérios que uma boa resposta deve atender: mencionar uma contraindicação, citar um sintoma, sugerir procurar um médico. A recompensa costuma ser calculada como a fração ponderada dos itens cumpridos. Na prática, é recall: quanto do que era necessário o modelo cobriu.

O problema é que essa métrica não tem limite superior de tamanho. Cada frase extra é mais uma chance de atender um critério por acaso, e não há penalidade para o lixo. A política de RL descobre isso rápido. As respostas ficam mais completas, mas também mais longas, com trechos desnecessários e erros factuais. No fim, o modelo treinado perde para o original na comparação direta: pessoas e juízes preferem as respostas da versão-base, ainda que, pela rubrica, elas sejam formalmente mais fracas. É um exemplo clássico de reward hacking, só que sem trapaça explícita: o modelo otimiza honestamente aquilo que lhe é medido.

O que o FORK adiciona

Os autores introduzem um segundo objetivo: precisão. A exigência é simples: cada unidade da resposta deve ser, ao mesmo tempo, necessária e factualmente correta. Para isso, há dois mecanismos:

• necessity credits: créditos de necessidade, derivados da própria rubrica, que indicam qual trecho da resposta é de fato necessário para cobrir os critérios;
• factual-correctness grader: um avaliador separado que verifica a acurácia factual de cada trecho.

O FORK otimiza recall e precisão em conjunto. Uma frase extra que não contribui para nenhum critério deixa de ser gratuita, e uma afirmação incorreta reduz diretamente a recompensa. Passa a valer a pena para o modelo escrever de forma densa.

O que os experimentos mostraram

Segundo o artigo (arXiv 2610.33512), o FORK supera os métodos existentes de RL baseado em rubricas e alcança um equilíbrio Pareto-ótimo entre a cobertura da rubrica e a qualidade geral da resposta. Principais resultados:

• em comparação com a recompensa original baseada em recall, a precisão é nitidamente maior e o tamanho das respostas diminui;
• a cobertura das rubricas permanece em nível comparável: o modelo não sacrifica a completude em nome da concisão;
• a win rate contra a política-base no RubricHub-Medical subiu de 10,6% para 68,0%;
• a win rate contra a política-base no HealthBench subiu de 22,1% para 74,1%.

O fato de os modelos-base terem vencido as versões treinadas com RL em 78–89% dos casos já é, por si só, um número revelador. Ele indica que a otimização por rubrica sem controle de precisão gerava ganho formal na métrica e degradação real aos olhos do avaliador.

Trabalharam no estudo Hyun Ryu, Jong-Heon Kim, Yiqing Xie, Seungone Kim, Carolyn Rose e Eunho Yang. O artigo entrou no Hugging Face Daily Papers, e o código foi publicado no repositório JHKim631/FORK, no GitHub.

O que as equipes práticas podem fazer com isso

Equipes que fazem fine-tuning de modelos com rubricas, especialmente em medicina, direito e finanças, onde uma afirmação extra e imprecisa custa caro, ganham um checklist concreto. Primeiro, olhar não só para a cobertura da rubrica, mas também para o tamanho das respostas e a proporção de afirmações incorretas: aumento de tamanho com métrica estável é sinal de alerta. Segundo, incluir na recompensa uma penalidade para conteúdo desnecessário e uma verificação factual separada, em vez de esperar que o juiz "puna" sozinho a enrolação. Terceiro, comparar o modelo treinado com o modelo-base em preferências pareadas: foi justamente ali que o reward hacking apareceu.

A limitação é evidente: o FORK exige um avaliador adicional de acurácia factual, o que significa mais computação a cada passo do treinamento e dependência da qualidade desse avaliador. Em compensação, a ideia vale além da medicina: onde quer que a resposta seja avaliada por uma lista de critérios, uma recompensa baseada apenas em recall empurrará o modelo para a verbosidade.