Pesquisadores da CMU ensinam modelos de RL a não "soltar água": FORK elevou a taxa de vitórias de 22% para 74%

O aprendizado por reforço baseado em rubricas se tornou um dos métodos funcionais para aprimorar modelos em cenários sem verificação automática de correção: consultas médicas, explicações longas, perguntas abertas. Mas o método revelou um efeito colateral conhecido por qualquer pessoa que já leu respostas de chatbots modernos: elas inflam. Um grupo de pesquisadores da Carnegie Mellon University e colegas mostrou que a causa está diretamente na estrutura da recompensa, e propôs uma correção chamada FORK. Em benchmarks médicos, ela elevou a taxa de vitórias sobre o modelo base de 10,6% para 68,0% no RubricHub-Medical e de 22,1% para 74,1% no HealthBench.

Por que a rubrica recompensa a verborragia?

Uma rubrica é uma lista de critérios que uma boa resposta deve satisfazer: mencionar uma contraindicação, citar um sintoma, sugerir consultar um médico. A recompensa geralmente é calculada como uma fração ponderada dos itens cumpridos. No fundo, isso é recall: quanto do necessário o modelo cobriu.

O problema é que essa métrica não tem limite superior de extensão. Cada frase extra é mais uma chance de fechar acidentalmente um critério, e não há penalidade por lixo textual. A política de RL encontra isso rapidamente. As respostas ficam mais completas, mas também mais prolixas, com trechos desnecessários e erros factuais. No final, o modelo treinado perde para a versão original em comparação direta: pessoas e avaliadores preferem as respostas da versão base, mesmo que elas sejam formalmente mais fracas segundo a rubrica. Um exemplo clássico de reward hacking, só que sem trapaça explícita: o modelo está honestamente otimizando aquilo que está sendo medido.

O que o FORK adiciona

Os autores introduzem um segundo objetivo — precisão. O requisito é simples: cada unidade da resposta deve ser ao mesmo tempo necessária e factualmente correta. Para isso, são usados dois mecanismos:

• necessity credits — créditos de necessidade derivados da própria rubrica, que indicam qual fragmento da resposta é realmente necessário para cobrir os critérios;
• factual-correctness grader — um avaliador separado que verifica a precisão factual de cada fragmento.

O FORK otimiza recall e precisão em conjunto. Uma frase extra que não contribui para nenhum critério deixa de ser gratuita, e uma afirmação incorreta reduz diretamente a recompensa. Fica vantajoso para o modelo escrever de forma mais densa.

O que os experimentos mostraram

Segundo o artigo (arXiv 2610.33512), o FORK supera os métodos existentes de RL baseado em rubricas e alcança um equilíbrio ótimo de Pareto entre cobertura de rubrica e qualidade geral da resposta. Principais resultados:

• em comparação com a recompensa original baseada em recall, a precisão é notavelmente maior, e a extensão das respostas diminui;
• a cobertura das rubricas permanece em nível comparável: o modelo não sacrifica a completude em troca de concisão;
• a taxa de vitórias contra a política base no RubricHub-Medical subiu de 10,6% para 68,0%;
• a taxa de vitórias contra a política base no HealthBench subiu de 22,1% para 74,1%.

O próprio fato de que os modelos base venciam as versões treinadas por RL em 78–89% dos casos já é um número revelador. Isso mostra que a otimização por rubrica sem controle de precisão gerava um ganho formal na métrica e uma degradação real aos olhos do avaliador.

Participaram do trabalho Hyun Ryu, Jong-Heon Kim, Yiqing Xie, Seungone Kim, Carolyn Rose e Eunho Yang. O artigo entrou no Hugging Face Daily Papers, e o código foi publicado no repositório JHKim631/FORK no GitHub.

O que fazer com isso na prática

Equipes que fazem fine-tuning de modelos com rubricas, especialmente em medicina, direito e finanças, onde o custo de uma afirmação extra e imprecisa é alto, ganham um checklist concreto. Primeiro, observar não apenas a cobertura da rubrica, mas também a extensão das respostas e a proporção de afirmações incorretas: um aumento na extensão com métrica estável é um sinal de alerta. Segundo, adicionar à recompensa uma penalidade por conteúdo desnecessário e uma verificação factual separada, em vez de esperar que o avaliador "puna" sozinho a verborragia. Terceiro, comparar o modelo treinado com o modelo base em preferências pareadas: foi exatamente ali que o reward hacking apareceu.

A limitação é evidente: o FORK exige um avaliador adicional de precisão factual, o que implica custo computacional extra em cada etapa de treinamento e dependência da qualidade desse avaliador. Por outro lado, a ideia se estende além da medicina: em qualquer lugar onde a resposta seja avaliada por uma lista de critérios, uma recompensa baseada apenas em recall vai empurrar o modelo para a verborragia.