Xiaohongshu e Universidade Fudan criam o DR-Rubric para RL em tarefas abertas

A Xiaohongshu e a Universidade Fudan apresentaram o DR-Rubric, trabalho para a NeurIPS 2026 sobre a construção de rubricas de avaliação para aprendizado por reforço em tarefas abertas. A publicação foi analisada pelo veículo Jiqizhixin. O trecho disponível descreve a formulação do problema e não traz números de benchmarks. Por isso, o texto a seguir examina qual problema os autores querem resolver e o que vale conferir no artigo.

Onde a recompensa verificável deixa de funcionar

Com matemática, tudo é simples. Há uma resposta padrão, o modelo acerta ou erra, e a recompensa é calculada automaticamente. É nisso que se apoia boa parte dos avanços recentes de RL em modelos de raciocínio.

As tarefas abertas funcionam de outro modo. «Descreva o progresso das pesquisas na área», «compare várias rotas técnicas», «dê um conselho profissional com justificativa»: não existe uma única versão correta. E o erro não salta aos olhos. Um fato-chave omitido, um conceito trocado por outro ou uma argumentação fraca se escondem facilmente num texto fluido e confiante. Se a recompensa vem de um modelo avaliador que julga pela impressão geral, a política aprende rápido a escrever bonito, e não a escrever com precisão.

O que é uma rubrica e por que ela importa

A resposta comum da indústria para esse problema é trocar uma nota única por um conjunto de critérios concretos. A rubrica decompõe o que seria uma «boa resposta» em itens verificáveis: os fatos-chave foram mencionados? Os termos foram usados corretamente? A conclusão está sustentada por argumentos? O avaliador responde a perguntas específicas, e a recompensa final é composta a partir delas.

O ponto fraco dessa abordagem está nas próprias rubricas. É preciso obtê-las de algum lugar, e cada consulta exige as suas. Escritas à mão, saem caras e não escalam. Geradas por modelo, podem ficar superficiais ou repetir os pontos cegos do próprio modelo. Pelo nome e pela introdução, o DR-Rubric atua justamente nessa etapa. O significado da sigla e o mecanismo de construção das rubricas não aparecem no trecho.

O que se sabe da publicação

• Autores: Xiaohongshu (RedNote) e Universidade Fudan.
• Evento: NeurIPS 2026.
• Tema: construção de padrões de avaliação para RL em tarefas abertas.
• Tipos de tarefa: revisão de uma área, comparação de abordagens técnicas, recomendações de especialistas.
• Principal dificuldade segundo o texto: definir o que é uma boa resposta quando não há referência.
• Resultados, escala dos modelos e comparação com métodos de base não aparecem no trecho.

O que verificar no artigo completo

Para equipes que treinam modelos em tarefas abertas, o valor do trabalho depende de algumas perguntas.

• Origem das rubricas. Quem as cria: pessoas, um modelo ou uma combinação dos dois, e quanto isso custa por consulta.
• Qualidade dos critérios. Até que ponto as rubricas coincidem com a avaliação de especialistas e distinguem um texto plausível de um texto preciso.
• Resistência a reward hacking. Se a política não aprende a cumprir os itens só na forma, por exemplo citando as palavras certas sem conteúdo.
• Transferência. Se as rubricas funcionam fora das áreas em que foram construídas.
• Resultado nas tarefas. Se elas trazem ganho em benchmarks independentes, e não apenas nas verificações dos próprios autores.

A conclusão prática é simples. Se você roda RL em tarefas sem resposta de referência, não confie em uma nota única de um LLM-juiz. Divida a avaliação em critérios atômicos, inclua itens de penalização para erros típicos e confronte o avaliador periodicamente com anotações humanas. Vale ler o texto completo do DR-Rubric com esse checklist em mãos: ele mostra rapidamente se o método resolve o problema de custo e de reward hacking das rubricas ou apenas o desloca para outra etapa.