S2T-RLHF: por que a recompensa por sentença é mais estável do que por token no RLHF

Em julho de 2026, foi publicado no arXiv um artigo que descreve o S2T-RLHF, método de treinamento de modelos de linguagem com base em preferências humanas. Ele distribui a recompensa primeiro por sentenças da resposta e depois por tokens individuais, com o objetivo de tornar bem mais estável o processo instável do RLHF.

Por que o RLHF é instável

O RLHF padrão é instável porque o modelo recebe uma única recompensa escalar para a resposta inteira, e essa avaliação é depois «diluída» nas atualizações da política no nível de tokens individuais. Com isso, fica pouco claro qual parte da resposta de fato mereceu uma nota alta ou baixa: o problema da atribuição de «mérito» (credit assignment) dentro da resposta continua ambíguo.

O modelo de preferência, treinado em comparações pareadas de respostas, avalia a resposta apenas como um todo, e não palavra por palavra. O sinal de preferência existe somente no nível da resposta completa (response level). Por isso, transferi-lo mecanicamente para tokens individuais introduz ruído adicional e desestabiliza o treinamento.

O que o S2T-RLHF propõe

O S2T-RLHF (sentence-to-token) introduz um nível intermediário entre a resposta inteira e o token: a sentença. O método primeiro decompõe a recompensa da resposta completa entre as sentenças e, dentro de cada sentença, faz apenas um ajuste limitado (bounded) por token. Um detalhe importante: ele dispensa tanto o retreinamento do reward model quanto a preparação de uma anotação separada de recompensas no nível de tokens.

• Três níveis de granularidade: resposta inteira → sentença → token
• A recompensa é primeiro dividida entre as sentenças e depois refinada, de forma limitada, entre os tokens
• Não exige retreinamento do reward model
• Não exige token-level supervision, ou seja, anotação separada de recompensas por token
• Testado em vários datasets e em diferentes configurações de otimização

Segundo os autores, com essa abordagem o treinamento se torna mais estável e robusto, e a qualidade do alinhamento às preferências (preference alignment) segue competitiva. Em outras palavras, não é preciso sacrificar precisão para ganhar estabilidade.

Por que sentença, e não token

A sentença foi escolhida como escala intermediária porque preserva a integridade semântica e, ao mesmo tempo, é mais resistente a ruído do que o token isolado. Os autores contestam diretamente a suposição comum de que, quanto mais fina a divisão da recompensa, melhor a otimização.

«Quando os sinais de preferência são ruidosos e definidos apenas no

nível da resposta, um refinamento excessivamente granular da recompensa pode amplificar a incerteza e desestabilizar o treinamento», diz o artigo no arXiv.

Em vez de perseguir a recompensa mais fragmentada possível, os autores formulam um princípio granularity-aware: o design da recompensa deve priorizar a estabilidade, e não a precisão máxima da distribuição. O nível da sentença equilibra a coerência semântica com a resistência ao ruído no nível de tokens (token-level).

O que isso significa

O RLHF continua sendo a principal forma de ajustar grandes modelos de linguagem às preferências humanas, mas sua instabilidade é uma dor de cabeça constante para engenheiros. O S2T-RLHF oferece uma receita de baixo custo: em vez de buscar a recompensa mais granular possível, escolher uma escala intermediária sensata, a sentença. Se os resultados se reproduzirem em outras tarefas e modelos, o «nível da sentença» pode se firmar como a granularidade padrão no treinamento por preferências.

Perguntas frequentes

O que é RLHF?

RLHF (reinforcement learning from human feedback) é o aprendizado por reforço com feedback humano. O modelo é ajustado às preferências das pessoas: um reward model, treinado em comparações de respostas, gera a recompensa que serve para corrigir a política de geração.

O S2T-RLHF exige anotação adicional?

Não. Segundo a descrição do método, o S2T-RLHF funciona sem retreinar o reward model e sem token-level supervision. Isso significa que não são necessários nem novos dados de treinamento com recompensas anotadas por token, nem um treinamento separado do avaliador: o método reaproveita o sinal de preferência já existente.