S2T-RLHF : pourquoi une récompense par phrase est plus stable qu'une récompense par token en RLHF

En juillet 2026, un article publié sur arXiv a décrit S2T-RLHF, une méthode d'entraînement de modèles de langage sur des préférences humaines. Elle répartit la récompense d'abord par phrase de la réponse, puis par token, afin de rendre nettement plus stable un processus de RLHF réputé instable.

Pourquoi le RLHF est instable

Le RLHF standard est instable parce que le modèle reçoit une unique récompense scalaire pour toute la réponse, puis cette évaluation est « diluée » dans les mises à jour de la politique au niveau de chaque token. On ne sait donc pas quelle partie de la réponse mérite une note haute ou basse : le problème de l'attribution du « mérite » (credit assignment) au sein de la réponse reste ambigu.

Le modèle de préférence, entraîné sur des comparaisons par paires de réponses, n'évalue que la réponse dans son ensemble, et non mot par mot. Le signal de préférence n'est défini qu'au niveau de la réponse entière (response level) ; le transposer mécaniquement à des tokens individuels ajoute donc du bruit et déstabilise l'entraînement.

Ce que propose S2T-RLHF

S2T-RLHF (sentence-to-token) introduit un niveau intermédiaire entre la réponse entière et le token : la phrase. La méthode répartit d'abord la récompense de la réponse entière entre les phrases, puis n'applique à l'intérieur de chaque phrase qu'un ajustement borné (bounded) au niveau des tokens. Détail important : cela ne nécessite ni de réentraîner le reward model, ni de produire un étiquetage distinct des récompenses au niveau des tokens.

• Trois niveaux de granularité : réponse entière → phrase → token
• La récompense est d'abord divisée par phrase, puis affinée de façon bornée par token
• Aucun réentraînement du reward model requis
• Aucune supervision au niveau des tokens (token-level supervision), c'est-à-dire aucun étiquetage séparé des récompenses par token
• Validé sur plusieurs jeux de données et dans différentes configurations d'optimisation

Selon les auteurs, cette approche rend l'entraînement plus stable et plus robuste, tandis que la qualité de l'alignement sur les préférences (preference alignment) reste compétitive : la stabilité ne se paie donc pas en précision.

Pourquoi la phrase plutôt que le token

La phrase a été retenue comme échelle intermédiaire parce qu'elle conserve l'intégrité sémantique tout en étant plus résistante au bruit qu'un token isolé. Les auteurs remettent explicitement en cause l'hypothèse répandue selon laquelle plus la récompense est fragmentée finement, meilleure est l'optimisation.

«

Lorsque les signaux de préférence sont bruités et définis uniquement au niveau de la réponse, un raffinement de la récompense trop fin peut amplifier l'incertitude et déstabiliser l'entraînement », indique l'article publié sur arXiv.

Au lieu de courir après une récompense aussi granulaire que possible, les auteurs formulent un principe granularity-aware : la conception de la récompense doit viser la stabilité plutôt que la précision maximale de la répartition. Le niveau de la phrase équilibre la cohérence sémantique et la robustesse face au bruit au niveau des tokens (token-level).

Ce que cela change

Le RLHF reste la principale méthode pour aligner les grands modèles de langage sur les préférences humaines, mais son instabilité est un casse-tête permanent pour les ingénieurs. S2T-RLHF propose une recette peu coûteuse : ne pas chercher la récompense la plus fine possible, mais choisir une échelle intermédiaire raisonnable, la phrase. Si les résultats se reproduisent sur d'autres tâches et d'autres modèles, le « niveau de la phrase » pourrait s'imposer comme granularité par défaut dans l'entraînement sur préférences.

Questions fréquentes

Qu'est-ce que le RLHF ?

Le RLHF (reinforcement learning from human feedback) est un apprentissage par renforcement à partir de retours humains. Le modèle est affiné selon les préférences des utilisateurs : un reward model, entraîné sur des comparaisons de réponses, produit une récompense qui sert à ajuster la politique de génération.

S2T-RLHF nécessite-t-il un étiquetage supplémentaire ?

Non. D'après la description de la méthode, S2T-RLHF fonctionne sans réentraîner le reward model et sans token-level supervision. Autrement dit, il ne faut ni nouvel étiquetage des récompenses par token, ni entraînement séparé d'un évaluateur : la méthode réutilise le signal de préférence existant.