Shan Yang décompose le gain du RL : 82% tiennent à la capacité de rester dans le budget de tokens

L'apprentissage par renforcement sur le résultat (outcome RL) améliore le pass@1 des modèles de raisonnement, mais le pass@k n'augmente pas pour les grandes valeurs de k. C'est ce que Yue et ses coauteurs ont montré en 2025. Shan Yang pose une question que ce débat laisse généralement de côté : tout pass@1 est calculé avec un budget de tokens limité, et les recettes de RL sont elles aussi entraînées sous cette contrainte.

Il a comparé 20 modèles RL publiés, de 1,5B à 32B paramètres, aux modèles thinking dont ils sont issus, sur des tâches de physique et de mathématiques avec des budgets fixes. Sa conclusion : le RL apprend surtout au modèle à aller jusqu'à la réponse, et à le faire de façon plus stable. Il n'ouvre presque pas de nouvelles tâches.

Trois composantes d'un même gain

L'auteur découpe chaque variation de pass@1 en trois parties :

• Finishing : le modèle a eu le temps de répondre avant d'épuiser son budget de tokens.
• Reliability : la réponse est correcte lorsque le modèle va au bout.
• Reach : les tâches que résout le modèle RL alors que le modèle de base échoue sur les huit tentatives, moins les tâches que résout le modèle de base alors que le modèle RL échoue sur les huit tentatives.

Cette décomposition permet de déterminer la nature exacte du gain : un changement de comportement ou une connaissance nouvelle.

Là où le RL aide à terminer la réponse

Quand le modèle de base se heurte souvent à la limite de tokens, presque toute la variation, positive comme négative, relève du finishing : 82% pour des budgets de 4k et 8k. Si l'on donne plus de tokens au modèle de base, il comble lui-même l'essentiel de cet écart. De nombreux modèles thinking raisonnent longuement et n'arrivent tout simplement pas à produire leur réponse finale dans une fenêtre étroite. Le RL leur apprend à tenir dans le budget sur lequel ils ont justement été entraînés.

Quand le modèle de base dispose de suffisamment de tokens, le gain provient de la reliability. Le modèle RL obtient plus souvent une évaluation correcte, y compris sur des tâches que les deux modèles terminent. Autrement dit, le RL améliore aussi le déroulement même de la résolution, et pas seulement la longueur de la réponse.

Reach : de rares solutions nouvelles et leur vérification

Selon la définition de l'auteur, le RL résout rarement ce qui dépasse les capacités du modèle de base. Sur chacun des quatre jeux de physique et de mathématiques, le reach n'ajoute pas plus de 2,1 points de pourcentage.

L'auteur a aussi examiné des cas individuels. Il a retenu 144 problèmes de physique résolus uniquement par le modèle RL, puis les a rééchantillonnés ou a lu les solutions. Seuls 3,5% ont résisté à la vérification. Les autres « victoires » relevaient du hasard ou de raisonnements erronés ayant abouti à une réponse devinée. Lors d'un second contrôle, sur un échantillon aléatoire d'étapes de raisonnement nouvelles confirmées par un humain, neuf sur dix apparaissent aussi dans les échantillons du modèle de base. Le RL sélectionne plus souvent ce que le modèle de base savait déjà faire qu'il n'invente quelque chose de nouveau.

Une petite expérience de RL sur 8B

Dans un petit entraînement RL sur un modèle 8B, le gain sur les nouvelles tâches s'est de nouveau révélé être du finishing, tandis que la reliability n'a pas bougé. L'auteur a aussi essayé d'ajouter à chaque problème une description de son cadre physique. Cette astuce n'a pas montré d'amélioration par rapport au RL classique.

Ce que cela implique pour les praticiens

Pour ceux qui comparent des modèles, la principale conclusion porte sur la méthodologie. Un tableau de pass@1 à un seul petit budget mélange la compétence de résolution et la capacité à tenir dans la limite. Il faut vérifier les résultats avec plusieurs budgets et regarder quelle part du gain disparaît quand on donne plus de tokens au modèle de base. Sinon, on confond facilement le bénéfice d'un raisonnement plus court avec une progression des capacités.

Pour ceux qui entraînent des modèles, le tableau est plus terre à terre. Si la recette de RL est calée sur une limite de tokens stricte, vous achetez d'abord des réponses menées à terme, et seulement ensuite de la fiabilité. Cette méthode ne permet pas, pour l'instant, d'élargir les limites des capacités. Il est alors judicieux de comparer le RL à des options moins coûteuses : augmenter le budget à l'inférence ou recourir à la distillation. Pour acquérir de nouvelles connaissances, il faut d'autres sources de signal, et il convient de les contrôler avec des filtres aussi stricts que ceux appliqués aux 144 problèmes de l'auteur, dont seule une poignée a résisté.

Il est possible de vérifier les résultats soi-même. Le code, les jeux de test et les données ligne par ligne sont disponibles sur GitHub (shanyang-me/outcome-rl-buys), et les principaux chiffres de l'article se recalculent à partir des lignes publiées, sans GPU. Page du projet : shanyang.me/what-outcome-rl-buys.