« Wait » dans les modèles de reasoning : un héritage des données, pas une découverte du RL

Le mot « wait » dans les chaînes de raisonnement est devenu la signature des modèles de reasoning : le modèle l'écrit, s'arrête et revient sur l'étape précédente. On admet généralement qu'il s'agit d'une invention du reinforcement learning, qui aurait trouvé tout seul l'utile habitude de douter. Un nouveau travail publié sur Hugging Face Daily Papers a vérifié cette idée à partir de l'historique d'entraînement de modèles ouverts, et en tire une autre conclusion. Sur les modèles de base où le mot est absent, le RL améliore sensiblement la précision sur MATH-500, tandis que « wait » reste presque invisible. Le marqueur arrive avec les données.

Comment les auteurs ont cherché l'origine d'un mot

Les auteurs ne cherchent pas à savoir ce que le modèle « avait en tête ». Ils ont parcouru les trajectoires d'entraînement de modèles ouverts et calculé des indices sur des échantillons de leurs réponses, sans annotation manuelle. Il y a quatre indices : la fréquence du mot, sa position dans le raisonnement, sa forme (la manière exacte dont il est écrit et mis en forme) et la nature de son usage.

Le cinquième outil est un test d'erreur injectée. On glisse une étape fausse dans le raisonnement et on regarde si le modèle y réagit par un « wait ». On voit ainsi si le marqueur fonctionne comme un signal d'alarme ou s'il figure dans le texte pour la forme.

Le résultat pour le zero-RL pur est sans ambiguïté : il ne fait presque jamais naître le marqueur. Si le modèle de base n'a pas ce mot, le RL fait quand même progresser MATH-500, mais « wait » n'apparaît pas. Le lien entre la précision et ce mot est donc plus faible qu'on ne le croit.

D'où vient réellement le mot

Le marqueur apparaît avec les données. Dans OLMo-3, c'est le mid-training qui l'apporte. Dans la plupart des modèles dont la base ne l'utilise pas, c'est le fine-tuning sur des traces de raisonnement qui l'installe.

Les cas où le modèle de base sait déjà écrire « wait » sont plus intéressants. Ici, les recettes divergent :

• les deux recettes RL-Zero publiées (OLMo-3 et MiMo) multiplient la fréquence du mot ;
• le GRPO sans KL, à partir de la même base, ne le fait pas ;
• la recette d'OLMo-3 gomme la forme du marqueur et le rend plus sensible, mais aussi plus « libéral » comme signal d'alarme : il se déclenche plus souvent, y compris sans erreur réelle ;
• le RL appliqué après un supervised fine-tuning ne change presque pas le marqueur ;
• la recette GRPO des auteurs eux-mêmes supprime le marqueur semé par le fine-tuning.

Le dernier point est particulièrement parlant. Selon les réglages, une même classe d'algorithmes peut renforcer le mot, le laisser tel quel ou l'éliminer. Le comportement dépend de la recette précise, pas du simple fait d'appliquer du RL.

Les pièges pour ceux qui mesurent le raisonnement

La principale conséquence pratique concerne les métriques. La fréquence de « wait » ne montre pas, à elle seule, que le raisonnement a été façonné par le RL. Un compteur élevé peut signifier que le mot est hérité des données, et un compteur bas ne signifie pas que le modèle ne sait pas réviser ses solutions. Sur les modèles de base sans marqueur, le RL a d'ailleurs produit des gains sans lui.

Le second avertissement s'adresse aux adeptes de l'évaluation automatique. Les auteurs appellent à la prudence avec les métriques de révision calculées via LLM-as-a-judge : les juges automatiques peuvent inverser les tendances relevées par des annotateurs humains. Si, dans votre pipeline, la part des « auto-vérifications » est calculée par un autre modèle, les chiffres peuvent indiquer l'inverse de ce que voit un humain.

Ce qu'il faut changer dans la pratique de l'entraînement

Pour une équipe qui construit son propre modèle de reasoning, ce travail livre plusieurs enseignements.

• Une hausse de la fréquence de « wait » dans les logs ne doit pas être comptée comme la preuve que le RL a appris au modèle à raisonner. Il faut d'abord établir si le marqueur était présent dans le modèle de base, dans le mid-training ou dans les données de SFT.
• Les recettes doivent être comparées sur une même base. L'écart entre le RL-Zero d'OLMo-3 et de MiMo et le GRPO sans KL montre que le résultat dépend des détails.
• Le test d'erreur injectée est moins coûteux et plus fiable qu'un comptage de mots. Il vérifie si le modèle réagit à une erreur réelle, et pas seulement s'il écrit le mot attendu.
• Les juges automatiques chargés d'évaluer les révisions doivent être recoupés avec une annotation humaine sur un échantillon, faute de quoi la tendance peut facilement sortir avec le signe inversé.

Pour l'industrie, cela déplace le débat sur l'origine des capacités de raisonnement. Une partie du comportement attribué au RL est inscrite par les données dès des étapes plus précoces. Cela compte pour ceux qui décident où investir le calcul : dans la qualité des traces au mid-training et au SFT, ou dans la boucle de RL elle-même.