SLPO : une méthode qui transpose le RL à récompense vérifiable aux modèles de raisonnement latent

En juillet 2026, des chercheurs ont publié sur arXiv le préprint SLPO (Surrogate Latent Policy Optimization). Cette méthode transpose l'apprentissage par renforcement sur récompense finale aux modèles de raisonnement latent autorégressifs, et leur apprend à choisir eux-mêmes la longueur de leur « réflexion ».

Qu'est-ce que le raisonnement latent

Le raisonnement latent (latent reasoning) conserve les calculs intermédiaires du modèle sous forme de vecteurs continus, au lieu de décoder chaque étape en un token de texte. D'après le résumé publié sur arXiv, cette approche fait déjà jeu égal avec la chaîne de raisonnement explicite (Chain-of-Thought, CoT), et la dépasse parfois, avec des horizons de calcul nettement plus courts.

L'économie est directe : le raisonnement CoT classique déroule sa pensée token par token, et chaque étape intermédiaire exige un décodage distinct. Le modèle latent parcourt le même chemin dans son espace interne de représentations, plus vite et pour un coût de calcul moindre.

Pourquoi le RL ne fonctionnait-il pas avec les modèles latents ?

Le RL classique à récompense vérifiable (RLVR) n'avait pas pu être appliqué aux modèles latents, en raison de deux obstacles techniques. Les raisonneurs CoT explicites ont déjà dépassé l'imitation des données d'entraînement grâce aux récompenses sur le résultat final, tandis que les modèles latents restaient jusqu'ici « prisonniers de l'imitation ».

La cause, selon les auteurs du préprint, tient à la nature même des trajectoires latentes :

• elles n'ont pas de vraisemblance par étape (per-step likelihood) calculable : il n'y a rien à quoi rattacher une récompense étape par étape ;
• elles n'offrent pas d'interface d'arrêt adaptative pour un budget de « réflexion » fixe ;
• de ce fait, la récompense sur le résultat final ne déclenchait pas la mise à l'échelle du calcul à l'inférence (test-time scaling).

Ce que propose SLPO

SLPO lève ces deux obstacles avec deux composants. Le premier est une densité de politique de substitution empirique sur les transitions latentes : elle fournit une distribution de probabilités qui permet d'attribuer le « crédit » d'un succès à l'échelle de toute la trajectoire. Le second est une « tête d'arrêt » (stopping head) entraînée sur un signal de justesse ; l'optimisation sur la récompense finale en fait une politique à horizon variable, qui décide seule du moment où interrompre le raisonnement.

Les faits clés de ces travaux :

• La méthode s'appelle SLPO (Surrogate Latent Policy Optimization) ; il s'agit d'un préprint arXiv de juillet 2026.
• L'objectif est de transposer le RL à récompense finale (outcome-reward RL) aux modèles de raisonnement latent autorégressifs.
• Composant 1 : une densité de politique de substitution, pour attribuer la récompense à l'échelle de la trajectoire.
• Composant 2 : une stopping head entraînée sur la justesse, qui produit un raisonnement de longueur variable.
• Résultat : un Pass@k en hausse avec l'échantillonnage parallèle ; davantage de calcul est alloué aux exemples difficiles.

D'après le résumé, dans les régimes de pensée continue et de pensée « douce » (soft thinking), SLPO améliore le Pass@k avec l'échantillonnage parallèle et alloue des calculs latents plus longs aux tâches difficiles, tout en relevant au passage la précision déterministe.

« SLPO améliore le

Pass@k avec l'échantillonnage parallèle et alloue des calculs latents plus longs aux exemples difficiles, avec une précision déterministe plus élevée », — extrait du résumé du préprint sur arXiv.

Ce que cela change

SLPO lève la principale limite des modèles de raisonnement latent : ils peuvent désormais être affinés par une récompense sur le résultat final, comme on le fait depuis longtemps avec la chaîne de raisonnement textuelle. Si ce résultat se confirme sur de grands modèles, il ouvre la voie à des modèles de raisonnement qui réfléchissent à moindre coût que le CoT classique et ajustent d'eux-mêmes la profondeur de leur raisonnement à la difficulté de la tâche.

Questions fréquentes

Qu'est-ce que le raisonnement latent, en termes simples ?

C'est lorsque le modèle mène ses calculs intermédiaires dans un espace vectoriel interne, au lieu d'écrire chaque étape en mots. Selon le résumé publié sur arXiv, cette méthode est déjà comparable à la chaîne de raisonnement explicite (CoT), tout en nécessitant des horizons de calcul plus courts.

En quoi SLPO diffère-t-il du RL habituel pour le CoT ?

Le RL classique à récompense vérifiable s'appuie sur la vraisemblance par étape des tokens de texte. Les trajectoires latentes n'ont pas cette vraisemblance : SLPO introduit donc une densité de politique de substitution et une « tête d'arrêt » entraînable. C'est la seule voie par laquelle la récompense sur le résultat final devient exploitable pour les modèles latents.