MagicBeanStalk fait passer gpt-oss-120b de 61,2 à 69,8 points en mathématiques

Les auteurs du preprint MagicBeanStalk affirment que la majeure partie des données ouvertes pour le RLVR est inutile pour un modèle donné. Dans un corpus mathématique fusionné de 78K tâches, environ 88% des problèmes, pour une politique et un budget de rollouts fixés, sont soit résolus à chaque tentative, soit ratés à chaque tentative. L'algorithme proposé fait pousser récursivement, à partir de tâches difficiles, de nouvelles tâches dont la difficulté est calibrée. Résultat : gpt-oss-120b passe de 61,2 à 69,8 points (+8,6) sur huit benchmarks mathématiques, et DeepSeek v4Flash de 72,4 à 77,9 (+5,4), avec un budget de 16K tokens.

Le piège de l'avantage nul

Le RLVR, l'apprentissage par renforcement avec récompenses vérifiables, se met généralement à l'échelle en augmentant le nombre de tâches. Les auteurs proposent de regarder ailleurs : un jeu de données fournit-il un signal utile à un modèle précis, avec un budget précis ? Ils décrivent l'efficacité d'un dataset comme une fonction de trois variables : les tâches elles-mêmes, la politique cible et le nombre de rollouts par entraînement.

Dans les méthodes à normalisation de la récompense par groupe, comme GRPO, si toutes les tentatives sur une tâche obtiennent le même résultat, l'avantage est nul et il n'y a pas de gradient. Selon l'article, c'est précisément la situation de presque tout le corpus fusionné issu de datasets RLVR populaires. Les tâches faciles sont toujours résolues, les difficiles ne le sont jamais, et le modèle n'a rien à apprendre.

Le filtrage aide en partie : il concentre les tâches restantes sur celles dont les résultats varient. Mais il se contente de sélectionner, et il écarte au passage les exemples les plus difficiles, ceux-là mêmes qui contiennent les schémas de raisonnement dont le modèle a besoin. L'approche naïve échoue aussi : demander directement à un LLM enseignant de faire varier les tâches difficiles ne produit pas la calibration voulue.

Comment fonctionne l'algorithme

MagicBeanStalk procède en deux passes : une décomposition descendante, puis une synthèse récursive ascendante. À partir de la tâche d'origine (seed), il extrait les opérations de raisonnement et leurs modes de composition, puis en assemble des familles de tâches fondamentalement nouvelles, en conservant le « plan de raisonnement » de l'original. La difficulté est ajustée à la politique et au budget : une partie des rollouts doit réussir, une partie échouer, et au moins une solution correcte doit tenir dans la limite de longueur de l'entraînement.

Les chiffres clés de l'article :

• gpt-oss-120b : 61,2 → 69,8 (+8,6) sur 8 benchmarks mathématiques, budget de 16K tokens ;
• DeepSeek v4Flash : 72,4 → 77,9 (+5,4) dans les mêmes conditions ;
• entraînement sur le corpus source complet de 78K tâches : seulement +1,1 ;
• meilleur sous-ensemble filtré de données réelles : +5,8 ;
• finance : plus de 14K tâches vérifiables synthétisées à partir de seulement 340 solutions ;
• gain par rapport au modèle de base en finance : +6,9 sur SecQue et +2,4 sur FinanceBench.

La comparaison avec le filtrage est parlante : les données synthétiques devancent la meilleure tranche de données réelles de 2,8 points pour gpt-oss-120b. La taille du corpus, 78K tâches, se révèle en revanche presque inutile.

Ce que les équipes qui entraînent des modèles doivent retenir

La conclusion pratique est simple : avant de lancer un RLVR, il vaut la peine de mesurer la part de tâches à variance de résultat nulle pour son propre modèle et son propre budget de rollouts. Si elle approche 88%, une part importante du calcul sera gaspillée, et mieux vaut calibrer le dataset que l'agrandir. L'exemple de la finance montre que la méthode peut aussi s'appliquer quand les données annotées sont rares : 340 solutions ont suffi pour 14K tâches vérifiables.

Les réserves sont évidentes. Il s'agit de la première version d'un preprint, dont les résultats n'ont pas été relus par des pairs et ont été obtenus par les auteurs eux-mêmes. Le gain en finance est plus modeste qu'en mathématiques, et la méthode exige des réponses vérifiables : dans les domaines sans vérificateur clair, elle ne s'applique pas. Des reproductions indépendantes sur d'autres modèles et d'autres budgets diront si ces conclusions sont solides.