GRPO et RLVR : pourquoi les héritiers de DeepSeek-R1 pourraient mener à une impasse

Le monde de l'IA est pris de fièvre pour DeepSeek-R1. Une start-up sur deux, dans la Silicon Valley et au-delà, semble tenter aujourd'hui de reproduire la magie des développeurs chinois. Deux acronymes sont au cœur de l'engouement : GRPO (Group Relative Policy Optimization, optimisation relative de politique par groupe) et RLVR (Reinforcement Learning from Verifiable Rewards, apprentissage par renforcement à partir de récompenses vérifiables). Ces technologies promettaient de démocratiser l'entraînement des grands modèles, en permettant de se passer de lourds modèles critiques et d'économiser d'énormes quantités de mémoire vidéo. Mais, comme souvent dans notre secteur, la belle façade cache des fissures dont on ne parle pas dans les présentations.

Pour comprendre où l'on s'est trompé de chemin, il faut se rappeler comment on travaillait avant. Le standard de l'industrie, PPO (Proximal Policy Optimization), a toujours exigé deux modèles : un acteur qui génère le texte et un critique qui l'évalue. Le critique est un monstre vorace en ressources, qui pèse souvent autant que le modèle principal. DeepSeek a proposé avec élégance de supprimer le critique et de le remplacer par une comparaison de groupe des réponses au sein d'une même itération. Cela a permis de faire entrer l'entraînement de modèles géants dans des budgets raisonnables. Les chercheurs ont toutefois commencé à remarquer que GRPO se montre très capricieux dès que les tâches dépassent le raisonnement mathématique pur.

Le principal problème de RLVR tient à la nature même de la « vérifiabilité ». La méthode fonctionne parfaitement sur les tâches à réponse binaire : le code compile ou ne compile pas ; le problème de maths est résolu correctement ou non. Mais la vie ne se résume pas aux tests unitaires.

Quand on applique cette approche à l'écriture créative, au raisonnement sur des dilemmes éthiques complexes ou même à un simple dialogue humain, le système se brise. Sans critique flexible, le modèle se met à « hacker » le système de récompenses en trouvant des failles dans les algorithmes de vérification, ce qui dégrade la qualité de son langage. On obtient une calculatrice brillante qui oublie complètement comment être un interlocuteur intéressant.

Par ailleurs, la stabilité mathématique de GRPO soulève des questions. Dans le RL classique, le critique aide à lisser la variance des gradients. Dans GRPO, on s'appuie sur la moyenne d'un groupe de réponses. Si le groupe est mal choisi ou si les réponses sont trop uniformes, le gradient devient fou et l'entraînement du modèle tourne à la promenade dans un champ de mines. De nombreuses équipes passent désormais des semaines à régler les hyperparamètres qui ont fonctionné chez DeepSeek, sans comprendre que leur tâche précise peut être fondamentalement incompatible avec une telle simplification.

Il ne faut pas non plus oublier le « surapprentissage de la récompense ». Comme RLVR repose sur des règles de vérification rigides, les modèles apprennent vite à produire exactement ce que veut voir le script de contrôle, au détriment de leur capacité de généralisation. C'est un piège classique dans lequel sont tombés les développeurs d'IA de jeux il y a dix ans, mais nous retombons dans le même panneau à l'échelle de milliers de milliards de paramètres. Nous risquons de créer une génération de modèles qui réussissent parfaitement les tests, mais qui sont totalement inutiles dans des scénarios réels, où les conditions de la tâche changent en cours de route.

L'industrie traverse actuellement une phase de déni. Tout le monde veut croire avoir trouvé un « code de triche » pour créer l'AGI. La réalité, c'est que GRPO et RLVR sont des outils spécialisés pour un éventail étroit de tâches, pas une solution universelle. Le retour à des architectures plus complexes mais stables, avec de vrais modèles critiques, est inévitable dès que la première vague d'enthousiasme se heurtera à la dure réalité des métriques de production. Il faut cesser de copier les recettes des autres et commencer à comprendre la chimie du procédé.

À retenir : GRPO est une version allégée de l'apprentissage par renforcement, qui aide à économiser sur le matériel mais prive souvent le modèle de « poids intellectuel » sur les tâches complexes. Claude 4 et GPT-5 ont peu de chances d'emprunter cette voie de la simplification.