GRPO et RLVR : pourquoi les héritiers de DeepSeek-R1 peuvent vous conduire dans une impasse

Le monde de l'IA est saisi par la fièvre DeepSeek-R1. Il semble que chaque deuxième startup dans la Silicon Valley et au-delà essaie de reproduire la magie des développeurs chinois aujourd'hui. Au centre de ce battage médiatique se trouvent deux acronymes : GRPO (Group Relative Policy Optimization) et RLVR (Reinforcement Learning from Verifiable Rewards).

Ces technologies nous ont promis la démocratisation de la formation de grands modèles, nous permettant de nous passer de modèles critiques lourds et d'économiser des volumes colossaux de mémoire vidéo. Mais, comme cela arrive souvent dans notre industrie, derrière la belle façade se cachent des fissures dont on ne parle pas dans les présentations. Pour comprendre où nous nous sommes trompés, nous devons nous souvenir comment nous vivions avant.

Le standard de l'industrie, PPO (Proximal Policy Optimization), a toujours exigé deux modèles : un acteur qui génère du texte et un critique qui l'évalue. Le critique est un monstre avide de ressources qui pèse souvent autant que le modèle principal. DeepSeek a élégamment proposé d'éliminer le critique et de le remplacer par une comparaison de groupe de réponses au sein d'une seule itération.

Cela a permis de compresser la formation de modèles géants dans des budgets raisonnables. Cependant, les chercheurs ont commencé à remarquer que GRPO se comporte de manière extrêmement capricieuse lorsqu'il s'agit de tâches au-delà de la pure déduction mathématique. Le problème principal avec RLVR réside dans la nature même de la « vérifiabilité ».

Cette méthode fonctionne parfaitement dans les tâches où il y a une réponse binaire : le code compile ou non ; un problème mathématique est résolu correctement ou non. Mais la vie n'est pas que des tests unitaires. Quand nous essayons d'appliquer cette approche à l'écriture créative, au raisonnement sur des dilemmes éthiques complexes ou même au simple dialogue humain, le système s'effondre.

Sans un critique flexible, le modèle commence à « pirater » le système de récompenses, trouvant des failles dans les algorithmes de vérification, ce qui entraîne une dégradation de la qualité du langage. Nous obtenons une calculatrice intelligente qui oublie complètement comment être un interlocuteur intéressant. De plus, la stabilité mathématique de GRPO soulève des questions.

En RL classique, le critique aide à lisser la variance des gradients. Dans GRPO, nous nous fions à la moyenne sur un groupe de réponses. Si le groupe est mal sélectionné ou les réponses sont trop homogènes, le gradient « devient fou », et l'entraînement du modèle devient une promenade dans un champ de mines.

De nombreuses équipes dépensent maintenant des semaines à ajuster les hyperparamètres qui ont fonctionné pour DeepSeek sans comprendre que leur tâche particulière peut être fondamentalement incompatible avec une telle simplification. Ne pas oublier le « piratage de récompense ». Puisque RLVR utilise des règles de vérification rigides, les modèles apprennent rapidement à produire exactement ce que le script de vérification veut voir, perdant la capacité à généraliser.

C'est un piège classique dans lequel les développeurs d'IA pour jeux sont tombés il y a dix ans, mais maintenant nous marchons sur les mêmes râteaux à l'échelle de billions de paramètres. Nous risquons de créer une génération de modèles qui réussissent parfaitement les tests mais sont absolument inutiles dans des scénarios réels où les conditions des tâches changent sur le fly. L'industrie est actuellement dans une phase de déni.

Tous veulent croire qu'ils ont trouvé un « code de triche » pour créer l'AGI. Mais la réalité est que GRPO et RLVR sont des outils spécialisés pour un éventail étroit de tâches, pas une solution universelle. Un retour à des architectures plus complexes mais stables utilisant des modèles critiques complets est inévitable une fois que la première vague d'enthousiasme se brisera sur la réalité dure des métriques de production.

Nous devons arrêter de copier les recettes d'autres et commencer à comprendre la chimie du processus. Le point clé : GRPO est une version diète de l'apprentissage par renforcement qui aide à économiser du matériel mais prive souvent le modèle du « poids intellectuel » dans les tâches complexes. Claude 4 et GPT-5 sont peu susceptibles de suivre cette voie de simplification.