Comment entraîner Gemma-3 aux mathématiques avec GRPO et des adaptateurs LoRA

Le 5 juillet 2026, des chercheurs ont publié un workflow détaillé pour affiner Gemma-3, le modèle de Google, sur le dataset de mathématiques GSM8K, avec l'algorithme GRPO, des adaptateurs LoRA et le framework Tunix.

Qu'est-ce que GRPO et en quoi diffère-t-il des méthodes classiques ?

GRPO (Group Relative Policy Optimization) est un algorithme d'apprentissage par renforcement adapté spécifiquement aux modèles de langage. Contrairement au PPO classique, qui exige un modèle critique distinct, GRPO compare entre elles plusieurs réponses générées au sein d'un même groupe et met à jour la politique en faveur des meilleures solutions. Cela réduit la consommation de mémoire et rend l'entraînement plus stable.

Cette approche convient particulièrement aux problèmes mathématiques : une réponse est juste ou ne l'est pas, si bien que le signal de récompense se calcule automatiquement et sans ambiguïté. GSM8K (Grade School Math 8K) est un benchmark standard de 8 500 problèmes de mathématiques de niveau primaire, à résolution en plusieurs étapes. Il demande au modèle non seulement de fournir un nombre, mais aussi de reproduire la chaîne de raisonnement, ce qui en fait un terrain d'essai idéal pour GRPO.

• Modèle de base : Gemma-3 de Google
• Dataset : GSM8K (8 500 problèmes scolaires)
• Algorithme : GRPO (Group Relative Policy Optimization)
• Framework : Tunix au-dessus de Hugging Face Transformers
• Affinage : adaptateurs LoRA, sans modifier les poids principaux

Comment le pipeline est construit, étape par étape

Le workflow se découpe en étapes logiques. On configure d'abord l'environnement et on s'authentifie sur le Hugging Face Hub, d'où sont téléchargés les poids de Gemma-3. Ensuite, chaque exemple de GSM8K est enveloppé dans un gabarit « raisonnement + réponse » : dès les premiers pas de l'entraînement, le modèle voit la structure de sortie attendue et apprend à la suivre.

L'élément central, ce sont deux fonctions de récompense. La première vérifie la conformité du format : la réponse contient-elle un bloc de raisonnement et un résultat numérique ? La seconde évalue la précision numérique, c'est-à-dire si le nombre final correspond à la réponse de référence du dataset. GRPO optimise les deux signaux simultanément, en générant un groupe de variantes et en retenant les meilleures.

Pour éviter de réentraîner tout le modèle, des adaptateurs LoRA sont greffés sur Gemma-3 : de petites matrices de faible rang, entraînées à la place des poids principaux « gelés ». Le nombre de paramètres entraînables chute ainsi fortement et les besoins en mémoire vidéo baissent suffisamment pour rendre le workflow réalisable sur du matériel grand public.

Une fois l'entraînement terminé, les auteurs proposent de mesurer la précision avec les adaptateurs et de la comparer au checkpoint de base. En option, on peut fusionner les adaptateurs avec les poids principaux et exporter le modèle final pour le déploiement.

Pourquoi c'est important pour les développeurs

«

Les adaptateurs LoRA rendent tout le processus réalisable sans datacenter », indique la description du workflow.

Il y a encore quelques années, l'affinage de grands modèles exigeait des dizaines de gigaoctets de mémoire vidéo et l'accès à des clusters professionnels. L'association de GRPO et de LoRA change la donne : l'algorithme est déjà plus économe en mémoire que le PPO classique, et LoRA réduit en plus le nombre de paramètres entraînables de 10 à 100 fois selon le rang de l'adaptateur.

Conséquence pratique : un développeur disposant d'une seule carte graphique récente peut prendre un modèle ouvert comme Gemma-3, le spécialiser dans un domaine précis, comme les mathématiques, le droit ou la médecine, et obtenir un modèle spécialisé avec une amélioration mesurable sur le benchmark visé. Tunix joue le rôle d'une surcouche pratique qui automatise la configuration de GRPO et la gestion des adaptateurs ; la même approche s'applique à tout dataset dont les réponses sont vérifiables.

Ce que cela signifie

L'affinage GRPO avec LoRA sur des datasets de domaine quitte les articles académiques pour entrer dans les guides pratiques. Les auteurs ont montré le cycle complet, du téléchargement à l'export, sur un vrai modèle et un benchmark public, abaissant le seuil d'entrée pour les développeurs qui veulent améliorer un modèle ouvert pour une tâche précise sans infrastructure coûteuse.