Cómo entrenar Gemma-3 en matemáticas con GRPO y adaptadores LoRA

El 5 de julio de 2026, un grupo de investigadores publicó un flujo de trabajo detallado para ajustar Gemma-3, de Google, con el dataset matemático GSM8K mediante el algoritmo GRPO, adaptadores LoRA y el framework Tunix.

Qué es GRPO y en qué se diferencia de los métodos clásicos

GRPO (Group Relative Policy Optimization) es un algoritmo de aprendizaje por refuerzo adaptado específicamente a los modelos de lenguaje. A diferencia del PPO clásico, que requiere un modelo crítico independiente, GRPO compara entre sí varias respuestas generadas dentro de un mismo grupo y actualiza la política a favor de las soluciones más acertadas. Esto reduce el consumo de memoria y hace el entrenamiento más estable.

Este enfoque resulta especialmente cómodo para problemas matemáticos: la respuesta es correcta o no lo es, de modo que la señal de recompensa se calcula de forma automática e inequívoca. GSM8K (Grade School Math 8K) es un benchmark estándar de 8.500 problemas de matemáticas de primaria con solución en varios pasos. Exige al modelo no solo dar un número, sino reproducir la cadena de razonamiento, lo que lo convierte en un campo de pruebas ideal para GRPO.

• Modelo base: Gemma-3, de Google
• Dataset: GSM8K (8.500 problemas escolares)
• Algoritmo: GRPO (Group Relative Policy Optimization)
• Framework: Tunix sobre Hugging Face Transformers
• Ajuste: adaptadores LoRA, sin modificar los pesos principales

Cómo se construye el pipeline paso a paso

El flujo de trabajo se divide en etapas lógicas. Primero se configura el entorno y se completa la autenticación en Hugging Face Hub, de donde se descargan los pesos de Gemma-3. Después, cada ejemplo de GSM8K se envuelve en una plantilla de «razonamiento + respuesta»: desde los primeros pasos del entrenamiento, el modelo ve la estructura de salida esperada y aprende a seguirla.

El elemento central son dos funciones de recompensa. La primera comprueba que el formato sea correcto: si la respuesta incluye un bloque de razonamiento y un resultado numérico. La segunda evalúa la precisión numérica, es decir, si el número final coincide con la respuesta de referencia del dataset. GRPO optimiza ambas señales a la vez, generando un grupo de variantes y seleccionando las mejores.

Para no reentrenar el modelo entero, se conectan a Gemma-3 adaptadores LoRA: matrices compactas de bajo rango que se entrenan en lugar de los pesos principales «congelados». Como resultado, el número de parámetros entrenables cae drásticamente y los requisitos de memoria de vídeo bajan hasta el punto de que el flujo de trabajo es viable en hardware de consumo.

Tras el entrenamiento, los autores proponen medir la precisión con los adaptadores y compararla con el checkpoint base. Opcionalmente, se pueden fusionar los adaptadores con los pesos principales y exportar el modelo final para su despliegue.

Por qué importa a los desarrolladores

«Los adaptadores

LoRA hacen que todo el proceso sea factible sin un centro de datos», señala la descripción del flujo de trabajo.

Hace apenas unos años, el ajuste fino de modelos grandes requería decenas de gigabytes de memoria de vídeo y acceso a clústeres profesionales. La combinación de GRPO y LoRA cambia esto: el algoritmo ya consume menos memoria que el PPO clásico, y LoRA reduce además entre 10 y 100 veces el número de parámetros entrenables, según el rango del adaptador.

La consecuencia práctica: un desarrollador con una sola tarjeta gráfica moderna puede tomar un modelo abierto como Gemma-3, especializarlo en un dominio concreto, como las matemáticas, el derecho o la medicina, y obtener un modelo especializado con una mejora medible en el benchmark objetivo. Tunix actúa como una envoltura cómoda que automatiza la configuración de GRPO y la gestión de adaptadores; el mismo enfoque es aplicable a cualquier dataset con respuestas verificables.

Qué significa

El ajuste con GRPO y LoRA sobre datasets de dominio sale de los artículos académicos y pasa a las guías prácticas. Los autores mostraron el ciclo completo, de la descarga a la exportación, con un modelo real y un benchmark público, y redujeron la barrera de entrada para los desarrolladores que quieren mejorar un modelo abierto para una tarea concreta sin una infraestructura costosa.