GRPO y RLVR: por qué los herederos de DeepSeek-R1 pueden llevar a un callejón sin salida

El mundo de la IA vive una fiebre por DeepSeek-R1. Parece que una de cada dos startups de Silicon Valley y de fuera intenta hoy reproducir la magia de los desarrolladores chinos. En el centro del bombo hay dos acrónimos: GRPO (Group Relative Policy Optimization, optimización relativa de políticas por grupos) y RLVR (Reinforcement Learning from Verifiable Rewards, aprendizaje por refuerzo a partir de recompensas verificables). Estas tecnologías prometían democratizar el entrenamiento de grandes modelos, al permitir prescindir de pesados modelos críticos y ahorrar enormes cantidades de memoria de vídeo. Pero, como suele ocurrir en nuestro sector, tras la bonita fachada hay grietas de las que no se habla en las presentaciones.

Para entender dónde nos desviamos, conviene recordar cómo se trabajaba antes. El estándar de la industria, PPO (Proximal Policy Optimization), siempre exigió dos modelos: un actor que genera texto y un crítico que lo evalúa. El crítico es un monstruo hambriento de recursos que a menudo pesa tanto como el modelo principal. DeepSeek propuso con elegancia eliminar el crítico y sustituirlo por una comparación grupal de respuestas dentro de una misma iteración. Eso permitió encajar el entrenamiento de modelos gigantes en presupuestos razonables. Sin embargo, los investigadores empezaron a notar que GRPO se comporta de forma muy caprichosa cuando las tareas van más allá del razonamiento matemático puro.

El problema central de RLVR está en la propia naturaleza de la «verificabilidad». El método funciona de maravilla en tareas con respuesta binaria: el código compila o no compila; el problema matemático está bien resuelto o no lo está. Pero la vida no son solo tests unitarios. Cuando intentamos aplicar este enfoque a la escritura creativa, al razonamiento sobre dilemas éticos complejos o incluso a un simple diálogo humano, el sistema se rompe. Sin un crítico flexible, el modelo empieza a «hackear» el sistema de recompensas, encuentra resquicios en los algoritmos de verificación y eso degrada la calidad de su lenguaje. Obtenemos una calculadora lista que olvida por completo cómo ser un interlocutor interesante.

Además, la estabilidad matemática de GRPO plantea dudas. En el RL clásico, el crítico ayuda a suavizar la varianza de los gradientes. En GRPO nos apoyamos en la media de un grupo de respuestas. Si el grupo está mal elegido o las respuestas son demasiado uniformes, el gradiente se descontrola y entrenar el modelo se convierte en un paseo por un campo de minas. Muchos equipos dedican ahora semanas a ajustar los hiperparámetros que funcionaron en DeepSeek, sin entender que su tarea concreta puede ser fundamentalmente incompatible con esa simplificación.

Tampoco hay que olvidar el «sobreajuste a la recompensa». Como RLVR usa reglas de verificación rígidas, los modelos aprenden rápido a producir justo lo que quiere ver el script de comprobación y pierden capacidad de generalización. Es una trampa clásica en la que cayeron los desarrolladores de IA para videojuegos hace diez años, pero ahora tropezamos con la misma piedra a escala de billones de parámetros. Corremos el riesgo de crear una generación de modelos que superan los tests a la perfección pero son totalmente inútiles en escenarios reales, donde las condiciones de la tarea cambian sobre la marcha.

La industria atraviesa ahora una fase de negación. Todos quieren creer que han encontrado un «código de trucos» para crear AGI. Pero la realidad es que GRPO y RLVR son herramientas especializadas para un abanico estrecho de tareas, no una solución universal. El regreso a arquitecturas más complejas pero estables, con modelos críticos completos, es inevitable en cuanto la primera ola de entusiasmo choque con la dura realidad de las métricas de producción. Hay que dejar de copiar recetas ajenas y empezar a entender la química del proceso.

Lo esencial: GRPO es una versión dietética del aprendizaje por refuerzo que ayuda a ahorrar en hardware, pero a menudo priva al modelo de «peso intelectual» en tareas complejas. Es poco probable que Claude 4 y GPT-5 sigan este camino de simplificación.