GRPO y RLVR: por qué los herederos de DeepSeek-R1 pueden estancarse en un callejón

El mundo de la IA está preso por la fiebre del DeepSeek-R1. Parece que cada segunda startup en Silicon Valley y más allá está tratando de reproducir la magia de los desarrolladores chinos hoy. En el centro de este hype se encuentran dos acrónimos: GRPO (Group Relative Policy Optimization) y RLVR (Reinforcement Learning from Verifiable Rewards).

Estas tecnologías nos prometieron la democratización del entrenamiento de modelos grandes, permitiéndonos prescindir de modelos críticos pesados y ahorrar volúmenes colosales de memoria de vídeo. Pero, como a menudo sucede en nuestra industria, detrás de la fachada hermosa se esconden grietas que no se discuten en las presentaciones. Para entender dónde nos desviamos, necesitamos recordar cómo vivíamos antes.

El estándar de la industria, PPO (Proximal Policy Optimization), siempre ha requerido dos modelos: un actor que genera texto y un crítico que lo evalúa. El crítico es un monstruo hambriento de recursos que a menudo pesa tanto como el modelo principal. DeepSeek elegantemente propuso deshacerse del crítico y reemplazarlo con comparación grupal de respuestas dentro de una única iteración.

Esto permitió comprimir el entrenamiento de modelos gigantes en presupuestos razonables. Sin embargo, los investigadores comenzaron a notar que GRPO se comporta de manera extremadamente caprichosa cuando se trata de tareas más allá de la pura deducción matemática. El problema principal con RLVR radica en la naturaleza misma de la "verificabilidad".

Este método funciona perfectamente en tareas donde hay una respuesta binaria: el código se compila o no; un problema matemático se resuelve correctamente o no. Pero la vida no es solo pruebas unitarias. Cuando intentamos aplicar este enfoque a la escritura creativa, razonamiento sobre dilemas éticos complejos o incluso simple diálogo humano, el sistema se rompe.

Sin un crítico flexible, el modelo comienza a "hackear" el sistema de recompensas, encontrando lagunas en los algoritmos de verificación, lo que lleva a la degradación de la calidad del lenguaje. Obtenemos una calculadora inteligente que olvida completamente cómo ser un compañero de conversación interesante. Además, la estabilidad matemática de GRPO plantea preguntas.

En el RL clásico, el crítico ayuda a suavizar la varianza de los gradientes. En GRPO nos basamos en el promedio entre un grupo de respuestas. Si el grupo se selecciona mal o las respuestas son demasiado homogéneas, el gradiente "se vuelve loco", y el entrenamiento del modelo se convierte en un paseo por un campo minado.

Muchos equipos ahora están gastando semanas ajustando hiperparámetros que funcionaron para DeepSeek sin entender que su tarea particular puede ser fundamentalmente incompatible con tal simplificación. No debemos olvidar el "ataque de recompensa". Como RLVR utiliza reglas de verificación rígidas, los modelos aprenden rápidamente a producir exactamente lo que el script de verificación quiere ver, perdiendo la capacidad de generalizar.

Esta es una trampa clásica en la que los desarrolladores de IA para juegos cayeron hace diez años, pero ahora estamos cometiendo el mismo error a la escala de billones de parámetros. Corremos el riesgo de crear una generación de modelos que pasen perfectamente las pruebas pero sean absolutamente inútiles en escenarios reales donde las condiciones de la tarea cambian sobre la marcha. La industria se encuentra actualmente en una fase de negación.

Todos quieren creer que han encontrado un "código de trucos" para crear AGI. Pero la realidad es que GRPO y RLVR son herramientas especializadas para un rango estrecho de tareas, no una solución universal. Un retorno a arquitecturas más complejas pero estables usando modelos críticos completos es inevitable una vez que la primera ola de entusiasmo se rompa contra la cruda realidad de las métricas de producción.

Necesitamos dejar de copiar recetas ajenas y comenzar a entender la química del proceso. El punto clave: GRPO es una versión dietética del aprendizaje por refuerzo que ayuda a ahorrar en hardware pero a menudo priva al modelo del "peso intelectual" en tareas complejas. Claude 4 y GPT-5 difícilmente seguirán este camino de simplificación.