MagicBeanStalk eleva gpt-oss-120b de 61,2 a 69,8 puntos en matemáticas

Los autores del preprint de MagicBeanStalk afirman que la mayor parte de los datos abiertos para RLVR es inútil para un modelo concreto. En el corpus matemático combinado de 78K tareas, alrededor del 88% de los problemas, con una política y un presupuesto de rollouts fijos, se resuelve en todos los intentos o fracasa en todos. El algoritmo propuesto genera de forma recursiva, a partir de tareas difíciles, otras nuevas calibradas por dificultad. Como resultado, gpt-oss-120b subió de 61,2 a 69,8 puntos (+8,6) en ocho benchmarks matemáticos, y DeepSeek v4Flash, de 72,4 a 77,9 (+5,4), con un presupuesto de 16K tokens.

La trampa de la ventaja cero

RLVR, el aprendizaje por refuerzo con recompensas verificables, suele escalarse con el número de tareas. Los autores proponen fijarse en otra cosa: si el conjunto de datos aporta una señal útil a un modelo concreto con un presupuesto concreto. Describen la eficacia del dataset como una función de tres variables: las propias tareas, la política objetivo y el número de rollouts por entrenamiento.

En los métodos con normalización grupal de la recompensa, como GRPO, si todos los intentos de una tarea obtienen el mismo resultado, la ventaja es cero y no hay gradiente. Según el artículo, casi todo el corpus combinado de datasets RLVR populares cae en esa situación. Las tareas fáciles se resuelven siempre, las difíciles no se resuelven nunca y no hay de dónde aprender.

El filtrado ayuda en parte: concentra las tareas restantes con resultados dispersos. Pero solo selecciona, y al hacerlo descarta los ejemplos más difíciles, que son justo los que contienen los patrones de razonamiento que el modelo necesita. Un atajo sencillo tampoco funcionó: si se pide a un LLM maestro que varíe directamente las tareas difíciles, no se consigue la calibración necesaria.

Cómo funciona el algoritmo

MagicBeanStalk trabaja en dos pasadas: una descomposición descendente y una síntesis recursiva ascendente. De la tarea original (seed) extrae las operaciones de razonamiento y las formas de combinarlas, y con ellas construye familias de tareas realmente nuevas que conservan el «plano de razonamiento» del original. La dificultad se ajusta a la política y al presupuesto: una parte de los rollouts debe acertar y otra fallar, y al menos una solución correcta debe caber en el límite de entrenamiento.

Cifras clave del artículo:

• gpt-oss-120b: 61,2 → 69,8 (+8,6) en 8 benchmarks matemáticos, con un presupuesto de 16K tokens;
• DeepSeek v4Flash: 72,4 → 77,9 (+5,4) en las mismas condiciones;
• entrenamiento con el corpus original completo de 78K tareas: solo +1,1;
• mejor subconjunto filtrado de datos reales: +5,8;
• finanzas: más de 14K tareas verificables sintetizadas a partir de solo 340 soluciones;
• mejora sobre el modelo base en finanzas: +6,9 en SecQue y +2,4 en FinanceBench.

La comparación con el filtrado es reveladora: los datos sintéticos superan en 2,8 puntos al mejor subconjunto real en el caso de gpt-oss-120b. Además, el tamaño del corpus, 78K tareas, resulta casi inútil.

Qué deben tener en cuenta los equipos que entrenan modelos

La conclusión práctica es simple: antes de lanzar RLVR conviene medir la proporción de tareas con varianza cero en los resultados para el propio modelo y el propio presupuesto de rollouts. Si se acerca al 88%, una parte considerable del cómputo se desperdiciará, y en lugar de ampliar el dataset es más sensato dedicarse a calibrarlo. El ejemplo de las finanzas muestra que el método puede usarse incluso donde hay pocos datos etiquetados: 340 soluciones bastaron para 14K tareas verificables.

Las salvedades son evidentes. Es un preprint en su primera versión, los resultados no han pasado revisión por pares y los han obtenido los propios autores. La mejora en finanzas es más modesta que en matemáticas, y el método requiere respuestas verificables, de modo que no se puede aplicar en dominios sin un verificador claro. Las reproducciones independientes con otros modelos y presupuestos mostrarán hasta qué punto son sólidas las conclusiones.