S3AC devuelve el crítico al RL para LLM: ganancias desde 1.5B hasta 397B parámetros

Investigadores de Shanghai AI Laboratory han propuesto S3AC (Stabilized, Selective, and Scalable Actor-Critic), una receta práctica para entrenar un crítico de valor en aprendizaje por refuerzo con recompensas verificables sobre cadenas de razonamiento largas. El método se probó en modelos densos y mixture-of-experts desde 1.5B hasta 397B parámetros. Superó a una variante moderna de GRPO llamada GRPO-X. En el modelo de 35B, S3AC mantuvo el entrenamiento con un solo rollout por prompt, mientras que las líneas base sin crítico empezaron a degradarse tras sus primeras mejoras.

Por qué la industria huyó del crítico

En el RLVR para cadenas de razonamiento largas, el crítico lleva tiempo considerándose un componente caro y problemático. Hay que entrenarlo por separado, consume memoria y cómputo, y se vuelve inestable en trayectorias largas. Por eso la mayoría de los equipos usan métodos sin crítico, como GRPO: para cada prompt generan un grupo de respuestas y calculan una línea base a partir del resultado promedio del grupo.

Este enfoque tiene dos debilidades conocidas. La primera: no hay asignación de crédito a nivel de token (credit assignment). Toda la trayectoria recibe una sola puntuación, aunque el error pudo haber ocurrido en unos pocos pasos concretos del razonamiento. La segunda: hay que generar grupos de rollouts solo para obtener una línea base para el prompt. Esto resulta costoso, y en tareas demasiado fáciles o imposibles, parte de las generaciones se desperdicia.

El crítico resuelve ambos problemas: entrega ventajas por token y una línea base por cada prompt. Los autores de S3AC explican por qué esto no había funcionado hasta ahora en cadenas largas. Primero, los datos de entrenamiento del crítico representan de forma deficiente trayectorias de distinta longitud. Segundo, al inicio del entrenamiento, los gradientes de una value head recién inicializada dominan y desestabilizan el resto de la red.

La receta de S3AC y la selección de prompts antes de generar

La principal contribución del trabajo es un conjunto de técnicas que hace estable el entrenamiento del crítico en razonamientos largos. El crítico entrenado entrega ambas señales necesarias: ventajas específicas por token y líneas base específicas por prompt.

La segunda idea es Difficulty-Aware Prompt Sampling (DAPS). La línea base del crítico muestra cuán difícil es un prompt para el modelo en este momento. DAPS combina esta estimación con el historial de resultados del prompt y decide qué tareas conviene enviar a generación. La selección ocurre antes de los rollouts, por lo que no se desperdician generaciones. No se necesita una inicialización offline de la dificultad: no hay que pasar previamente el dataset por el modelo ni etiquetarlo por dificultad.

• Método: S3AC, un enfoque actor-crítico para el razonamiento de LLM con recompensas verificables
• Qué aporta el crítico: ventajas específicas por token y líneas base específicas por prompt
• Selección de datos: DAPS, selección de prompts según la estimación de dificultad y el historial de resultados, antes de generar
• Rango de modelos: densos y mixture-of-experts, desde 1.5B hasta 397B parámetros
• Línea base de comparación: GRPO-X, una variante moderna de GRPO
• Modo de un solo rollout: en el modelo de 35B, S3AC sigue mejorando, mientras que los métodos sin crítico probados se degradan tras las primeras mejoras
• Equipo: Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang
• Código: repositorio InternLM/xtuner en GitHub
• Publicación: arXiv 2610.35518, Hugging Face Daily Papers

El resultado más elocuente es el modo de un solo rollout. Los métodos basados en grupos pierden su línea base sin un grupo, y en el modelo de 35B, tras una mejora inicial, su entrenamiento se hunde. El crítico, en cambio, estima la línea base por sí mismo, por lo que la calidad no decae. Y dado que el método escala hasta 397B parámetros, no se trata de un juguete de laboratorio.

A quién le conviene mirar S3AC, y cuándo

Los equipos que afinan modelos de razonamiento mediante RLVR chocan con el costo de los rollouts. Seleccionar prompts por dificultad antes de generar ahorra justamente en esa partida de gasto. Si un grupo de respuestas a una tarea va a dar el mismo resultado de todos modos, casi no aporta señal de entrenamiento. DAPS busca no gastar cómputo en esas tareas.

La segunda ventaja práctica es la robustez con pocos rollouts por prompt. Esto resulta útil donde generar cadenas largas es muy costoso, por ejemplo en modelos MoE grandes. La implementación está disponible en xtuner, así que probar el método en tareas propias no exige construir un pipeline desde cero.

Las limitaciones también son claras: el crítico sigue siendo un componente adicional, y la superioridad frente a GRPO-X se ha demostrado en el conjunto de pruebas de modelos y configuraciones de los propios autores. Reproducciones independientes mostrarán hasta qué punto la receta se traslada a otros dominios de recompensa y otras familias de modelos.