S3AC devuelve el crítico al RL para LLM: mejoras desde 1.5B hasta 397B parámetros

Investigadores de Shanghai AI Laboratory han propuesto S3AC (Stabilized, Selective, and Scalable Actor-Critic), una receta práctica para entrenar un crítico de valor en RL con recompensas verificables sobre cadenas de razonamiento largas. El método se validó en modelos dense y MoE de 1.5B a 397B parámetros y superó a una variante moderna de GRPO llamada GRPO-X. En 35B, S3AC mantuvo el entrenamiento con un solo rollout por prompt, mientras que las líneas base critic-free empezaron a degradarse después de las primeras mejoras.

Por qué la industria huyó del crítico

En RLVR para CoT largas, el crítico se considera desde hace tiempo una pieza cara y caprichosa. Hay que entrenarlo por separado, consume memoria y cómputo, y se comporta de forma inestable en trayectorias largas. Por eso la mayoría de los equipos usa métodos critic-free como GRPO: para cada prompt generan un grupo de respuestas y calculan la línea base a partir del resultado medio del grupo.

Este enfoque tiene dos debilidades conocidas. La primera: no hay asignación de crédito a nivel de token (credit assignment). Toda la trayectoria recibe una única puntuación, aunque el error pudiera haberse producido en unos pocos pasos concretos del razonamiento. La segunda: hay que generar grupos de rollouts solo para obtener una línea base por prompt. Es un proceso caro, y en las tareas demasiado fáciles o imposibles parte de las generaciones se desperdicia.

El crítico resuelve ambos problemas: aporta ventajas por token y una línea base para cada prompt. Los autores de S3AC explican por qué no funcionaba con CoT largas. En primer lugar, los datos de entrenamiento del crítico apenas incluyen trayectorias de distintas longitudes. En segundo lugar, al inicio del entrenamiento los gradientes están dominados por una value head recién inicializada, que desestabiliza el resto de la red.

La receta de S3AC y la selección de prompts antes de la generación

La principal aportación del trabajo es un conjunto de técnicas que estabiliza el entrenamiento del crítico en razonamientos largos. El crítico entrenado proporciona las dos señales necesarias: ventajas específicas por token y líneas base específicas por prompt.

La segunda idea es Difficulty-Aware Prompt Sampling (DAPS). La línea base del crítico indica lo difícil que es un prompt para el modelo en ese momento. DAPS combina esa estimación con el historial de resultados del prompt y decide qué tareas conviene enviar a generación. La selección se hace antes de los rollouts, así que no se gastan generaciones innecesarias. No requiere inicializar la dificultad offline: no hace falta pasar antes el dataset por el modelo ni etiquetarlo por dificultad.

• Método: S3AC, actor-critic para razonamiento de LLM con recompensas verificables
• Qué aporta el crítico: ventajas específicas por token y líneas base específicas por prompt
• Selección de datos: DAPS, selección de prompts según la estimación de dificultad y el historial de resultados antes de la generación
• Rango de modelos: dense y mixture-of-experts, de 1.5B a 397B parámetros
• Línea base de comparación: GRPO-X, variante moderna de GRPO
• Modo de un solo rollout: en 35B, S3AC sigue aprendiendo, mientras que los métodos critic-free probados se degradan tras las primeras mejoras
• Equipo: Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang
• Código: repositorio InternLM/xtuner en GitHub
• Publicación: arXiv 2610.35518, Hugging Face Daily Papers

El resultado más revelador es el del modo de un solo rollout. Sin grupo, los métodos basados en grupos pierden la línea base, y en 35B su entrenamiento se resiente tras la mejora inicial. El crítico, en cambio, estima la línea base por sí mismo, de modo que la calidad no cae. Si el método escala hasta 397B, no estamos ante un juguete de laboratorio.

Quién debería mirar S3AC y cuándo

Los equipos que afinan modelos de razonamiento mediante RLVR chocan con el coste de los rollouts. Seleccionar los prompts por dificultad antes de la generación reduce precisamente esa partida de gasto. Si un grupo de respuestas a una tarea produce de antemano el mismo resultado, apenas aporta señal de aprendizaje. DAPS intenta no gastar cómputo en esas tareas.

La segunda ventaja práctica es la estabilidad con pocos rollouts por prompt. Esto resulta útil donde generar cadenas largas es muy caro, por ejemplo en MoE grandes. La implementación está disponible en xtuner, de modo que se puede probar el método con tareas propias sin escribir un pipeline desde cero.

Las limitaciones también están claras: el crítico sigue siendo un componente adicional, y la superioridad sobre GRPO-X se ha mostrado en el conjunto de modelos y configuraciones elegido por los autores. Las reproducciones independientes dirán hasta qué punto la receta se traslada a otros dominios de recompensa y a otras familias de modelos.