S3AC traz o crítico de volta ao RL para LLMs: ganhos de 1.5B a 397B de parâmetros

Pesquisadores do Shanghai AI Laboratory propuseram o S3AC (Stabilized, Selective, and Scalable Actor-Critic), uma receita prática para treinar um crítico de valor em RL com recompensas verificáveis em cadeias de raciocínio longas. O método foi validado em modelos dense e MoE de 1.5B a 397B de parâmetros e superou o GRPO-X, uma variante moderna do GRPO. Em 35B, o S3AC manteve o treino com um rollout por prompt, enquanto as linhas de base critic-free começaram a degradar depois das primeiras melhorias.

Por que a indústria fugiu do crítico

No RLVR para CoTs longos, o crítico há tempos é visto como uma peça cara e temperamental. Ele precisa ser treinado separadamente, consome memória e processamento e se comporta de forma instável em trajetórias longas. Por isso, a maioria das equipes usa métodos critic-free como o GRPO: para cada prompt, geram um grupo de respostas e calculam a linha de base pela média dos resultados do grupo.

Essa abordagem tem duas fraquezas conhecidas. A primeira é a falta de distribuição de crédito (credit assignment) no nível de tokens. A trajetória inteira recebe uma única nota, embora o erro possa ter ocorrido em alguns passos específicos do raciocínio. A segunda é a necessidade de gerar grupos de rollouts só para obter a linha de base de um prompt. Isso é caro, e, em tarefas fáceis demais ou difíceis demais, parte das gerações é desperdiçada.

O crítico resolve os dois problemas: ele fornece vantagens por token e uma linha de base para cada prompt. Os autores do S3AC explicam por que ele não decolava em CoTs longos. Primeiro, trajetórias de comprimentos variados estão mal representadas nos dados de treino do crítico. Segundo, no início do treinamento, a value head recém-inicializada domina os gradientes e desestabiliza o restante da rede.

A receita do S3AC e a escolha de prompts antes da geração

A principal contribuição do trabalho é um conjunto de técnicas que torna estável o treinamento do crítico em raciocínios longos. O crítico treinado entrega os dois sinais necessários: vantagens específicas por token e linhas de base específicas por prompt.

A segunda ideia é o Difficulty-Aware Prompt Sampling (DAPS). A linha de base do crítico indica quão difícil um prompt é para o modelo naquele momento. O DAPS combina essa estimativa com o histórico de resultados do prompt e decide quais tarefas vale a pena enviar para geração. A seleção acontece antes dos rollouts, então não se gastam gerações desnecessárias. Não é preciso inicializar a dificuldade offline: não há necessidade de rodar o dataset pelo modelo antes e classificá-lo por dificuldade.

• Método: S3AC, actor-critic para raciocínio de LLMs com recompensas verificáveis
• O que o crítico entrega: vantagens específicas por token e linhas de base específicas por prompt
• Seleção de dados: DAPS, escolha de prompts por estimativa de dificuldade e histórico de resultados antes da geração
• Faixa de modelos: dense e mixture-of-experts, de 1.5B a 397B de parâmetros
• Linha de base de comparação: GRPO-X, variante moderna do GRPO
• Modo com um rollout: em 35B, o S3AC continua aprendendo, enquanto os métodos critic-free testados degradam depois das primeiras melhorias
• Equipe: Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang
• Código: repositório InternLM/xtuner no GitHub
• Publicação: arXiv 2610.35518, Hugging Face Daily Papers

O resultado mais revelador é o do modo com um único rollout. Sem grupo, os métodos baseados em grupos perdem a linha de base, e em 35B o treino deles cai depois do ganho inicial. O crítico, por sua vez, estima a linha de base por conta própria, e por isso a qualidade não despenca. Como o método escala até 397B, não se trata de um brinquedo de laboratório.

Quem deve olhar para o S3AC e quando

Equipes que fazem ajuste fino de modelos de reasoning via RLVR esbarram no custo dos rollouts. Escolher prompts por dificuldade antes da geração economiza justamente essa parcela do gasto. Se um grupo de respostas a uma tarefa tende a dar sempre o mesmo resultado, ele quase não carrega sinal de aprendizado. O DAPS tenta não gastar processamento com essas tarefas.

O segundo ganho prático é a estabilidade com poucos rollouts por prompt. Isso é útil onde gerar cadeias longas é muito caro, como em MoEs grandes. A implementação está disponível no xtuner, então dá para testar o método nas próprias tarefas sem escrever um pipeline do zero.

As limitações também são claras: o crítico continua sendo um componente adicional, e a superioridade sobre o GRPO-X foi demonstrada no conjunto de modelos e configurações escolhido pelos autores. Reproduções independentes vão mostrar o quanto a receita se transfere para outros domínios de recompensa e outras famílias de modelos.