S3AC remet le critique au cœur du RL pour LLM : des gains de 1.5B à 397B de paramètres

Des chercheurs de Shanghai AI Laboratory proposent S3AC (Stabilized, Selective, and Scalable Actor-Critic), une recette pratique pour entraîner un critique de valeur dans le RL à récompenses vérifiables sur de longues chaînes de raisonnement. La méthode a été testée sur des modèles dense et MoE de 1.5B à 397B de paramètres. Elle a dépassé une variante moderne de GRPO appelée GRPO-X. Sur 35B, S3AC a conservé l'entraînement avec un seul rollout par prompt, tandis que les méthodes de référence sans critique ont commencé à se dégrader après leurs premières améliorations.

Pourquoi l'industrie a fui le critique

Dans le RLVR pour longues CoT, le critique passe depuis longtemps pour un composant coûteux et capricieux. Il faut l'entraîner séparément, il consomme de la mémoire et du calcul, et il se montre instable sur les trajectoires longues. C'est pourquoi la plupart des équipes utilisent des méthodes sans critique, comme GRPO : pour chaque prompt, elles génèrent un groupe de réponses et calculent la ligne de base à partir du résultat moyen du groupe.

Cette approche souffre de deux faiblesses connues. La première : elle n'offre aucune attribution du crédit (credit assignment) au niveau des tokens. Toute la trajectoire reçoit une seule note, alors que l'erreur peut venir de quelques étapes précises du raisonnement. La seconde : il faut générer des groupes de rollouts rien que pour obtenir une ligne de base pour le prompt. C'est coûteux, et sur les tâches trop faciles ou hors de portée, une partie des générations est gaspillée.

Le critique résout ces deux problèmes : il fournit des avantages par token et une ligne de base pour chaque prompt. Les auteurs de S3AC expliquent pourquoi il n'avait pas décollé sur les longues CoT. D'abord, les données d'entraînement du critique représentent mal les trajectoires de longueurs variées. Ensuite, en début d'entraînement, une value head tout juste initialisée domine les gradients et déstabilise le reste du réseau.

La recette S3AC et la sélection des prompts avant la génération

La principale contribution du travail est un ensemble de techniques qui stabilise l'entraînement du critique sur les raisonnements longs. Le critique entraîné fournit les deux signaux nécessaires : des avantages spécifiques à chaque token et des lignes de base spécifiques à chaque prompt.

La deuxième idée s'appelle Difficulty-Aware Prompt Sampling (DAPS). La ligne de base du critique indique à quel point un prompt est difficile pour le modèle à l'instant T. DAPS combine cette estimation avec l'historique des résultats du prompt et choisit les tâches qui méritent d'être envoyées en génération. La sélection a lieu avant les rollouts, si bien qu'aucune génération superflue n'est dépensée. Aucune initialisation hors ligne de la difficulté n'est nécessaire : il n'y a pas besoin de faire passer le jeu de données dans le modèle au préalable pour l'annoter par difficulté.

• Méthode : S3AC, actor-critic pour le raisonnement des LLM avec récompenses vérifiables
• Apport du critique : avantages spécifiques à chaque token et lignes de base spécifiques à chaque prompt
• Sélection des données : DAPS, choix des prompts selon l'estimation de difficulté et l'historique des résultats, avant la génération
• Gamme de modèles : dense et mixture-of-experts, de 1.5B à 397B de paramètres
• Référence de comparaison : GRPO-X, variante moderne de GRPO
• Mode à un seul rollout : sur 35B, S3AC continue d'apprendre, tandis que les méthodes sans critique testées se dégradent après les premières améliorations
• Équipe : Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang
• Code : dépôt InternLM/xtuner sur GitHub
• Publication : arXiv 2610.35518, Hugging Face Daily Papers

Le résultat le plus parlant concerne le mode à un seul rollout. Sans groupe, les méthodes fondées sur des groupes perdent leur ligne de base, et sur 35B leur entraînement s'effondre après le gain initial. Le critique, lui, estime la ligne de base par lui-même, et la qualité ne chute donc pas. Comme la méthode passe à l'échelle jusqu'à 397B, il ne s'agit pas d'un jouet de laboratoire.

Qui devrait s'intéresser à S3AC, et quand

Les équipes qui affinent des modèles de raisonnement via le RLVR se heurtent au coût des rollouts. Choisir les prompts selon leur difficulté avant la génération réduit précisément ce poste de dépenses. Si un groupe de réponses à une tâche donne d'avance le même résultat, il n'apporte presque aucun signal d'apprentissage. DAPS cherche à ne pas dépenser de calcul sur de telles tâches.

Deuxième avantage pratique : la robustesse quand le nombre de rollouts par prompt est faible. Cela sera utile là où la génération de longues chaînes coûte très cher, par exemple sur les grands MoE. L'implémentation est disponible dans xtuner, ce qui permet de tester la méthode sur ses propres tâches sans écrire un pipeline à partir de zéro.

Les limites sont également claires : le critique reste un composant supplémentaire, et la supériorité sur GRPO-X a été démontrée sur l'ensemble de modèles et de configurations choisi par les auteurs. Des reproductions indépendantes diront dans quelle mesure la recette se transpose à d'autres domaines de récompense et à d'autres familles de modèles.