S3AC ramène le critique dans le RL pour LLM : des gains de 1,5 B à 397 B de paramètres

Des chercheurs du Shanghai AI Laboratory proposent S3AC (Stabilized, Selective, and Scalable Actor-Critic), une recette pratique pour entraîner un critique de valeur dans le cadre du RL à récompenses vérifiables sur de longues chaînes de raisonnement. La méthode a été testée sur des modèles denses et MoE allant de 1,5 B à 397 B de paramètres. Elle a surpassé une variante moderne de GRPO baptisée GRPO-X. Sur un modèle de 35 B, S3AC a maintenu sa progression avec un seul rollout par prompt, tandis que les lignes de base sans critique ont commencé à se dégrader après leurs premières améliorations.

Pourquoi l'industrie a fui le critique

Dans le RLVR appliqué aux longues chaînes de raisonnement (CoT), le critique est depuis longtemps considéré comme un composant coûteux et capricieux. Il doit être entraîné séparément, il consomme mémoire et calcul, et se comporte de manière instable sur des trajectoires longues. C'est pourquoi la plupart des équipes utilisent des méthodes sans critique comme GRPO : pour chaque prompt, elles génèrent un groupe de réponses et calculent une ligne de base à partir du résultat moyen du groupe.

Cette approche présente deux faiblesses connues. La première : l'absence d'attribution de mérite au niveau du token (credit assignment). Toute la trajectoire reçoit une seule évaluation, alors que l'erreur a pu se produire à quelques étapes précises du raisonnement. La seconde : il faut générer des groupes de rollouts juste pour obtenir une ligne de base par prompt. C'est coûteux, et sur les tâches trop faciles ou trop difficiles, une partie des générations est gaspillée.

Le critique résout ces deux problèmes : il fournit des avantages par token ainsi qu'une ligne de base par prompt. Les auteurs de S3AC expliquent pourquoi cette approche n'avait pas décollé sur les CoT longues. D'abord, les données d'entraînement du critique représentent mal les trajectoires de longueurs différentes. Ensuite, en début d'entraînement, les gradients sont dominés par la value head nouvellement initialisée, ce qui déstabilise le reste du réseau.

La recette de S3AC et la sélection des prompts avant génération

La principale contribution de ce travail est un ensemble de techniques qui rend l'entraînement du critique stable sur des raisonnements longs. Le critique ainsi entraîné fournit les deux signaux nécessaires : des avantages spécifiques au token et des lignes de base spécifiques au prompt.

La seconde idée est le Difficulty-Aware Prompt Sampling (DAPS). La ligne de base du critique indique à quel point un prompt est difficile pour le modèle à l'instant présent. DAPS combine cette évaluation avec l'historique des résultats obtenus sur ce prompt, et choisit quelles tâches envoyer en génération. La sélection s'effectue avant les rollouts, donc aucune génération superflue n'est gaspillée. Aucune initialisation hors ligne de la difficulté n'est nécessaire : pas besoin de faire tourner le jeu de données à l'avance dans le modèle pour l'annoter par niveau de difficulté.

• Méthode : S3AC, actor-critic pour le raisonnement des LLM avec récompenses vérifiables
• Ce qu'apporte le critique : des avantages spécifiques au token et des lignes de base spécifiques au prompt
• Sélection des données : DAPS, sélection des prompts selon l'évaluation de difficulté et l'historique des résultats, avant génération
• Gamme de modèles : denses et mixture-of-experts, de 1,5 B à 397 B de paramètres
• Ligne de base de comparaison : GRPO-X, variante moderne de GRPO
• Mode à un seul rollout : sur un modèle de 35 B, S3AC continue de progresser, tandis que les méthodes sans critique testées se dégradent après leurs premiers gains
• Équipe : Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang
• Code : dépôt InternLM/xtuner sur GitHub
• Publication : arXiv 2610.35518, Hugging Face Daily Papers

Le résultat le plus révélateur est celui obtenu en mode à un seul rollout. Les méthodes basées sur des groupes perdent leur ligne de base en l'absence de groupe, et sur le modèle de 35 B, leur entraînement s'effondre après un gain initial. Le critique, lui, évalue la ligne de base lui-même, ce qui évite cette dégradation de la qualité. Et puisque la méthode se révèle scalable jusqu'à 397 B, il ne s'agit pas d'un simple exercice de laboratoire.

À qui et quand S3AC peut-il être utile ?

Les équipes qui affinent des modèles de raisonnement via RLVR se heurtent au coût des rollouts. Sélectionner les prompts par difficulté avant la génération permet d'économiser précisément sur ce poste de dépense. Si un groupe de réponses à une tâche donne de toute façon un résultat identique, il n'apporte quasiment aucun signal d'apprentissage. DAPS cherche justement à ne pas gaspiller de calcul sur ce type de tâches.

Le second avantage pratique est la robustesse avec un faible nombre de rollouts par prompt. Cela s'avère utile lorsque la génération de longues chaînes est très coûteuse, par exemple sur de grands modèles MoE. L'implémentation est disponible dans xtuner, ce qui permet de tester la méthode sur ses propres tâches sans avoir à écrire un pipeline depuis zéro.

Les limites sont également claires : le critique reste un composant supplémentaire, et la supériorité sur GRPO-X n'a été démontrée que sur l'ensemble de modèles et de configurations testé par les auteurs. Des reproductions indépendantes permettront de voir dans quelle mesure cette recette se transpose à d'autres domaines de récompense et à d'autres familles de modèles.