SkyRL et vLLM affinent Mistral Large 4 par RL : l'AIME passe de 64% à 75%

L'équipe du projet vLLM et le laboratoire NovaSky AI annoncent que leur framework SkyRL sait, dès le premier jour, mener un apprentissage par renforcement (RL) sur Mistral Large 4. Avec un cluster de 8 nœuds Nvidia GB200, 75 étapes d'entraînement ont fait passer le score du modèle sur AIME 2024 d'environ 64% à 75%. AIME 2024 regroupe 30 problèmes de l'olympiade américaine de mathématiques, dont la réponse est toujours un nombre entier. La métrique avg@8 signifie que le modèle fait 8 tentatives par problème, puis que la part de réponses correctes est moyennée. Le résultat dépend ainsi moins de la chance sur une seule tentative.

Ce que signifie Day-0 et à quoi cela sert

Day-0 signifie que la prise en charge est prête le jour de la sortie du modèle. En général, un nouveau grand modèle peut d'abord seulement être exécuté. Il faut attendre que la communauté adapte le code à son architecture pour pouvoir l'affiner. Ici, l'équipe affirme que le tandem SkyRL et vLLM fonctionnait avec Mistral Large 4 immédiatement.

L'apprentissage par renforcement fonctionne ainsi. Le modèle reçoit un problème et rédige plusieurs variantes de solution. Ces variantes s'appellent des rollouts (« déroulés »). Chaque rollout est ensuite vérifié : la réponse correspond-elle à la réponse de référence ? Pour une réponse correcte, le modèle reçoit une récompense, et les poids sont déplacés de façon à rendre plus probables les chaînes de raisonnement réussies. En mathématiques, cette vérification est peu coûteuse et non ambiguë. C'est pourquoi AIME et les jeux de problèmes similaires servent souvent au RL.

Qui fait quoi dans la chaîne

L'idée d'ingénierie centrale tient à la répartition des tâches. Les deux étapes de la boucle sollicitent le matériel différemment, et chacune est confiée à un outil distinct :

• vLLM génère les rollouts. C'est un moteur d'inférence rapide, c'est-à-dire d'exécution du modèle pour produire des réponses. La génération occupe la plus grande partie du temps d'une boucle de RL, d'où le besoin d'un serveur rapide.
• FSDP2 ou Megatron assurent l'entraînement. FSDP2 est la deuxième version de l'approche de PyTorch, où paramètres et gradients sont fragmentés entre les GPU. Megatron est le framework de Nvidia pour l'entraînement de très grands modèles. SkyRL permet de choisir l'un ou l'autre.
• SkyRL, de NovaSky AI, relie le tout en un seul processus : il récupère les rollouts de vLLM, calcule les récompenses et transmet les données à l'entraînement.

En pratique, l'ingénieur n'a pas à écrire le code de liaison entre le moteur de génération et le code d'entraînement. Il prend la chaîne toute prête et y branche son modèle.

Pourquoi LoRA sur un checkpoint 4 bits

Le billet cite deux techniques qui réduisent le coût du processus.

La première est LoRA. Au lieu de mettre à jour tous les poids d'un modèle énorme, on entraîne de petites matrices supplémentaires, branchées par-dessus. Elles occupent une faible part de mémoire par rapport au modèle lui-même, et Mistral Large 4 reste gelé.

La seconde est le checkpoint au format NVFP4. Il s'agit d'une représentation des nombres sur 4 bits, que Nvidia prend en charge sur l'architecture Blackwell, dont fait partie le GB200. Des poids dans ce format pèsent plusieurs fois moins que leur équivalent en 16 bits. Un grand modèle tient alors sur moins de nœuds, et la génération va plus vite.

Au total, la configuration reste modeste à l'échelle des grands modèles : 8 nœuds, 75 étapes, un gain d'environ 11 points de pourcentage sur un seul benchmark.

Comment lire ce résultat

Les chiffres proviennent de l'annonce du projet vLLM lui-même, et aucune vérification indépendante n'existe pour l'instant. Le gain sur AIME 2024 montre que la boucle de RL fonctionne avec ce modèle et ce matériel. Il ne prouve pas que le modèle s'est amélioré de façon générale. Sur des problèmes mathématiques à vérification non ambiguë, le RL produit généralement un effet net. En revanche, sur des tâches ouvertes (rédaction, scénarios d'agents, code dans un grand dépôt), le résultat doit être mesuré séparément.

Pour les ingénieurs, la conclusion est la suivante. Affiner par renforcement un grand modèle ouvert est devenu plus simple : une chaîne prête à l'emploi, faite de composants ouverts, fonctionne dès le premier jour de la sortie, et LoRA comme NVFP4 réduisent les besoins en matériel. Pour les entreprises qui ont leurs propres tâches avec vérification automatique de la réponse, c'est un moyen d'adapter le modèle à leurs besoins sans le réentraîner entièrement. Reste à vérifier, sur ses propres données, combien de ces 11 points il est possible de reproduire.