NVIDIA lance Molt : un framework PyTorch pour le RL agentique en 8 600 lignes de code

Le 1er août 2026, NVIDIA a lancé Molt, un framework d'apprentissage par renforcement agentique sous PyTorch, développé par l'équipe NeMo. Sa caractéristique principale : environ 8 600 lignes de code RL, soit 7 fois moins que verl, pour des performances comparables à celles du stack Megatron.

Pourquoi la taille du code compte-t-elle pour les chercheurs ?

Molt est conçu pour qu'un chercheur puisse garder toute la base de code en tête, et qu'un assistant IA puisse la lire et l'assimiler en entier. Dans les projets de RL, qu'ils soient académiques ou en entreprise, chaque itération d'un algorithme impose de modifier le trainer, le backend distribué et le code de liaison du rollout, et chaque modification coûte cher en temps. Molt répond à ce problème par sa compacité : 8 600 lignes contre 62 000 pour verl, 25 000 pour slime et 7 200 pour OpenRLHF.

• Volume de code RL de Molt : ~8 600 lignes (contre 62 000 pour verl, 25 000 pour slime, 7 200 pour OpenRLHF)
• Licence : Apache 2.0, avec des scripts Slurm prêts à l'emploi et un conteneur préconstruit
• Matériel requis : 16 GPU NVIDIA H100 sur deux nœuds (8 pour l'entraînement, 8 pour le rollout)
• Composants : Ray (orchestration), vLLM (rollout), NVIDIA AutoModel + FSDP2 (entraînement)
• Scénarios pris en charge : agents multi-tours avec tool-use, exécution de code, environnements vision-langage, LLM-as-judge, distillation on-policy vers un modèle plus petit

Comment Molt fonctionne-t-il en interne ?

Molt assemble trois composants sans forks : Ray gère le placement et les files d'attente asynchrones, vLLM exécute le rollout, et NVIDIA AutoModel avec FSDP2 s'occupe de l'entraînement. Les mises à jour en amont arrivent par un simple changement de pin du conteneur, sans rebase.

«

La base de code doit être suffisamment compacte pour qu'un chercheur puisse la garder en tête et qu'un assistant IA puisse la lire et l'assimiler en entier », indique la documentation technique de Molt publiée par NVIDIA NeMo.

Dans Molt, un agent est un simple programme Python : le chercheur indique un module avec un AgentRunner, et la fonction de récompense s'écrit en code standard. Deux modes sont pris en charge : Env (le framework pilote la boucle LLM, dans le style de Gymnasium) et ChatAgent (le développeur pilote via le SDK standard d'OpenAI ou d'Anthropic). Le framework lance un serveur loopback compatible avec les deux protocoles wire, et chaque requête est décodée côté serveur en une séquence de tokens exacte.

Trois invariants de correction structurent la conception : l'identité des tokens — ce sont les tokens générés qui définissent la trajectoire, et non la transcription retokenisée ; la sémantique de version de la politique — les log-probabilités de la politique de comportement sont conservées au niveau des tokens ; la cohérence directe — le rollout et l'acteur doivent travailler avec le même modèle. Pour les politiques MoE (mixture-of-experts), Molt applique un rollout routing replay : vLLM renvoie les identifiants d'experts pour chaque token, et la passe d'entraînement les rejoue, ce qui élimine les écarts de routage.

Qui peut utiliser Molt dès maintenant ?

Molt s'adresse aux équipes de recherche qui ont accès à des clusters H100 ou H200. Selon NVIDIA, les performances du framework sont statistiquement comparables à celles du stack Megatron : les chercheurs ne sacrifient pas la vitesse à la compacité. Public visé : les laboratoires frontier et les startups d'IA financées qui travaillent sur le post-entraînement de modèles ; les équipes de recherche d'entreprises de la finance, de la santé et de la robotique disposant de clusters GPU multi-nœuds ; les laboratoires académiques équipés en H100/H200.

Ce que cela change

Molt réduit le coût d'itération dans la recherche en RL : 8 600 lignes lisibles accélèrent les expériences algorithmiques, et la prise en charge des SDK standard signifie que le code d'agent existant s'entraîne sans réécriture. NVIDIA construit un stack ouvert pour l'entraînement d'agents et concurrence verl et OpenRLHF non seulement sur la vitesse, mais aussi sur le confort de recherche.

Questions fréquentes

Combien de GPU faut-il pour lancer Molt ?

La recette standard requiert 16 GPU NVIDIA H100 répartis sur deux nœuds : 8 pour l'entraînement, 8 pour la génération (rollout).

En quoi Molt diffère-t-il de verl et d'OpenRLHF ?

Molt compte environ 8 600 lignes de code RL, contre 62 000 pour verl et 7 200 pour OpenRLHF. Aucun des trois composants (Ray, vLLM, NVIDIA AutoModel) n'est forké : les mises à jour arrivent par un changement de pin du conteneur Docker.