NVIDIA lanza Molt: un framework de PyTorch para RL agéntico en 8600 líneas de código

NVIDIA lanzó el 1 de agosto de 2026 Molt, un framework de PyTorch para aprendizaje por refuerzo agéntico desarrollado por el equipo de NeMo. Su característica clave: unas 8600 líneas de código de RL, siete veces menos que verl, con un rendimiento comparable al del stack Megatron.

¿Por qué importa el tamaño del código a los investigadores?

Molt está diseñado para que un investigador pueda tener toda la base de código en la cabeza y para que un asistente de IA pueda leerla y comprenderla entera. En los proyectos de RL, tanto académicos como corporativos, cada iteración del algoritmo exige cambios en el trainer, en el backend distribuido y en el código auxiliar del rollout, y cada cambio cuesta tiempo. Molt aborda el problema con la compacidad: 8600 líneas frente a las 62 000 de verl, las 25 000 de slime y las 7200 de OpenRLHF.

• Volumen de código de RL de Molt: ~8600 líneas (frente a 62 000 de verl, 25 000 de slime y 7200 de OpenRLHF)
• Licencia: Apache 2.0, con scripts de Slurm listos para usar y un contenedor preconstruido
• Requisitos de hardware: 16 GPU NVIDIA H100 en dos nodos (8 para entrenamiento y 8 para rollout)
• Componentes: Ray (orquestación), vLLM (rollout), NVIDIA AutoModel + FSDP2 (entrenamiento)
• Escenarios compatibles: agentes multiturno con tool-use, ejecución de código, entornos vision-language, LLM-as-judge y destilación on-policy a un modelo más pequeño

¿Cómo funciona Molt por dentro?

Molt une tres componentes sin forks: Ray gestiona la colocación de recursos y las colas asíncronas, vLLM ejecuta el rollout y NVIDIA AutoModel con FSDP2 se encarga del entrenamiento. Las actualizaciones del upstream llegan al cambiar el pin del contenedor, sin necesidad de hacer rebase.

«La base de código debe ser lo bastante compacta como para que un

investigador pueda tenerla en la cabeza y un asistente de IA pueda leerla y comprenderla por completo», señala la documentación técnica de Molt de NVIDIA NeMo.

El agente en Molt es un programa de Python corriente: el investigador indica el módulo con el AgentRunner y la función de recompensa se escribe con código estándar. Hay dos modos: Env (el framework controla el bucle del LLM al estilo Gymnasium) y ChatAgent (el desarrollador lo controla mediante el SDK estándar de OpenAI o Anthropic). El framework levanta un servidor loopback compatible con ambos protocolos wire, y cada solicitud se decodifica en el servidor hasta obtener la secuencia exacta de tokens.

El diseño se organiza en torno a tres invariantes de corrección: identidad de tokens (los tokens generados definen la trayectoria, no una transcripción retokenizada); semántica de la versión de la política (las log-probabilidades de la política de comportamiento se conservan a nivel de token); y consistencia hacia delante (el rollout y el actor deben trabajar con el mismo modelo). Para las políticas MoE (mixture-of-experts), Molt aplica rollout routing replay: vLLM devuelve los identificadores de los expertos para cada token y el paso de entrenamiento los reproduce, de modo que se eliminan las divergencias de enrutamiento.

¿A quién está dirigido Molt por ahora?

Molt está pensado para grupos de investigación con acceso a clústeres H100 o H200. Según NVIDIA, el rendimiento del framework es estadísticamente comparable al del stack Megatron, es decir, los investigadores no sacrifican velocidad a cambio de la compacidad. El público objetivo son los laboratorios frontier y las startups de IA con financiación que trabajan en el postentrenamiento de modelos; los grupos de investigación corporativos de finanzas, sanidad y robótica con acceso a clústeres de GPU multinodo; y los laboratorios académicos con H100/H200.

Qué significa

Molt reduce el coste de iterar en la investigación de RL: 8600 líneas transparentes aceleran los experimentos con algoritmos, y la compatibilidad con los SDK estándar permite entrenar el código agéntico existente sin reescribirlo. NVIDIA construye así un stack abierto para entrenar agentes y compite con verl y OpenRLHF no solo en velocidad, sino también en comodidad para la investigación.

Preguntas frecuentes

¿Cuántas GPU se necesitan para ejecutar Molt?

La receta estándar requiere 16 GPU NVIDIA H100 en dos nodos: 8 se encargan del entrenamiento y 8 de la generación (rollout).

¿En qué se diferencia Molt de verl y OpenRLHF?

Molt contiene unas 8600 líneas de código de RL, frente a las 62 000 de verl y las 7200 de OpenRLHF. Ninguno de los tres componentes (Ray, vLLM, NVIDIA AutoModel) se bifurca: las actualizaciones llegan al cambiar el pin del contenedor Docker.