NVIDIA lança o Molt: framework em PyTorch para RL agêntico com 8.600 linhas de código

A NVIDIA lançou em 1º de agosto de 2026 o Molt, framework de aprendizado por reforço agêntico em PyTorch desenvolvido pela equipe do NeMo. A característica central é o tamanho: cerca de 8 600 linhas de código de RL, 7 vezes menos que o verl, com desempenho comparável ao do stack Megatron.

Por que o tamanho do código importa para os pesquisadores?

O Molt foi projetado para que o pesquisador consiga manter toda a base de código na cabeça e para que um assistente de IA consiga ler e compreender tudo de uma vez. Em projetos de RL, acadêmicos ou corporativos, cada iteração do algoritmo exige mudanças no trainer, no backend distribuído e na camada de rollout, e cada alteração custa caro em tempo. O Molt ataca esse problema pela compactação: 8 600 linhas, contra 62 000 do verl, 25 000 do slime e 7 200 do OpenRLHF.

• Volume de código de RL do Molt: ~8 600 linhas (vs 62 000 do verl, 25 000 do slime, 7 200 do OpenRLHF)
• Licença: Apache 2.0, com scripts Slurm prontos e contêiner pré-montado
• Requisitos de hardware: 16 GPUs NVIDIA H100 em dois nós (8 para treinamento, 8 para rollout)
• Componentes: Ray (orquestração), vLLM (rollout), NVIDIA AutoModel + FSDP2 (treinamento)
• Cenários suportados: agentes de tool-use com múltiplas rodadas, execução de código, ambientes vision-language, LLM-as-judge, destilação on-policy para um modelo menor

Como o Molt funciona por dentro?

O Molt combina três componentes sem forks: o Ray cuida do posicionamento e das filas assíncronas, o vLLM executa o rollout, e o NVIDIA AutoModel com FSDP2 responde pelo treinamento. As atualizações do upstream chegam pela troca do pin do contêiner, sem rebase.

"A base de código deve ser compacta o suficiente para que o pesquisador a mantenha na cabeça e para que um assistente de IA a leia e compreenda por inteiro", diz a documentação técnica do

Molt, da NVIDIA NeMo.

No Molt, o agente é um programa Python comum: o pesquisador indica um módulo com um AgentRunner, e a função de recompensa é escrita em código padrão. Há dois modos de operação: Env (o framework controla o ciclo do LLM no estilo Gymnasium) e ChatAgent (o desenvolvedor controla o fluxo pelo SDK padrão da OpenAI ou da Anthropic). O framework sobe um servidor loopback com suporte aos dois protocolos wire, e cada requisição é decodificada no lado do servidor na sequência exata de tokens.

Três invariantes de correção organizam o design: identidade de tokens, em que os tokens gerados definem a trajetória, e não a transcrição retokenizada; semântica de versão da política, em que as log-probabilidades da política de comportamento são preservadas no nível dos tokens; e consistência direta, pela qual rollout e ator devem trabalhar com o mesmo modelo. Para políticas MoE (mixture-of-experts), o Molt aplica rollout routing replay: o vLLM devolve os identificadores dos especialistas para cada token, e a passagem de treinamento os reproduz, eliminando divergências de roteamento.

Para quem o Molt está disponível hoje?

O Molt é voltado a grupos de pesquisa com acesso a clusters H100 ou H200. Segundo a NVIDIA, o desempenho do framework é estatisticamente comparável ao do stack Megatron, ou seja, os pesquisadores não sacrificam velocidade em troca da compactação. O público-alvo inclui laboratórios de fronteira e startups de IA financiadas que trabalham com pós-treinamento de modelos; grupos de pesquisa corporativos em finanças, saúde e robótica com acesso a clusters de GPUs multinó; e laboratórios acadêmicos com H100/H200.

O que isso significa

O Molt reduz o custo de iteração em pesquisa de RL: 8 600 linhas transparentes aceleram experimentos algorítmicos, e o suporte aos SDKs padrão significa que o código agêntico existente pode ser treinado sem reescrita. A NVIDIA monta um stack aberto para treinamento de agentes e concorre com verl e OpenRLHF não só em velocidade, mas também na facilidade de pesquisa.

Perguntas frequentes

Quantas GPUs são necessárias para rodar o Molt?

A receita padrão exige 16 GPUs NVIDIA H100 em dois nós: 8 cuidam do treinamento e 8, da geração (rollout).

Qual a diferença entre o Molt, o verl e o OpenRLHF?

O Molt tem cerca de 8 600 linhas de código de RL, contra 62 000 do verl e 7 200 do OpenRLHF. Nenhum dos três componentes (Ray, vLLM, NVIDIA AutoModel) sofre fork: as atualizações chegam pela troca do pin do contêiner Docker.