NVIDIA lança Nemotron-Labs-TwoTower, modelo de texto com pesos abertos baseado em difusão

A NVIDIA publicou o Nemotron-Labs-TwoTower, um modelo de texto com pesos abertos. É um modelo de linguagem de difusão construído sobre o Nemotron-3-Nano-30B-A3B e projetado para acelerar a geração de texto.

Qual é o limite dos modelos autorregressivos

As arquiteturas autorregressivas (AR) são a base do GPT, do Llama, do Gemini e da maioria dos outros LLMs. O princípio é simples: cada próximo token é previsto com base em todos os anteriores, e o processo é estritamente sequencial. Isso é elegante no treinamento, mas cria um problema concreto na inferência em escala industrial.

O próximo token não pode ser calculado até que o anterior termine. Adicionar aceleradores GPU a um cluster não elimina esse limite: ele está embutido na arquitetura, no nível do grafo computacional, e a decodificação é sequencial por definição. Em respostas longas, o usuário espera proporcionalmente mais, e o custo de cada token esbarra em um piso rígido ao escalar. Para provedores que processam bilhões de requisições por dia, são custos operacionais diretos e permanentes. Por isso, acelerar a inferência é uma das principais frentes de pesquisa do setor, ao lado da redução do tamanho dos modelos e da quantização.

Os modelos de linguagem de difusão discreta propõem um mecanismo alternativo: em vez de decodificar passo a passo, eles refinam iterativamente todo o bloco de saída em alguns passos. Isso abre o potencial de gerar vários tokens em paralelo em uma única passada e, com isso, um perfil de vazão fundamentalmente diferente.

Como funciona a arquitetura TwoTower

O design de duas torres combina as abordagens AR e de difusão em um único modelo:

• Backbone AR: Nemotron-3-Nano-30B-A3B pré-treinado (30 bilhões de parâmetros, congelado)
• Cabeça de difusão: componente treinável sobre o backbone congelado
• Pesos abertos: licença NVIDIA Nemotron Open Model License
• Data de lançamento: 1º de julho de 2026

Congelar o backbone AR é uma decisão arquitetural central. Em vez de treinar um modelo de difusão do zero, a NVIDIA usa a base AR pré-treinada como fonte fixa de representações linguísticas contextuais. Apenas o componente de difusão é treinado, o que reduz o custo computacional por experimento e os dados necessários para a adaptação. A escolha do Nemotron-3-Nano-30B-A3B como backbone também facilita a reprodutibilidade: outras equipes podem repetir o experimento a partir do mesmo checkpoint publicamente disponível.

Por que difusão para texto é um problema difícil

Os modelos de difusão se tornaram o padrão na geração de imagens: Stable Diffusion, Midjourney e DALL-E 3 funcionam com esse princípio. Levar a ideia para o texto é bem mais complicado: pixels existem em um espaço numérico contínuo, enquanto tokens são discretos. O ruído gaussiano padrão não se aplica a objetos discretos, por isso o texto exige processos específicos de difusão discreta.

A área avança rápido, mas ainda é jovem para os padrões do setor. Trabalhos anteriores, como MDLM e SEDD, mostraram resultados competitivos em benchmarks de linguagem, mas a diferença de qualidade para os melhores sistemas AR persistiu. A abordagem de duas torres da NVIDIA tenta eliminar esse compromisso: pegar as sólidas representações linguísticas de um modelo AR já treinado e somar a elas um mecanismo de difusão, sem perder o conhecimento acumulado sobre sintaxe, semântica e dependências contextuais.

Os pesos abertos são especialmente valiosos para a comunidade acadêmica: pesquisadores poderão reproduzir a arquitetura, medir o ganho real de vazão em suas próprias tarefas e propor melhorias sobre o checkpoint publicado.

O que isso significa

O Nemotron-Labs-TwoTower é um passo prático rumo a uma inferência de LLMs mais rápida sem trocar o hardware. A NVIDIA, como principal fornecedora de GPUs para o mercado de IA, tem interesse em ampliar a aplicabilidade dos modelos de linguagem, inclusive por meio da redução do custo de inferência. Se a abordagem híbrida AR mais difusão se mostrar consistente em cenários reais de carga, tanto na qualidade da geração quanto no ganho efetivo de throughput, ela pode influenciar as escolhas de arquitetura na próxima geração de sistemas de linguagem.

O que é o Nemotron-Labs-TwoTower?

É um modelo de texto da NVIDIA que usa uma arquitetura de difusão em vez da abordagem autorregressiva tradicional. O objetivo do desenvolvimento era eliminar o gargalo na velocidade de geração de texto.

É possível usar o modelo NVIDIA Nemotron na Rússia?

Sim. O modelo é distribuído sob a licença aberta NVIDIA Nemotron Open Model License, que permite seu uso em qualquer país.