Nemotron-3-Nano-30B: a NVIDIA ensina modelos de 4 bits a raciocinar como gente grande

Lembra do tempo em que rodar um modelo de linguagem decente exigia um rack de servidores e o orçamento de um país pequeno? Esses dias estão ficando para trás rapidamente. Enquanto uns tentam apenas aumentar o número de parâmetros, os engenheiros da NVIDIA decidiram apostar na «mágica da engenharia» e em otimizar o que já existe. Nasceu assim o Nemotron-3-Nano-30B, um modelo de 30 bilhões de parâmetros que consegue manter a agudeza mesmo depois de passar por uma dieta que o encolheu quatro vezes.

O problema da quantização, o processo de compressão dos pesos de um modelo, sempre foi a perda de precisão. Em geral, ao converter um modelo de um formato de 16 bits (BF16) para um de 4 bits (NVFP4), ele passa a se comportar como alguém após uma concussão grave: confunde fatos e perde as conexões lógicas. A NVIDIA resolveu isso com o Quantization Aware Distillation (QAD). Simplificando, é um processo de treinamento em que um modelo «inteligente» de tamanho completo atua como mentor da versão «comprimida», sabendo de antemão que o aluno terá de trabalhar com uma forte escassez de memória. Com isso, a diferença de qualidade das respostas entre a versão pesada e a leve ficou praticamente imperceptível.

Em termos de arquitetura, o Nemotron-3-Nano-30B não é só mais um transformer. É um híbrido que combina Mamba2 e Transformer Mixture of Experts (MoE). O Mamba2 lida bem com contextos longos e processamento eficiente de sequências, enquanto o MoE ativa apenas as partes da rede necessárias para cada tarefa. A combinação deixa o modelo incrivelmente rápido em tarefas de raciocínio (reasoning), em que cada detalhe da cadeia de pensamento importa.

Para que isso serve à NVIDIA, além do óbvio domínio de mercado? A resposta está no hardware. O NVFP4 é a língua «nativa» da nova arquitetura de chips Blackwell. Ao lançar modelos assim, a empresa cria um ecossistema ideal: seu software roda com máxima eficiência justamente no seu novo hardware. É uma indireta para a indústria: se você quer raciocínio realmente rápido e inteligente com baixo gasto de energia, é hora de renovar o parque de GPUs.

Para os desenvolvedores, isso significa que a era da IA de «raciocínio» acessível chegou. Agora, um modelo de 30 bilhões de parâmetros pode rodar em hardware bem mais modesto, sem sacrificar a qualidade das inferências lógicas. Isso abre portas para soluções locais nas empresas, em que a confidencialidade dos dados vale mais do que o acesso a APIs na nuvem. A NVIDIA mostra mais uma vez que importa não só quantos neurônios você tem, mas quão eficientemente eles estão empacotados no silício.

O principal: a NVIDIA fez do formato de 4 bits o padrão para tarefas sérias, e agora concorrentes como a AMD e startups como a Groq terão de provar que suas soluções podem ser igualmente eficientes com precisão limitada. Alguém mais conseguirá «comprimir» a inteligência com tanta elegância?