NVIDIA lança o Nemotron 3 Nano 4B, modelo híbrido compacto para rodar em dispositivos

A NVIDIA liberou o acesso ao Nemotron 3 Nano 4B, um modelo de linguagem compacto com 4 bilhões de parâmetros, criado especificamente para implantação na borda (edge) em dispositivos Jetson, GPUs RTX e DGX Spark. É o primeiro modelo de 4B da NVIDIA construído sobre uma arquitetura híbrida Mamba-Transformer, voltada a consumo mínimo de memória e inferência rápida.

Uma arquitetura híbrida de nova geração

O Nemotron 3 Nano 4B tem um desenho de 42 camadas: 21 blocos Mamba, 4 blocos Attention e 17 blocos MLP. Essa proporção é incomum para modelos de linguagem desse tamanho, já que a maioria dos concorrentes usa exclusivamente transformers. As camadas Mamba processam sequências longas com complexidade linear, e não quadrática, em memória, e essa é a principal fonte de eficiência. Os blocos Attention são posicionados de forma estratégica e preservam a precisão onde a compreensão global do contexto importa.

Em comparação com o modelo de origem, o Nemotron Nano 9B v2, a dimensão dos embeddings caiu de 4.480 para 3.136, o número de cabeças Mamba de 128 para 96 e o de camadas de 56 para 42. O resultado: o menor uso de VRAM da classe 4B em testes com uma RTX 4070 e latência Time-to-First-Token recorde de baixa em sequências de entrada longas.

Quatro estágios de treinamento

O Nemotron 3 Nano 4B não é simplesmente um 9B enxugado, mas um modelo com pipeline de treinamento próprio, em quatro etapas. A primeira é a compressão via Nemotron Elastic: uma busca de arquitetura neural (NAS) com um roteador treinado definiu exatamente onde podar a rede de 9B. O roteador atuou em quatro eixos: cabeças Mamba, dimensão oculta, canais FFN e profundidade do modelo.

A segunda é a destilação para recuperar precisão:

• Contexto curto (8K, 63B tokens): 70% de dados de pós-treinamento + 30% de pré-treinamento
• Contexto longo (49K, 150B tokens): ampliação da janela para tarefas de raciocínio complexas

A terceira é o ajuste fino supervisionado (SFT): duas fases com matemática, código, ciência, chat, tarefas agênticas e segurança.

A quarta é o aprendizado por reforço em três fases com o NeMo-RL: do seguimento de instruções em um único turno ao de vários turnos com saídas JSON/XML, e daí à chamada de ferramentas. A proporção entre dados de raciocínio e sem raciocínio é de 50/50, com penalidade KL cada vez mais rígida.

Os números que importam

No Jetson Orin Nano com GGUF de 4 bits (Q4_K_M), o modelo gera 18 tokens/s, o dobro do Nemotron Nano 9B v2 no mesmo hardware. A quantização FP8 via ModelOpt mantém 100% da precisão mediana e acelera a inferência em 1,8× em relação ao BF16.

"FP8 quantization achieved 100% median accuracy recovery with up to

1.8X latency/throughput improvement over BF16" — da documentação técnica da NVIDIA.

Nos principais benchmarks, o modelo lidera entre os concorrentes da sua categoria:

• IFBench e IFEval — seguimento de instruções
• Orak — inteligência em jogos: Super Mario, Darkest Dungeon, Stardew Valley
• Tool-use — chamada de ferramentas e prevenção de alucinações
• TTFT — latência mínima em sequências de entrada longas

O modelo está disponível em três versões: BF16 (precisão total), FP8 (otimizada para RTX e GPUs de servidor) e GGUF Q4_K_M (para Jetson e Llama.cpp). Há suporte aos mecanismos vLLM, TRT-LLM e Hugging Face Transformers.

O que isso significa

Um modelo de 4B com o dobro da velocidade do 9B no Jetson muda a equação da IA na borda: robótica, IoT, agentes locais e NPCs de jogos ganham uma ferramenta de nível industrial sem hardware caro e sem enviar dados para a nuvem. Os pesos abertos permitem ajustar o modelo para um domínio específico sem restrições de licença.