NVIDIA reduz modelo Nemotron de 120 para 74 bilhões de parâmetros para caber em 24 GB de VRAM

# NVIDIA reduz modelo Nemotron de 120 para 74 bilhões de parâmetros para caber em 24 GB de VRAM

Empresas que desenvolvem modelos de IA de uso geral costumam competir em tamanho: mais parâmetros, modelo mais inteligente. Mas para um PC de IA local, que precisa funcionar junto com outros programas usando memória VRAM limitada, o que importa é outra coisa: quanto valor o modelo entrega por gigabyte de memória. A NVIDIA resolveu esse problema pegando seu modelo multimodal principal, o Nemotron 3.5 Super VL (120 bilhões de parâmetros, com 12 bilhões ativos por token), e comprimindo-o na versão Nemotron 3.5 Bolt 74B-A9B, que cabe em 24 GB de memória — exatamente o que está disponível nos PCs de IA compactos RTX Spark e DGX Spark da NVIDIA.

Como cortaram o modelo sem perder a inteligência

Em vez de decidir manualmente quais partes da rede neural descartar, a NVIDIA usou sua própria ferramenta, a Star Elastic, que determina automaticamente quantos "especialistas" (subredes separadas, ativadas para tarefas específicas) manter em cada camada do modelo e quais cortar. O processo acontece em paralelo ao treinamento: um "roteador" dedicado testa diferentes configurações de arquitetura enquanto, simultaneamente, ocorre a destilação de conhecimento — o modelo "professor" original, de 120 bilhões de parâmetros, orienta a versão compactada em direção às respostas corretas para que ela não perca capacidades. O resultado: o número de "especialistas" ativos por token caiu de 22 para 9, e o tamanho total do modelo passou de 120 para 74 bilhões de parâmetros.

Após a compactação, o modelo foi treinado novamente: primeiro, a capacidade de entender imagens foi restaurada, conectando ao núcleo de texto compactado um módulo visual retreinado do modelo original. Depois, veio o aprendizado por reforço em tarefas agênticas reais — uso de ferramentas via protocolo MCP, operações de terminal e revisão de código no estilo dos benchmarks SWE. Foi exatamente esse treinamento que elevou a pontuação no benchmark MCP-Atlas de 48 para 56 pontos — ou seja, o modelo ficou visivelmente melhor em tarefas de múltiplas etapas que exigem acionar diferentes ferramentas em sequência.

Quantização para 2 bits — e como isso não destruiu a precisão

A principal fonte de economia de memória não foi a compressão arquitetônica, mas uma quantização agressiva dos pesos. Normalmente, os modelos armazenam pesos em formato de 16 bits (BF16), mas a NVIDIA comprimiu a maioria das camadas "especialistas" para apenas 2,0625 bits por parâmetro — ou seja, cada número na rede agora ocupa cerca de 8 vezes menos espaço. Isso reduziu o peso do modelo de 148 GB (em BF16 não compactado) para 22,1 GB, uma economia de 85%.

A principal descoberta da equipe: é melhor partir de um modelo maior e comprimi-lo com mais força do que pegar um modelo menor e comprimi-lo menos — com o mesmo tamanho final, a primeira opção é mais precisa. Para que a própria quantização não comprometesse a qualidade das respostas, usaram destilação durante o processo de compressão (Quantization-Aware Distillation): o modelo "professor" não compactado orienta em tempo real a versão compactada sobre como preservar as distribuições de probabilidade corretas sobre as palavras. Para isso, os autores testaram várias funções de perda e optaram por uma medida baseada no índice de Jaccard (que avalia a sobreposição entre dois conjuntos de probabilidades) — ela apresentou o melhor resultado justamente para esse nível extremo de compressão.

Nem todas as camadas foram compactadas da mesma forma: algumas (por exemplo, as responsáveis por processar contexto longo) foram mantidas no formato NVFP4, enquanto os embeddings e a camada de saída permaneceram em 8 bits (Q8_0), para não perder precisão onde ela é mais crítica.

O que deu na prática

No RTX Spark, o modelo entrega 84 tokens por segundo graças a um módulo adicional de "rascunho" chamado LiLiCorr — um modelo auxiliar pequeno que adivinha várias palavras seguintes com antecedência, enquanto o modelo principal apenas as verifica (essa técnica é chamada de decodificação especulativa e acelera a geração sem perda de qualidade). A velocidade é comparável à de modelos com muito menos parâmetros ativos, mas o Nemotron 3.5 Bolt os supera em precisão nos benchmarks de tarefas agênticas (GDPVal v2), navegação na web (BrowseComp) e operações de terminal (Terminal-Bench 2.1).

Em nove benchmarks principais, a pontuação média caiu de 57,58, para o modelo de tamanho completo, para 54,74, na versão compactada — uma perda de apenas 4,94%, mesmo com o modelo se tornando 6,7 vezes mais leve em peso (148 GB → 22,1 GB). Para desenvolvedores de agentes de IA locais — aqueles que querem executar um assistente poderoso em hardware compacto sem depender da nuvem — essa é uma ferramenta concreta: os pesos estão disponíveis nos formatos Hugging Face e GGUF, o modelo é compatível com llama.cpp e vLLM, e, junto com ele, a NVIDIA também lançou o próprio módulo de rascunho LiLiCorr para acelerar ainda mais o processo.