NVIDIA Nemotron-Labs-3-Puzzle-75B: compressão de 37% do modelo dobrou a velocidade do servidor

Em 9 de julho de 2026, a NVIDIA lançou o Nemotron-Labs-3-Puzzle-75B, uma versão comprimida do modelo de linguagem Nemotron-3-Super. Os engenheiros da NVIDIA utilizaram a metodologia Puzzle, que alterna compressão orientada por hardware com fases de recuperação de conhecimento. Como resultado, o modelo foi reduzido em 37% — de 120.7B para 75.3B parâmetros, mas o desempenho em classe servidor aumentou 2.03x. Em um único nó com oito aceleradores B200, o modelo atende 100 tokens por segundo por usuário. Em um único H100 com contexto máximo de 1 milhão de tokens, a taxa de transferência saltou de 1 para 8 requisições simultâneas.

Como o Método Puzzle Funciona

Nemotron-Labs-3-Puzzle-75B foi criado usando um novo método Puzzle, que resolve um problema clássico: ao comprimir um modelo, ele perde capacidades. Os engenheiros da NVIDIA encontraram uma solução — alternar dois passos.

Na etapa de compressão estrutural, o algoritmo remove ou poda neurônios com base no consumo de energia e taxa de transferência em hardware específico. Isso não é apenas poda de pesos, mas uma análise do perfil de hardware. Então vem uma breve fase de destilação de conhecimento — o modelo original Nemotron-3-Super "ensina" a versão comprimida, recuperando o conhecimento perdido.

O processo se repete iterativamente: compressão → destilação → compressão → destilação. O resultado — o modelo retém a capacidade de responder perguntas complexas, escrever código e analisar contexto, mas requer 37% menos memória.

• Modelo original: 120.7B parâmetros, dos quais 12.8B estão ativos simultaneamente
• Modelo comprimido: 75.3B parâmetros, dos quais 9.3B estão ativos
• Tipo de arquitetura: Mixture of Experts (MoE) híbrida
• Método: compressão de hardware iterativa e destilação de conhecimento
• Economia de memória: redução de aproximadamente 37%

Desempenho em Diferentes Aceleradores

A principal vantagem do Nemotron-Labs-3-Puzzle-75B é a taxa de transferência, não a velocidade de uma requisição individual. Isso é crítico para APIs em nuvem e serviços empresariais que atendem simultaneamente milhares de usuários.

No hardware mais recente — um nó com oito aceleradores NVIDIA B200 — o modelo Puzzle mostra taxa de transferência 2.03x maior que o Nemotron-3-Super. Cada usuário é garantido uma velocidade de processamento mínima de 100 tokens por segundo.

Em H100s mais acessíveis, o benefício é ainda mais impressionante. Com um contexto de 1 milhão de tokens, o paralelismo cresceu de 1 para 8 requisições simultâneas. Ou seja, um H100 agora atende 8 vezes mais usuários com a mesma latência.

Por Que Isso Importa para a Indústria

Os resultados do Nemotron-Labs-3-Puzzle-75B indicam que a era de modelos gigantes e não otimizados está chegando ao fim. As empresas valorizam não o tamanho do modelo, mas a relação qualidade-desempenho em hardware específico. A NVIDIA mostrou que até mesmo modelos com dezenas de bilhões de parâmetros podem ser comprimidos racionalmente.

O método Puzzle provavelmente se tornará um padrão para preparar LLMs para implantação industrial. Startups e empresas de médio porte terão uma ferramenta para pegar modelos poderosos e otimizá-los para seus data centers — seja na nuvem ou em dispositivos edge.

O Que Isso Significa

A NVIDIA demonstra que o futuro pertence aos modelos otimizados, não aos gigantescos. Compressão de 37% com aceleração de 200% — isso não é um compromisso, mas um progresso claro. Empresas que implantam LLMs terão uma ferramenta para economizar dinheiro em computação sem perder funcionalidade.