Nemotron 3.5 Bolt é comprimido para 24 GB: modelo de 74B gera 84 tokens por segundo

Pesquisadores publicaram no arXiv a descrição do Nemotron 3.5 Bolt 74B-A9B 24GB, um modelo híbrido Mamba-Transformer com suporte a imagens. O objetivo é entregar o máximo de velocidade e qualidade por gigabyte de memória em cenários agênticos locais. O modelo tem 74 bilhões de parâmetros, dos quais 9 bilhões ficam ativos na geração de cada token, e o conjunto completo cabe em 24 GB. Na RTX Spark, ele gera 84 tokens por segundo. Para cadeias agênticas longas, essa velocidade é mais do que suficiente, na avaliação dos autores. O trabalho envolveu 109 pessoas, e o preprint está registrado sob o número 2610.33039.

De 120 bilhões a 24 GB: como o Super VL foi comprimido

O Bolt não foi treinado do zero. Ele deriva da família Nemotron 3.5 Super VL 120B-A12B, e a compressão aconteceu em duas etapas.

A primeira se chama Star Elastic compression. Ela reduz a própria arquitetura: dos 120 bilhões de parâmetros totais, restaram 74 bilhões (cerca de 38% a menos), e os parâmetros ativos caíram de 12 bilhões para 9 bilhões (25% a menos).

A segunda etapa é a Quantization-Aware Distillation de 2 bits. Os pesos são comprimidos para dois bits, e a qualidade é recuperada por uma destilação em que o modelo aprende já levando a quantização em conta. Uma conta simples mostra a escala: 74 bilhões de parâmetros a 2 bits dão cerca de 18,5 GB só para os pesos. O restante dos 24 GB fica para os demais componentes e para a memória de trabalho. É um cálculo feito a partir dos números declarados, não uma medição do artigo.

O esquema híbrido Mamba mais Transformer também contribui para economizar memória e ganhar velocidade. O modelo aceita imagens junto com texto, o que permite ler capturas de tela de páginas da web e de interfaces.

LiLiCorr e 84 tokens por segundo

A compressão reduziu o tamanho, mas não trouxe velocidade. Por isso, a equipe treinou um drafter especulativo separado, o LiLiCorr. O drafter propõe vários tokens à frente, e o modelo principal os verifica em uma única passada. O LiLiCorr é distribuído junto com o modelo, e os autores o apresentam como parte da receita para atingir a velocidade-alvo.

O resultado: 84 tokens por segundo na RTX Spark. Os autores comparam esse número com modelos que têm um número de parâmetros ativos bem menor. Para um agente que chama ferramentas centenas de vezes, navega por páginas e executa comandos no terminal, o que importa é uma velocidade sustentada, e não o pico em uma resposta curta.

O que se sabe sobre o Bolt

• Nome: Nemotron 3.5 Bolt 74B-A9B 24GB, da família Nemotron.
• Arquitetura: híbrido de Mamba e Transformer, modelo vision-language.
• Parâmetros: 74 bilhões no total, 9 bilhões ativos.
• Memória: 24 GB.
• Modelo de origem: Nemotron 3.5 Super VL 120B-A12B.
• Compressão: Star Elastic compression.
• Quantização: Quantization-Aware Distillation de 2 bits.
• Drafter: LiLiCorr, lançado junto com o modelo.
• Perfil: raciocínio, chamadas agênticas de ferramentas, trabalho com web e terminal.
• Benchmarks: GDPVal v2 (capacidades agênticas gerais), BrowseComp (navegação na web), Terminal-Bench 2.1 (terminal).
• Velocidade: 84 tokens por segundo na RTX Spark.
• Publicação: arXiv cs.CV, enviado em 15 de outubro de 2026, 109 autores.

Para quem foi feito

Segundo os autores, o Bolt pontua mais do que os principais modelos com consumo de memória e velocidade semelhantes. Isso vale tanto para tarefas agênticas gerais quanto para navegação na web e para o trabalho no terminal. A comparação é feita justamente na classe “cabe em uma única placa de vídeo de consumo”, em que as alternativas costumam ser menores ou mais lentas. Ainda não há medições independentes; os resultados são da própria equipe.

A conclusão prática para desenvolvedores é simples. Se você está montando um agente local que abre sites, executa comandos e interpreta capturas de tela, 24 GB de memória e 84 tokens por segundo tiram esse tipo de arquitetura do campo do experimento e a colocam no campo do uso real. Os dados não saem para a nuvem, e o custo do token se resume à energia elétrica.

Vale verificar três pontos: como a quantização de 2 bits se comporta nas suas tarefas, quanto o drafter acelera especificamente os seus cenários e se a memória que sobra dá conta de um contexto longo. A própria receita também merece atenção: comprimir um modelo grande e aplicar destilação durante a quantização pode se tornar o caminho padrão dos pesos de data center para os modelos locais.