NVIDIA lança Nemotron 3.5 Bolt E4B com 4 GB e 133 tokens por segundo na RTX 5070

A NVIDIA publicou os pesos do Nemotron 3.5 Bolt E4B, o modelo mais compacto da linha Nemotron 3.5, pensado para rodar localmente em placas de vídeo GeForce RTX, placas Jetson e minicomputadores Spark. Com quantização de 4 bits, ele ocupa cerca de 4 GB de memória, gera 133 tokens por segundo na RTX 5070 e entrega o primeiro token em 548 ms. O lançamento veio pouco mais de uma semana depois do anúncio do Nemotron 3.5 Super VL, que é multimodal, e de sua versão comprimida Bolt, com 74 bilhões de parâmetros. Na ocasião, a NVIDIA também prometeu um modelo pequeno, que agora está disponível em acesso aberto.

Ajuste fino do Gemma, e não compressão do modelo maior

A origem do E4B é diferente da do Bolt maior. A versão de 74 bilhões de parâmetros surgiu da compressão do Super VL. O modelo pequeno foi construído sobre o Gemma 4 E4B, do Google: a NVIDIA o refinou com aprendizado por reforço para seguir instruções, chamar ferramentas em várias etapas e conduzir diálogos.

São 8 bilhões de parâmetros no total, mas apenas 4 bilhões trabalham em cada token. O contexto é de 64 mil tokens, e o modelo suporta 35 idiomas. O raciocínio pode ser ligado e desligado, e seu tamanho pode ser limitado para ganhar velocidade. Para quem usa um modelo local, esse é um recurso importante: a cadeia de raciocínio consome tokens e tempo, e em hardware fraco costuma valer a pena encurtá-la.

O que mostram os testes e onde o modelo perde

Segundo a NVIDIA, o Bolt E4B é em média 40% melhor que o Nemotron 3 Nano 4B anterior e gasta até 80% menos tokens por resposta. Ele supera o Gemma 4 E4B, o modelo de origem, em quase todos os testes. Todos os números são medições da própria empresa, e ainda não há verificações independentes.

O Qwen3.5 4B continua mais forte. Em uso de ferramentas no Tau2-Bench (benchmark de diálogos agênticos com chamada de funções), ele marca 61,7 contra 52,3 do novo modelo. Em contexto longo, no RULER (conjunto de tarefas de busca e uso de informação em textos longos), a diferença é igualmente visível: 95,4 contra 85,8. Se você precisa de tool calling confiável ou de trabalho com documentos longos em um modelo pequeno, a escolha pelo Bolt E4B não é óbvia.

A velocidade depende muito do hardware. Na placa Jetson Orin Nano, o primeiro token leva 5,8 segundos para aparecer, e depois a geração segue a 15,5 tokens por segundo. Isso é dezenas de vezes mais lento que a RTX 5070 em latência de partida e quase nove vezes mais lento em vazão. Para um assistente interativo no Orin Nano, essa resposta pode ser limitada.

Modelos de rascunho DFlash e suporte em runtimes

Junto com os pesos em BF16 e GGUF, a NVIDIA publicou modelos auxiliares de rascunho, separados, baseados no método DFlash. Eles propõem vários tokens seguintes de uma vez, e o modelo principal os verifica. Segundo a NVIDIA, isso rende até 21% de ganho de velocidade. Nessa abordagem, a qualidade das respostas é definida pelo modelo principal, e o ganho vem da verificação em paralelo.

Há suporte em llama.cpp, Ollama, LM Studio, vLLM e SGLang, então o modelo roda tanto em um notebook quanto em uma stack de servidor, sem adaptações próprias. A licença é a OpenMDW 1.1. Os pesos acompanham um post de blog e um relatório técnico.

Para quem vai colocar o modelo em prática, a conclusão é esta. O Bolt E4B parece um bom candidato para aplicativos em RTX e Spark que precisam de resposta rápida, suporte a vários idiomas e raciocínio controlável, com apenas 4 GB de memória. Em cenários com cadeias agênticas pesadas ou contexto longo, vale primeiro testar o modelo nas suas próprias tarefas e comparar com o Qwen3.5 4B. E no Jetson Orin Nano, confira a latência real antes de levar o modelo para um produto.