NVIDIA lanza Nemotron 3.5 Bolt E4B: 4 GB de memoria y 133 tokens por segundo en una RTX 5070

NVIDIA ha publicado los pesos de Nemotron 3.5 Bolt E4B, el modelo más compacto de la línea Nemotron 3.5, pensado para ejecutarse en local en tarjetas gráficas GeForce RTX, placas Jetson y minicomputadoras Spark. Con cuantización de 4 bits ocupa unos 4 GB de memoria, genera 133 tokens por segundo en una RTX 5070 y tarda 548 ms en producir el primer token. El lanzamiento llega algo más de una semana después del anuncio de la multimodal Nemotron 3.5 Super VL y de su versión comprimida Bolt, de 74.000 millones de parámetros. Entonces NVIDIA prometió también un modelo pequeño, que ya está disponible en abierto.

Ajuste fino de Gemma, no compresión del modelo mayor

E4B tiene un origen distinto al del Bolt grande. La versión de 74.000 millones de parámetros resultó de comprimir Super VL. El modelo pequeño, en cambio, se construye sobre Gemma 4 E4B de Google: NVIDIA lo reentrenó con aprendizaje por refuerzo para seguir instrucciones, llamar a herramientas en varios pasos y mantener diálogos.

El modelo tiene 8.000 millones de parámetros en total, pero solo 4.000 millones trabajan en cada token. El contexto es de 64 mil tokens y admite 35 idiomas. El razonamiento se puede activar y desactivar, y su longitud se puede limitar para ganar velocidad. Para quien ejecuta un modelo en local es una palanca importante: la cadena de razonamiento consume tokens y tiempo, y en hardware modesto suele convenir recortarla.

Qué muestran las mediciones y dónde pierde el modelo

Según NVIDIA, Bolt E4B es de media un 40% mejor que su predecesor Nemotron 3 Nano 4B y gasta hasta un 80% menos de tokens por respuesta. Supera a su modelo de origen, Gemma 4 E4B, en casi todas las pruebas. Todas las cifras son mediciones propias de la compañía y por ahora no hay verificaciones independientes.

Qwen3.5 4B sigue siendo más fuerte. En el trabajo con herramientas, medido con Tau2-Bench (un benchmark de diálogos de agentes con llamada a funciones), obtiene 61,7 frente a 52,3 del nuevo modelo. En contexto largo, con RULER (un conjunto de tareas de búsqueda y uso de información en textos largos), la brecha es igual de notable: 95,4 frente a 85,8. Si necesita un tool calling fiable o trabajar con documentos largos en un modelo pequeño, elegir Bolt E4B no es una decisión evidente.

La velocidad depende mucho del hardware. En la placa Jetson Orin Nano hay que esperar 5,8 segundos hasta el primer token, y después la generación avanza a 15,5 tokens por segundo. Eso es decenas de veces más lento que el arranque en la RTX 5070 en latencia y casi nueve veces menos en rendimiento. Para un asistente interactivo en la Orin Nano, esa respuesta puede resultar justa.

Modelos borrador DFlash y soporte en los entornos de ejecución

Junto con los pesos en BF16 y GGUF, NVIDIA ha publicado modelos auxiliares de borrador basados en el método DFlash. Estos proponen varios tokens siguientes a la vez y el modelo principal los verifica. Según NVIDIA, esto aporta hasta un 21% más de velocidad. La calidad de las respuestas la determina el modelo principal, y la ganancia procede de la verificación en paralelo.

El soporte ya existe en llama.cpp, Ollama, LM Studio, vLLM y SGLang, de modo que el modelo se puede ejecutar tanto en un portátil como en un stack de servidor sin adaptaciones propias. La licencia es OpenMDW 1.1. Junto a los pesos se publican una entrada de blog y un informe técnico.

La conclusión para los profesionales es esta. Bolt E4B parece un buen candidato para aplicaciones en RTX y Spark que necesiten respuesta rápida, multilingüismo y razonamiento controlable con apenas 4 GB de memoria. Para escenarios con cadenas de agentes pesadas o con contexto largo, conviene probar primero el modelo con sus propias tareas y compararlo con Qwen3.5 4B. Y en la Jetson Orin Nano, compruebe la latencia real antes de llevarlo a producción.