Nemotron 3.5 Bolt, comprimido a 24 GB: un modelo de 74B genera 84 tokens por segundo

Un grupo de investigadores ha publicado en arXiv la descripción de Nemotron 3.5 Bolt 74B-A9B 24GB, un modelo híbrido Mamba-Transformer con soporte de imágenes. Su objetivo es ofrecer la máxima velocidad y calidad por cada gigabyte de memoria en escenarios agénticos locales. El modelo tiene 74 mil millones de parámetros, de los cuales 9 mil millones se activan al generar cada token, y todo el conjunto cabe en 24 GB. En RTX Spark genera 84 tokens por segundo. Para cadenas agénticas largas, según los autores, esa velocidad es más que suficiente. En el trabajo participaron 109 personas y el preprint está registrado con el número 2610.33039.

De 120 mil millones a 24 GB: cómo se comprimió Super VL

Bolt no se entrenó desde cero. Deriva de la familia Nemotron 3.5 Super VL 120B-A12B, y la compresión se hizo en dos pasos.

El primero se llama Star Elastic compression y reduce la propia arquitectura: de 120 mil millones de parámetros totales quedan 74 mil millones (alrededor de un 38 % menos), y los activos pasan de 12 mil millones a 9 mil millones (un 25 % menos).

El segundo paso es la Quantization-Aware Distillation a 2 bits. Los pesos se comprimen a dos bits y la calidad se recupera mediante una destilación en la que el modelo aprende ya teniendo en cuenta la cuantización. Una estimación sencilla da la medida: 74 mil millones de parámetros a 2 bits suponen unos 18,5 GB solo para los pesos. El resto de los 24 GB queda para otros componentes y memoria de trabajo. Es un cálculo a partir de las cifras declaradas, no una medición del artículo.

El esquema híbrido Mamba más Transformer también contribuye aquí al ahorro de memoria y a la velocidad. El modelo acepta imágenes junto con texto, por lo que puede leer capturas de páginas web y de interfaces.

LiLiCorr y 84 tokens por segundo

La compresión redujo el tamaño, pero no dio velocidad, así que el equipo entrenó un drafter especulativo independiente, LiLiCorr. El drafter propone varios tokens por adelantado y el modelo principal los verifica en una sola pasada. LiLiCorr se publica junto con el modelo, y los autores lo presentan como parte de la receta para alcanzar la velocidad objetivo.

El resultado: 84 tokens por segundo en RTX Spark. Los autores comparan esta cifra con modelos que tienen un número de parámetros activos notablemente menor. Para un agente que invoca herramientas cientos de veces, pasa páginas y ejecuta comandos en la terminal, importa la velocidad sostenida, no el pico en una respuesta corta.

Qué se sabe de Bolt

• Nombre: Nemotron 3.5 Bolt 74B-A9B 24GB, de la familia Nemotron.
• Arquitectura: híbrido de Mamba y Transformer, modelo vision-language.
• Parámetros: 74 mil millones en total, 9 mil millones activos.
• Memoria: 24 GB.
• Modelo de origen: Nemotron 3.5 Super VL 120B-A12B.
• Compresión: Star Elastic compression.
• Cuantización: Quantization-Aware Distillation a 2 bits.
• Drafter: LiLiCorr, se publica junto con el modelo.
• Perfil: razonamiento, llamadas agénticas a herramientas, trabajo con la web y la terminal.
• Benchmarks: GDPVal v2 (capacidades agénticas generales), BrowseComp (navegación web), Terminal-Bench 2.1 (terminal).
• Velocidad: 84 tokens por segundo en RTX Spark.
• Publicación: arXiv cs.CV, enviado el 15 de octubre de 2026, 109 autores.

Para quién está pensado

Según los autores, Bolt obtiene más puntos que los modelos líderes con un volumen de memoria y una velocidad similares. Esto abarca tanto las tareas agénticas generales como la navegación web y el trabajo en la terminal. La comparación se hace precisamente en la clase «cabe en una sola tarjeta gráfica de consumo», donde las alternativas suelen ser más pequeñas o más lentas. Todavía no hay mediciones independientes: son resultados del propio equipo.

La conclusión práctica para los desarrolladores es sencilla. Si construyes un agente local que abre sitios web por su cuenta, ejecuta comandos y analiza capturas de pantalla, 24 GB de memoria y 84 tokens por segundo hacen que ese esquema pase de experimento a solución viable. Los datos no salen a la nube y el coste del token se reduce a la electricidad.

Conviene comprobar tres cosas: cómo se comporta la cuantización a 2 bits en tus tareas, cuánto acelera el drafter tus escenarios concretos y si la memoria restante alcanza para un contexto largo. La receta en sí merece atención aparte: comprimir un modelo grande y aplicar destilación durante la cuantización puede convertirse en el camino estándar de los pesos de centro de datos a los locales.