NVIDIA aceleró en un 42,5% la generación de texto de un modelo de 124B en el DGX Spark de sobremesa
Una red neuronal no se ralentiza solo por la falta de cómputo: en cada palabra necesita leer de memoria un volumen enorme de pesos. NVIDIA aceleró en el DGX Spark de sobremesa el modelo MoE de 124 000 millones de parámetros Ling-3.0-Flash con tres técnicas: la velocidad de generación en la prueba GSM8K subió un 42,5%, la latencia media bajó un 24,5% y la precisión no cambió. Antes de comprar hardware nuevo, revise los kernels, la cuantización y la decodificación.
Procesado por IA desde X: @crazyMLguy; editado por Hamidun News
Cuando una red neuronal responde lentamente, la primera idea es que hace falta una tarjeta gráfica más potente. En un artículo técnico, NVIDIA mostró que muchas veces basta con otra cosa: con el mismo hardware se puede obtener bastante más rendimiento si se trabaja en la parte de software. El equipo ejecutó en el ordenador de sobremesa DGX Spark el modelo Ling-3.
0-Flash, un modelo MoE de 124 000 millones de parámetros. Tras tres optimizaciones, la velocidad de generación de texto (la llamada capacidad de procesamiento de la decodificación, es decir, cuántos tokens por segundo produce el modelo) subió un 42,5%. La latencia media de respuesta bajó un 24,5%.
Se probó con el benchmark GSM8K, con problemas matemáticos escolares, y la precisión se mantuvo prácticamente igual.
Qué se aceleró exactamente
MoE (mixture of experts) es una arquitectura en la que, para cada token, solo trabaja una parte de los "expertos" del modelo. Así se calcula menos, pero los pesos siguen siendo muchísimos y hay que leerlos constantemente de la memoria. En máquinas compactas como el DGX Spark, durante la generación de texto, la memoria suele ser el cuello de botella. Por eso NVIDIA atacó tres puntos a la vez.
El primero son los kernels de cómputo optimizados, que en el material se llaman Humming kernels. Por sí solos añadieron alrededor de un 9,3% a la capacidad de procesamiento. La mejora es modesta, pero se logró sin cambiar el propio modelo.
El segundo es la cuantización en FP8 para la capa de salida. En cada paso, esta capa consulta una gran tabla de pesos para elegir la siguiente palabra. Si la tabla se guarda en un formato más compacto, en cada paso se leen menos datos de la memoria. Es como un mensajero que lleva los mismos paquetes, pero en cajas más ligeras.
El tercero es la decodificación especulativa. Un modelo normal produce un token por pasada. Con este enfoque, primero se proponen varios tokens candidatos y después el modelo principal los verifica en una sola ronda. Los candidatos correctos se aceptan en bloque, y en el mismo tiempo se obtiene más texto. Es parecido al autocompletado del teléfono: en lugar de revisar cada letra, se revisa una frase entera de una vez.
Resultado conjunto
Las tres optimizaciones combinadas dieron estos resultados en GSM8K:
- la velocidad de decodificación es un 42,5% mayor;
- la latencia media es un 24,5% menor;
- la precisión prácticamente no cambió.
El último punto es tan importante como los dos primeros. Con la cuantización y los esquemas especulativos suele surgir la duda de si se ha pagado la velocidad con la calidad de las respuestas. Según NVIDIA, en GSM8K la calidad se mantuvo en el mismo nivel. Además, el 42,5% es el resultado de la combinación de técnicas: no equivale a la suma de las contribuciones individuales, y el 9,3% de los kernels es solo una parte del panorama general.
Qué hacer en la práctica
Para quienes ejecutan modelos grandes en local o en servidores pequeños, la conclusión es sencilla: antes de buscar hardware más caro, revise tres cosas.
- Qué kernels usa su motor de inferencia.
- Si se pueden comprimir las partes del modelo que más memoria consumen al leer, sin perder calidad.
- Si su stack admite la decodificación especulativa para su modelo.
Esto es especialmente relevante para equipos que desarrollan asistentes privados, agentes locales y prototipos en estaciones de sobremesa. Para ellos, cada punto porcentual de velocidad significa menos latencia en la conversación y la posibilidad de atender más solicitudes con el mismo presupuesto.
Limitaciones
Este es un solo ejemplo: un modelo, un tipo de hardware y un benchmark. GSM8K evalúa el razonamiento aritmético; en diálogos largos, código o tareas multilingües, la cuantización y la decodificación especulativa pueden comportarse de otra manera. Además, las cifras proceden del blog técnico de la propia NVIDIA, y todavía no hay mediciones independientes. Antes de llevar estas técnicas a producción, hay que verificarlas con datos propios y métricas de calidad propias.
No obstante, la conclusión general es clara: en la inferencia, una parte notable de la ganancia proviene del trabajo de ingeniería con la memoria y la decodificación, y no de la compra de un nuevo acelerador.
- 15 oct 2026El NVIDIA RTX Spark N1X ejecuta un agente local con Qwen3.8 27B en 18,7 minutos
- 30 oct 2026Inclusion AI acelera hasta 6,9 veces la generación de los LLM con un árbol de borradores
- 28 oct 2026DeepSeek abre DeepInfer, mientras EE. UU. y China preparan controles sobre los modelos abiertos
- 13 feb 2026OpenAI presenta un modelo de programación ultrarrápido que esquiva los chips de Nvidia
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se aceleró exactamente?
MoE (mixture of experts) es una arquitectura en la que, para cada token, solo trabaja una parte de los "expertos" del modelo. Así se calcula menos, pero los pesos siguen siendo muchísimos y hay que leerlos constantemente de la memoria. En máquinas compactas como el DGX Spark, durante la generación de texto, la memoria suele ser el cuello de botella. Por eso NVIDIA atacó tres puntos a la vez. El primero son los kernels de cómputo optimizados, que en el material se llaman Humming kernels.
¿Qué se sabe sobre Resultado conjunto?
Las tres optimizaciones combinadas dieron estos resultados en GSM8K: la velocidad de decodificación es un 42,5% mayor; la latencia media es un 24,5% menor; la precisión prácticamente no cambió. El último punto es tan importante como los dos primeros. Con la cuantización y los esquemas especulativos suele surgir la duda de si se ha pagado la velocidad con la calidad de las respuestas. Según NVIDIA, en GSM8K la calidad se mantuvo en el mismo nivel.
¿Qué se sabe sobre Qué hacer en la práctica?
Para quienes ejecutan modelos grandes en local o en servidores pequeños, la conclusión es sencilla: antes de buscar hardware más caro, revise tres cosas. Qué kernels usa su motor de inferencia. Si se pueden comprimir las partes del modelo que más memoria consumen al leer, sin perder calidad. Si su stack admite la decodificación especulativa para su modelo. Esto es especialmente relevante para equipos que desarrollan asistentes privados, agentes locales y prototipos en estaciones de sobremesa.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.