Qwen3-32B acelerado un 49 % sin nueva tarjeta gráfica: los pesos pasan de 16 a 8 bits
Un modelo grande puede acelerarse sin nueva tarjeta gráfica si sus pesos se almacenan en 8 bits (FP8) en lugar de 16 (BF16). En un taller de NVIDIA, Qwen3-32B en tarjetas A100 pasó de 16,4 a 24,5 tokens por segundo. Es un +49 % para un solo usuario, pero en un servidor con muchas peticiones la mejora es más modesta: de 639 a 719 tokens por segundo. Por eso conviene repetir la medición con su propia carga y comprobar la calidad de las respuestas.
Procesado por IA desde Habr AI; editado por Hamidun News
Si ejecuta un modelo de lenguaje grande en su propio equipo, el problema es conocido: las respuestas llegan lentas, y una tarjeta gráfica nueva cuesta lo que un coche de segunda mano. En un taller de NVIDIA en GTC Berlin 2026 se mostró que parte de la velocidad puede recuperarse con un solo ajuste. Los pesos del modelo Qwen3-32B (su «memoria», los números de los que se compone) pasaron a almacenarse en 8 bits por número en lugar de 16.
Estos formatos se llaman BF16 y FP8. Como resultado, en cuatro tarjetas NVIDIA A100 el modelo pasó de generar 16,4 tokens por segundo a 24,5. Aquí, un token equivale aproximadamente a una sílaba o a una palabra corta.
Para un solo usuario, la aceleración es del 49 %, y no hizo falta cambiar de hardware.
Qué se hizo exactamente con Qwen3-32B
El taller lo dirigieron el 20 de octubre los arquitectos de NVIDIA Amit Kushwaha y Yesika Ramirez Cardenas. Cada participante disponía de su propio clúster de Kubernetes con cuatro NVIDIA A100 de 80 GB. El material resume un artículo del ingeniero Siim Tolk, publicado el 4 de noviembre de 2026.
El modelo se ejecutó en dos variantes y se comparó con la herramienta AIPerf de NVIDIA. En BF16, cada peso ocupa 16 bits; en FP8, 8 bits. Los datos se reducen a la mitad y se leen más rápido de la memoria de la tarjeta gráfica. Para cada variante se enviaron 240 peticiones.
Los resultados fueron los siguientes:
- tiempo medio entre tokens: 61 ms en BF16 y 42 ms en FP8;
- velocidad de generación para un usuario: 16,4 frente a 24,5 tokens por segundo, es decir, +49,4 %;
- rendimiento total del servidor: 639 frente a 719 tokens por segundo, es decir, +12,5 %.
La diferencia entre ambas mejoras tiene explicación. La velocidad de un flujo y el rendimiento total con muchas peticiones paralelas dependen de factores distintos: el agrupamiento de peticiones (batching), el consumo de memoria y el tipo de carga. En un chat con una sola persona, FP8 ayuda notablemente. En un servidor que atiende a decenas de usuarios a la vez, la mejora es mucho más modesta.
Lo que no puede darse por demostrado
Hay tres matices que conviene tener presentes antes de pasar todo a FP8.
Primero, la A100 no admite los núcleos Tensor de FP8 nativos; estos llegaron con arquitecturas más recientes de NVIDIA. Por tanto, la indicación FP8 en la configuración no dice todavía qué cálculos se hicieron realmente en formato de 8 bits. Es posible que la mejora se deba sobre todo al ahorro en la transferencia de pesos desde la memoria. El artículo original no ofrece detalles de implementación.
Segundo, el artículo no midió la calidad de las respuestas tras la cuantización. La velocidad sin evaluación de calidad es solo la mitad de la medición. Los pesos de 8 bits suelen funcionar bien, pero en una tarea concreta, como la generación de código o el trabajo con contextos largos, el resultado podría empeorar.
Tercero, el 49,4 % corresponde a un modelo, un hardware y una única prueba de carga. Con otra tarjeta gráfica u otro modelo, la cifra podría ser muy distinta.
Lo que más se trató en el taller y qué puede aprovecharse
Además de la cuantización, los participantes vieron otros dos bloques. En el primero configuraron Envoy AI Gateway: una sola dirección en lugar de direcciones separadas para tres modelos, claves de API, límites por tokens, reintentos ante errores y el despliegue gradual de una nueva versión del modelo en una pequeña parte del tráfico. Los límites por tokens son más razonables que los límites por peticiones: una sola petición con un contexto de 10 000 tokens carga más el servidor que diez peticiones cortas.
En el segundo bloque se estudió NVIDIA Dynamo. Este reparte el procesamiento del prompt (prefill) y la generación de la respuesta (decode) entre distintos grupos de GPU. También puede enviar la petición allí donde ya está guardada la caché del inicio de la conversación, algo útil en chats largos y en RAG. Sin embargo, transferir la caché entre GPU también consume recursos, y con poca carga un esquema sencillo sobre las mismas GPU puede ser más eficiente. El escalado con KEDA según métricas de vLLM, es decir, el número de peticiones en curso y la longitud de la cola, solo tiene sentido en sistemas con muchos usuarios.
Para una máquina doméstica con una sola tarjeta gráfica, gran parte de este conjunto sobra. Sí son aplicables la cuantización, FlashAttention y los ajustes del motor de inferencia.
Conclusión práctica
No acepte el 49 % ajeno sin más: repita la medición en su propio entorno. No compare solo los tokens por segundo, sino también el tiempo hasta el primer token, el consumo de memoria de vídeo y la calidad de las respuestas en sus tareas. Observe además cómo cambia la velocidad con un usuario y con carga. Para un chat de una sola persona, FP8 puede ayudar de forma notable; para un servicio con cien clientes, lo más probable es que la mejora se acerque al 12,5 %.
- 28 oct 2026MIT: una copia debilitada enseña a un modelo a razonar, con hasta +13 puntos de precisión
- 9 oct 2026Hice correr Qwen en una FPGA de $50: así funciona un acelerador de IA casero
- 20 nov 2026Una startup japonesa libera Haru-4B, una IA de voz que escucha mientras habla y funciona con 12 GB de VRAM
- 18 nov 2026Concertina pliega Qwen3-4B como un acordeón: un 43% menos de tamaño y el 84% de la calidad original
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se hizo exactamente con Qwen3-32B?
El taller lo dirigieron el 20 de octubre los arquitectos de NVIDIA Amit Kushwaha y Yesika Ramirez Cardenas. Cada participante disponía de su propio clúster de Kubernetes con cuatro NVIDIA A100 de 80 GB. El material resume un artículo del ingeniero Siim Tolk, publicado el 4 de noviembre de 2026. El modelo se ejecutó en dos variantes y se comparó con la herramienta AIPerf de NVIDIA. En BF16, cada peso ocupa 16 bits; en FP8, 8 bits.
¿Qué se sabe sobre Lo que no puede darse por demostrado?
Hay tres matices que conviene tener presentes antes de pasar todo a FP8. Primero, la A100 no admite los núcleos Tensor de FP8 nativos; estos llegaron con arquitecturas más recientes de NVIDIA. Por tanto, la indicación FP8 en la configuración no dice todavía qué cálculos se hicieron realmente en formato de 8 bits. Es posible que la mejora se deba sobre todo al ahorro en la transferencia de pesos desde la memoria. El artículo original no ofrece detalles de implementación.
¿Qué se sabe sobre Lo que más se trató en el taller y qué puede aprovecharse?
Además de la cuantización, los participantes vieron otros dos bloques. En el primero configuraron Envoy AI Gateway: una sola dirección en lugar de direcciones separadas para tres modelos, claves de API, límites por tokens, reintentos ante errores y el despliegue gradual de una nueva versión del modelo en una pequeña parte del tráfico. Los límites por tokens son más razonables que los límites por peticiones: una sola petición con un contexto de 10 000 tokens carga más el servidor que diez peticiones cortas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.