Cuatro GPU V100 de 2017 mueven un modelo de 27 000 millones de parámetros a 218 tokens/s
El servicio bielorruso ZuBrIQ ha puesto en producción el modelo Qwen3.8-27B (27 000 millones de parámetros) sobre cuatro GPU Tesla V100 de 2017, aunque el vLLM oficial no arranca modelos de 4 bits en esas tarjetas. Con la bifurcación 1Cat-vLLM, el modelo comprimido ocupa unos 21 GB, procesa hasta 262 000 tokens de contexto (cientos de páginas de texto) y genera unos 218 tokens por segundo con 24 peticiones simultáneas. Las tarjetas antiguas sirven para producción siempre que la memoria se calcule a mano.
Procesado por IA desde Habr AI; editado por Hamidun News
Muchos equipos no tienen H100 recientes, pero en el rack hay tarjetas que ya se dan por amortizadas. Los ingenieros del servicio bielorruso ZuBrIQ demostraron que cuatro Nvidia Tesla V100 (tarjetas de servidor de 2017 con 16 GB de memoria cada una) siguen siendo capaces de ejecutar el modelo denso Qwen3.8-27B.
La cifra «27B» indica 27 000 millones de parámetros. Su ventana de contexto es de 262K, es decir, unos 262 000 tokens: cientos de páginas de texto en una sola petición. La velocidad de generación ronda los 218 tokens por segundo en total con 24 peticiones simultáneas (un token equivale aproximadamente a una palabra o a una parte de ella).
El análisis del equipo es práctico, con los comandos de arranque, las cifras y los errores en los que es fácil tropezar.
Por qué V100
El modelo zubr es el único de ZuBrIQ cuyas peticiones no salen de Bielorrusia. El prompt, el documento y la respuesta permanecen en servidores de Minsk. Para bancos, sector público y empresas con datos personales, esta condición es imprescindible. Traer tarjetas nuevas al país es complicado y caro, así que el equipo exprime al máximo las que tiene: cuatro V100 SXM2 de 16 GB, 64 GB en total.
La dificultad está en la arquitectura Volta (SM70). No tiene bfloat16, el formato en el que se distribuyen la mayoría de los modelos actuales, ni FP8, y el vLLM oficial se niega a ejecutar modelos de 4 bits en tarjetas con índice inferior a 75. La solución es la bifurcación 1Cat-vLLM, bajo licencia Apache-2.0, con núcleos de 4 bits para Volta, un backend de atención para V100 y CUDA Graph. Se ejecuta de forma nativa mediante systemd en un contenedor LXC sobre Proxmox, sin Docker.
El modelo se cargó en INT4 (los pesos se almacenan en 4 bits en lugar de 16): Qwen3.8-27B de cyankiwi ocupa unos 21 GB, unos 5,3 GB por tarjeta. Hay dos matices. El cuantizado se guarda en el formato compressed-tensors, y para usarlo hay que activar la variable VLLM_SM70_COMPRESSED_TENSORS_TURBOMIND=1. Además, es obligatorio el flag --dtype float16, porque Volta no tiene bfloat16.
A dónde va la memoria
Primera trampa: en la bifurcación, el peso del modelo apenas se descuenta del presupuesto de la caché KV (la memoria donde el modelo guarda el contexto ya leído). Por eso, con una configuración de 0,50, el proceso ocupaba por tarjeta casi 14 GB en lugar de 8. El equipo fijó el tamaño de la caché de forma explícita con --kv-cache-memory-bytes.
El cálculo es transparente: el motor informó de que una ventana de 131 072 tokens necesita 2,08 GiB, es decir, unos 17 KB por token. Para 262 144 tokens bastan 4,6 GB con un pequeño margen. Hay que calcular con la tarjeta más cargada: si en una misma GPU también corre un servicio de embeddings, la caché queda limitada a su memoria libre.
Segunda trampa: los grafos de CUDA se capturan para cada tamaño de lote y quedan fuera del presupuesto. Con max-num-seqs en 96, ocupaban unos 5 GB por encima del plan. Al bajarlo a 24, el rendimiento apenas cayó y la memoria se recuperó.
Tercera: dos instancias sobre las mismas tarjetas. Junto al modelo principal funcionaba por separado Qwen3-VL-4B para visión, y al reiniciar ambos procesos a la vez el pico de inicialización superaba los 16 GB: un worker sufría un OOM y el principal se quedaba bloqueado en el watchdog de NCCL. Systemd mostraba el servicio como active, pero el puerto estaba cerrado. En septiembre el problema desapareció: Qwen3.8-27B lee las imágenes por sí mismo y, en la prueba con tablas, acertó en 3 de 4 casos, mientras que el 4B independiente acertó en 0 de 3. Lo desactivaron, liberaron unos 8 GB y subieron la ventana de 131 072 a 262 144 tokens.
MoE frente a denso y la regla del nombre
Hasta septiembre, en producción estaba el modelo MoE Qwen3.6-35B-A3B: 35 000 millones de parámetros, de los que para cada token trabajan unos 3 000 millones. Ambos modelos se probaron con el mismo script: 300 peticiones, 24 clientes, 512 tokens de entrada y 256 de salida. El denso de 27B (dense, es decir, todos los parámetros trabajan siempre) alcanzó 218,5 tokens por segundo frente a 200,2 (un 9 % más), y cada token se imprimía un 14 % más rápido. Los autores suponen que los núcleos MoE en SM70 están simplemente poco optimizados.
El precio se pagó en el primer token: la espera mediana fue de 1,31 s frente a 0,59 s, y en el 1 % más lento de las peticiones (P99), 14,2 s frente a 2,3 s. Al procesar el prompt, el modelo denso activa los 27 000 millones de parámetros, mientras que el MoE activaba unos 3 000 millones. El equipo hace una salvedad: compararon velocidad, no calidad, que solo se comprobó con peticiones de humo.
Una lección aparte tiene que ver con los nombres. Al retirar el nombre antiguo qwen3.6-35b durante el cambio de pesos, el bot de soporte, que llamaba a vLLM directamente, recibió un 404 y empezó a enviar a cada cliente a un operador. Ahora el primer nombre de --served-model-name (zubr) no cambia nunca, y los nombres con versión, como zubr-2, describen pesos concretos. La verdad sobre los pesos la muestra el campo root de /v1/models, ya que vLLM devuelve en la respuesta el alias solicitado.
Qué conviene tener en cuenta
- En GPU antiguas sin bfloat16 ni FP8, la cuantización a 4 bits junto con una bifurcación de vLLM es una vía viable, pero requiere float16 y las variables de entorno correctas.
- Hay que fijar la caché KV de forma explícita y contar con la memoria de los grafos de CUDA.
- No conviene ejecutar dos procesos pesados en las mismas GPU a la vez.
- El nombre público del modelo debe separarse de la versión de los pesos.
Las limitaciones también están claras: los resultados se obtuvieron con una sola configuración, no se compararon las calidades de los modelos y la bifurcación no es una rama oficial de vLLM, así que el mantenimiento corre a cargo del propio equipo.
- 22 nov 2026La SEC investiga la contabilidad de Nvidia: las acciones caen un 14% en un solo día
- 22 nov 2026El Nasdaq 100 cae un 10,4% en la semana: su peor resultado desde la pandemia
- 22 nov 2026El proyecto personal de LangChain se convirtió en una startup valorada en 3000 millones de dólares y captó 300 millones
- 22 nov 2026Nvidia dejó de vender H200 en China y rechazó el pedido de Musk de recuperar a Huang
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué V100?
El modelo zubr es el único de ZuBrIQ cuyas peticiones no salen de Bielorrusia. El prompt, el documento y la respuesta permanecen en servidores de Minsk. Para bancos, sector público y empresas con datos personales, esta condición es imprescindible. Traer tarjetas nuevas al país es complicado y caro, así que el equipo exprime al máximo las que tiene: cuatro V100 SXM2 de 16 GB, 64 GB en total. La dificultad está en la arquitectura Volta (SM70).
¿Qué se sabe sobre A dónde va la memoria?
Primera trampa: en la bifurcación, el peso del modelo apenas se descuenta del presupuesto de la caché KV (la memoria donde el modelo guarda el contexto ya leído). Por eso, con una configuración de 0,50, el proceso ocupaba por tarjeta casi 14 GB en lugar de 8. El equipo fijó el tamaño de la caché de forma explícita con --kv-cache-memory-bytes. El cálculo es transparente: el motor informó de que una ventana de 131 072 tokens necesita 2,08 GiB, es decir, unos 17 KB por token.
¿Qué se sabe sobre MoE frente a denso y la regla del nombre?
Hasta septiembre, en producción estaba el modelo MoE Qwen3.6-35B-A3B: 35 000 millones de parámetros, de los que para cada token trabajan unos 3 000 millones. Ambos modelos se probaron con el mismo script: 300 peticiones, 24 clientes, 512 tokens de entrada y 256 de salida. El denso de 27B (dense, es decir, todos los parámetros trabajan siempre) alcanzó 218,5 tokens por segundo frente a 200,2 (un 9 % más), y cada token se imprimía un 14 % más rápido.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.