Qwen3.8-27B en IQ3 alcanza un 91,1% en una RTX 5070 Ti y genera 68,3 tok/s

El autor de un artículo en Habr ejecutó Qwen3.8-27B con cuantización IQ3 en una sola tarjeta gráfica RTX 5070 Ti y obtuvo un 91,1% de tareas resueltas con éxito de su propio conjunto. El índice agregado es de 82,3 y la velocidad de generación, de 68,3 tokens por segundo en un solo hilo, con un contexto de 131K. Es la primera parte de una serie: a continuación se comparará el despliegue local con proveedores de nube rusos, tanto en calidad como en precio en rublos.

Qué se midió

En el anuncio, las cifras están ligadas a «mis tareas». Es decir, se trata de un benchmark propio del autor, no de una prueba pública como las que ejecutan los laboratorios. Para el uso práctico, eso resulta incluso más útil: las tareas propias muestran con mayor precisión si un modelo sirve para un trabajo concreto. Pero el resultado no puede compararse directamente con las tablas de los leaderboards.

Parámetros finales de la prueba:

• Modelo: Qwen3.8-27B, cuantización IQ3
• Hardware: una RTX 5070 Ti
• Proporción de tareas resueltas con éxito: 91,1%
• Índice agregado: 82,3
• Velocidad: 68,3 tok/s, un solo hilo
• Contexto: 131K tokens

Por qué IQ3 y 131K generan polémica

El autor cuenta que ha oído muchas opiniones del tipo «131K es poco» e «IQ3 es tonto». Las objeciones son comprensibles. IQ3 comprime los pesos hasta unos tres bits por parámetro, y este tipo de cuantización tiene fama de sacrificar calidad. El contexto de 131K también parece modesto frente a modelos con ventanas de cientos de miles o millones de tokens.

La explicación está en el hardware. La RTX 5070 Ti tiene 16 GB de memoria de vídeo GDDR7. Una estimación aproximada: 27.000 millones de parámetros a 3–3,5 bits por peso suponen del orden de 10–11 GB solo para los pesos. El resto se va al KV-cache, que crece con el contexto. Es mi estimación: la cifra exacta depende de la arquitectura del modelo y de si el caché está cuantizado. Aun así, muestra por qué la combinación de «IQ3 más 131K» no parece casual. Una cuantización más pesada expulsaría de la memoria el contexto largo.

Una velocidad de 68,3 tokens por segundo supera el ritmo de lectura y basta para el trabajo interactivo: chat, correcciones de código y ciclos agénticos cortos.

Qué falta en el anuncio

Ahora, los puntos débiles. Del adelanto no se sabe qué incluye el conjunto de tareas, cómo se calcula el índice de 82,3 ni en qué se diferencia del 91,1% de éxito. No se indican el runtime, los parámetros de muestreo ni el método de verificación de las respuestas. Tampoco está claro cómo se comporta el modelo con el contexto lleno, y no solo con consultas cortas. Y, por último, los 68,3 tok/s corresponden a un solo hilo. Para un equipo cuyas consultas llegan en paralelo, la nube puede ganar en rendimiento (throughput).

Por eso la segunda parte resulta más interesante. Se promete una comparación con la nube rusa, es decir, calidad más coste en rublos.

Cómo aprovechar estos datos

Las cifras del autor conviene tomarlas como una metodología, no como un veredicto.

• Reúna entre 30 y 50 tareas de su trabajo real: código, análisis de documentos, extracción de datos. Defina de antemano qué se considera un éxito.
• Ejecute un mismo modelo con varias cuantizaciones, por ejemplo IQ3 y alguna más pesada, y también en la nube. Registre el porcentaje de éxito y la velocidad.
• Pruebe el contexto largo por separado: llene la ventana hasta 100K o más y compruebe cuánto cae la calidad.
• Haga las cuentas con honestidad. Por un lado, el precio de la tarjeta, la electricidad y su tiempo de mantenimiento. Por otro, los rublos por millón de tokens y el volumen real de tráfico.

Si usted es el único usuario y sus tareas caben en 131K, una tarjeta local con 16 GB, a juzgar por estos datos, puede cubrir la mayor parte del trabajo. Para varios hilos en paralelo, conviene sacar conclusiones solo después de ver las cifras de la nube en la segunda parte.