Strata ejecuta Qwen3.8-Flash-Next en una RTX 5070 de 12 GB: 94 tokens por segundo con la cuantización Q2_0

El proyecto Strata ejecuta el modelo MoE Qwen3.8-Flash-Next en una tarjeta gráfica RTX 5070 con 12 GB de memoria y logra 94 tokens por segundo. Es el resultado de la cuantización Q2_0 (los pesos se comprimen hasta aproximadamente dos bits) combinada con un procesador Ryzen 5 7600 y 64 GB de memoria RAM. La clave está en una jerarquía de memoria similar a la de un procesador con cachés: VRAM, RAM y SSD hacen de niveles L1, L2 y L3. Mixture of Experts activa por cada token solo unla decena de expertos de un total de 24 576, pero hay que almacenar todos los pesos, y ese es el problema que resuelve Strata.

Tres niveles de memoria en lugar de solo VRAM

La dispersión de los MoE reduce el cálculo por token, pero no los bytes que hay que mantener para que el modelo funcione. Un modelo denso del mismo tamaño lee de memoria todos los pesos en cada paso, mientras que un MoE lee solo una pequeña parte. Strata distribuye los datos así:

• L1, memoria de vídeo. Capas de atención, DeltaNet, routers, los expertos más solicitados, la capa MTP, la KV-cache y la caché de expertos populares.
• L2, memoria RAM. Los 24 576 expertos, con los que el procesador trabaja en paralelo a la GPU.
• L3, disco. Una tabla n-gram de varias decenas de gigabytes. Por cada token se leen de ella apenas unas pocas filas, de modo que la velocidad del SSD es suficiente.

Los esquemas híbridos ya se habían probado antes, pero chocaban con el ancho de banda del PCIe. Strata sortea esa limitación: si el experto necesario no está en la VRAM, no se copia a través del bus, sino que la CPU lo calcula directamente en la memoria RAM. Por eso la cantidad de VRAM sigue importando más que la potencia de la GPU: cada gigabyte de VRAM añade a la caché rápida unos 700 expertos. Las optimizaciones habituales también funcionan: MTP (predicción de varios tokens por paso) y la precarga de los expertos de la capa siguiente mientras se calcula la atención de la actual.

Modelos, cuantizaciones y velocidad

Actualmente el proyecto es compatible con Qwen3.8-Flash-Next, Qwen3.6-35B-A3B y DeepSeekV4.1-Flash-1017. Las mejores cuantizaciones las publica el laboratorio de algoritmos y sistemas distribuidos del Instituto de Ciencia y Tecnología de Austria, que desarrolla los métodos de cuantización GSQ/RCO y difunde los resultados en HuggingFace. La elección de la cuantización depende ahora de la suma de RAM y VRAM. Para Qwen3.8-Flash-Next (la fuente indica tanto 125 000 millones como 180 000 millones de parámetros), los umbrales son estos: Q2_0 — unos 38 GB, IQ2_XS — unos 40, IQ3_XXS — unos 47, IQ3_S — unos 55 GB. Para DeepSeekV4.1-Flash-1017 (763 000 millones de parámetros): IQ1_M — unos 46 GB, IQ2_XXS — 54, IQ2_XS — 64 GB.

Calidad conservada respecto a la base BF16: IQ3_S — 90,0 %, IQ3_XXS — 87,3 %, IQ2_XS — 85,0 %, Q2_0 — 84,1 %, y UD-Q4_K_XL — 94,1 %.

Las velocidades, que el autor recopiló de internet, dependen de la configuración. En una RTX 5070 de 12 GB, a las cuantizaciones Q2_0, IQ2_XS e IQ3_S les corresponden 94, 79 y 53 tokens por segundo. Una RTX 4070 con 32 GB de RAM e IQ2_XS rinde 48, un Strix Halo con UD-IQ4_XS, 40, y la gráfica integrada Radeon 780M con Q2_0 y MTP, 14. La medición propia del autor: IQ3_S en una RTX A6000 de 48 GB, con 128 GB de RAM y un Threadripper 3970X y un contexto de 256K, alcanza 150 tokens por segundo.

DeepSeekV4.1-Flash-1017 es claramente más lento: desde 5 tokens por segundo en una RTX 5070 con IQ2_XXS hasta 25 en una RTX 4090 con IQ2_XS. La medición del autor en una A6000 con IQ2_XS es de 30 tokens por segundo.

Project Maya y el precio del avance

La agresiva optimización del motor para las cuantizaciones cerró la puerta a modelos de otras familias, por lo que surgió el fork Project Maya. Ejecuta GLM-5.3-Flash (321 000 millones), DeepSeek-V4.1-Flash-1017 (748 000 millones) y MiniMax-M3.1-Flash (428 000 millones). GLM-5.3-Flash está disponible en una variante ablitterada, sin censura, lo que resulta útil para la ingeniería inversa, y su contexto de hasta 1M permite mantener sesiones largas sin compresión.

Los autores han publicado cuatro cuantizaciones; la precisión se indica respecto a FP8:

• Maya-S, 96,5 GB, para tarjetas de hasta 16 GB, 97,9 %;
• Maya-S24, 94,7 GB, para tarjetas de 16–24 GB, 97,7 %;
• Maya-M, 116 GB, para tarjetas de 24–48 GB, 97,9 %;
• Maya-L, 156,3 GB, para tarjetas de 48 GB en adelante, 99,2 %.

El mínimo para ejecutarlo es 32 GB de RAM. Con dos H100 de 80 GB, Maya-L con un contexto de 1M alcanza 122–124 tokens por segundo. S24 en una RTX 3090 con 128 GB de RAM rinde 26,0, en una RTX 5090, 23,0, y en una RTX 4090 con un contexto de 32K, 16,6. La medición del autor para Maya-M en una A6000 con un contexto de 1M es de 28 tokens por segundo.

El avance tiene un precio: cuantización a 2–3 bits, 64–128 GB de memoria RAM rápida y unidades NVMe veloces. La mayoría de las cifras proceden de fuentes abiertas y no se midieron con un método único, así que conviene comparar con cautela las filas de las tablas. La pregunta «¿cabe el modelo?» ha dado paso a «¿cuántos bits de cuantización está dispuesto a ceder a cambio de velocidad?», y la respuesta depende de la tarea.