Qwen3.6-35B-A3B alcanza 109 tok/s en una RTX 5080 con una RTX 3060 en PCIe Gen2 x4

Un autor de Habr ejecutó Qwen3.6-35B-A3B con una RTX 5080 y una RTX 3060 y obtuvo 109 tokens por segundo en generación. La segunda tarjeta está en un slot PCIe Gen2 x4. En teoría son unos 2 GB/s, menos de lo que ofrece cualquier unidad NVMe económica. Aun así, ese canal no afectó a la velocidad de generación.

La publicación original en Habr llega por RSS solo como anuncio. No revela la configuración del runtime ni la cuantización, así que a continuación analizamos la mecánica que explica el resultado y señalamos aparte las estimaciones.

Por qué un slot estrecho no ahoga la generación

El ancho de banda de Gen2 se calcula fácilmente. Cada línea ofrece 5 GT/s y, con la codificación 8b/10b, quedan aproximadamente 500 MB/s. Cuatro líneas suman unos 2 GB/s. Sobre el papel es poco: mover los pesos completos del modelo por ese canal sería desesperadamente lento.

Pero con la división del modelo por capas entre las tarjetas, los pesos no viajan. Se cargan una sola vez en la memoria de vídeo y se quedan ahí. Entre las GPU solo se transmite en cada paso el vector de estado oculto del token actual. Su tamaño se mide en kilobytes, de modo que el tráfico por token es mínimo. Para esa carga importa más la latencia que el ancho del canal, y la latencia de Gen2 es insignificante frente al cómputo de las capas.

Qué aporta la arquitectura MoE

El índice A3B del nombre indica que, de unos 35 mil millones de parámetros, se activan unos 3 mil millones por cada token. El resto de los expertos simplemente permanece en memoria. Para la decodificación, esto significa menos lectura de pesos por token, y la velocidad de generación suele estar limitada precisamente por el ancho de banda de memoria.

Una estimación aproximada: si los pesos están cuantizados a 4 bits, se leen del orden de 1,5–2 GB por token. A 109 tok/s, eso supone unos 160–220 GB/s de lectura efectiva. La RTX 5080 con 16 GB de GDDR7 tiene un ancho de banda máximo de unos 960 GB/s, y la RTX 3060 de 12 GB con GDDR6, de unos 360 GB/s. Las cifras encajan sin necesidad de milagros. Esta es nuestra estimación, no datos del autor.

En conjunto, la pareja suma 28 GB de memoria de vídeo. Para un modelo de 35B en 4 bits es suficiente: los pesos ocupan unos 18–20 GB y queda margen para la KV-cache.

Parámetros clave

• Modelo: Qwen3.6-35B-A3B, MoE, unos 35 mil millones de parámetros, unos 3 mil millones activos por token
• Tarjeta principal: RTX 5080, 16 GB GDDR7
• Segunda tarjeta: RTX 3060, 12 GB GDDR6
• Canal de la segunda tarjeta: PCIe Gen2 x4, unos 2 GB/s en teoría
• Velocidad de generación: 109 tok/s

Cómo aprovechar esto en la práctica

La conclusión principal para quienes tienen hardware antiguo: una segunda tarjeta gráfica en un slot «malo» no es inútil. Si tiene una vieja 3060 o una tarjeta similar, puede conectarla a un slot x4 del chipset y ganar gigabytes adicionales de memoria de vídeo para un modelo MoE grande.

Hay varias salvedades. Se refieren a casos que el anuncio no describe.

• El modo de división importa. La división por capas (layer split) apenas carga el bus. El paralelismo tensorial mueve datos entre las tarjetas en cada capa y en Gen2 x4 el rendimiento caerá de forma notable.
• El procesamiento del prompt (prefill) carga el bus más que la generación. Si alimenta al modelo con contextos largos, mida el tiempo hasta el primer token por separado de los tok/s.
• Reparta las capas de forma desigual. A la tarjeta rápida conviene darle más capas, y a la lenta, solo las que no caben en 16 GB.
• Compruebe el ancho real del enlace en GPU-Z o con lspci. Algunos slots marcados como x16 funcionan en realidad como x4 o incluso x1.

La conclusión es simple: para decodificar modelos dispersos, el tamaño y la velocidad de la memoria de vídeo pesan más que el ancho del bus entre tarjetas. Antes de comprar una segunda tarjeta para una plataforma de gama alta, conviene comprobar si basta con el slot que ya tiene.