Qwen3.6-35B-A3B atinge 109 tokens/s em RTX 5080 com RTX 3060 em PCIe Gen2 x4

Um autor do Habr rodou o Qwen3.6-35B-A3B em uma combinação de RTX 5080 e RTX 3060 e obteve 109 tokens por segundo na geração. A segunda placa fica em um slot PCIe Gen2 x4. Isso dá cerca de 2 GB/s na teoria, menos do que entrega qualquer SSD NVMe barato. Mesmo assim, o canal não afetou a velocidade de geração.

A publicação original no Habr aparece no RSS apenas como um anúncio. Ele não revela a configuração do runtime nem a quantização. Por isso, abaixo explicamos a mecânica que justifica o resultado e marcamos separadamente o que são estimativas nossas.

Por que o slot estreito não sufoca a geração

O cálculo da largura de banda do Gen2 é simples. Cada linha entrega 5 GT/s e, com a codificação 8b/10b, sobram cerca de 500 MB/s. Quatro linhas somam aproximadamente 2 GB/s. No papel, é pouco: transferir os pesos inteiros do modelo por esse canal levaria um tempo penoso.

Mas, quando o modelo é dividido por camadas entre as placas, os pesos não trafegam. Eles são carregados uma única vez na VRAM e ficam lá. A cada passo, apenas o vetor de estado oculto do token atual passa de uma GPU para a outra. Esse vetor ocupa alguns kilobytes, ou seja, o tráfego por token é minúsculo. Para essa carga, a latência pesa mais que a largura do canal, e a latência do Gen2 é irrelevante diante do tempo de computação das camadas.

O que a arquitetura MoE muda

O índice A3B no nome indica que, dos cerca de 35 bilhões de parâmetros, aproximadamente 3 bilhões são usados a cada token. Os demais especialistas ficam apenas parados na memória. Na decodificação, isso significa menos leitura de pesos por token, e a velocidade de geração costuma ser limitada justamente pela largura de banda da memória.

Uma estimativa grosseira: com os pesos em quantização de 4 bits, são lidos cerca de 1,5–2 GB por token. A 109 tokens/s, isso dá algo como 160–220 GB/s de leitura efetiva. A RTX 5080, com 16 GB de GDDR7, tem pico de largura de banda de cerca de 960 GB/s. A RTX 3060 de 12 GB com GDDR6 chega a cerca de 360 GB/s. Os números se encaixam no esquema sem nenhum milagre. Esta é uma estimativa nossa, não um dado do autor.

Juntas, as duas placas somam 28 GB de VRAM. Para um modelo de 35B em 4 bits, isso basta: os pesos ocupam cerca de 18–20 GB, e sobra margem para o KV-cache.

Parâmetros principais

• Modelo: Qwen3.6-35B-A3B, MoE, cerca de 35 bilhões de parâmetros, cerca de 3 bilhões ativos por token
• Placa principal: RTX 5080, 16 GB de GDDR7
• Segunda placa: RTX 3060, 12 GB de GDDR6
• Canal da segunda placa: PCIe Gen2 x4, cerca de 2 GB/s na teoria
• Velocidade de geração: 109 tokens/s

Como aplicar isso na prática

A principal conclusão para quem tem hardware antigo: uma segunda placa de vídeo em um slot "ruim" não é inútil. Se você tem uma RTX 3060 ou uma placa parecida guardada, dá para ligá-la a um slot x4 do chipset e ganhar gigabytes extras de VRAM para um modelo MoE grande.

Algumas ressalvas. Elas se referem a casos que o anúncio não descreve.

• O modo de divisão importa. A divisão por camadas (layer split) quase não exige do barramento. O paralelismo de tensores move dados entre as placas a cada camada e, em Gen2 x4, o desempenho cai de forma perceptível.
• O processamento do prompt (prefill) exige mais do barramento que a geração. Se você alimenta o modelo com contextos longos, meça o tempo até o primeiro token separadamente dos tokens/s.
• Distribua as camadas de forma desigual. A placa mais rápida deve receber mais camadas, e a mais lenta, só o que não couber nos 16 GB.
• Confira a largura real do link no GPU-Z ou com lspci. Parte dos slots marcados como x16 na verdade opera como x4 ou até x1.

A conclusão é simples: para decodificar modelos esparsos, o tamanho e a velocidade da VRAM contam mais que a largura do barramento entre as placas. Antes de comprar uma segunda placa para uma plataforma topo de linha, vale verificar se o slot que você já tem dá conta.