Strata roda o Qwen3.8-Flash-Next em uma RTX 5070 de 12 GB: 94 tokens por segundo no quant Q2_0

O projeto Strata roda o modelo MoE Qwen3.8-Flash-Next em uma placa de vídeo RTX 5070 com 12 GB de memória e atinge 94 tokens por segundo. O resultado vem do quant Q2_0 (pesos comprimidos para cerca de dois bits), combinado com um processador Ryzen 5 7600 e 64 GB de memória RAM. O segredo está na hierarquia de memória, como a de um processador com caches: VRAM, RAM e SSD fazem o papel dos níveis L1, L2 e L3. O Mixture of Experts ativa, a cada token, apenas cerca de dez dos 24 576 experts, mas todos os pesos precisam ficar armazenados. É esse problema que o Strata resolve.

Três níveis de memória em vez de só a VRAM

A esparsidade do MoE reduz o cálculo por token, mas não os bytes que precisam ficar disponíveis para o modelo funcionar. Um modelo denso do mesmo tamanho lê todos os pesos da memória a cada passo, enquanto o MoE lê só uma pequena parte. O Strata distribui os dados assim:

• L1, memória de vídeo. Camadas de atenção, DeltaNet, roteadores, os experts mais requisitados, a camada MTP, o KV-cache e o cache de experts populares.
• L2, memória RAM. Todos os 24 576 experts, com os quais o processador trabalha em paralelo à GPU.
• L3, disco. Uma tabela n-gram de várias dezenas de gigabytes. A cada token, só algumas linhas dela são lidas, por isso a velocidade do SSD é suficiente.

Esquemas híbridos já haviam sido tentados antes, mas esbarravam na largura de banda do PCIe. O Strata contorna a limitação: se o expert necessário não está na VRAM, ele não é copiado pelo barramento, e sim calculado na CPU, direto na memória RAM. Por isso, a quantidade de memória de vídeo continua mais importante que o poder da GPU: cada gigabyte de VRAM adiciona cerca de 700 experts ao cache rápido. As otimizações habituais também funcionam: MTP (previsão de vários tokens por passo) e o pré-carregamento dos experts da camada seguinte enquanto a atenção da camada atual é calculada.

Modelos, quants e velocidade

Hoje o projeto suporta Qwen3.8-Flash-Next, Qwen3.6-35B-A3B e DeepSeekV4.1-Flash-1017. Os melhores quants são produzidos pelo laboratório de algoritmos e sistemas distribuídos do Instituto de Ciência e Tecnologia da Áustria, que desenvolve os métodos de quantização GSQ/RCO e publica os resultados no HuggingFace. A escolha do quant agora depende da soma de RAM e VRAM. Para o Qwen3.8-Flash-Next (a fonte cita tanto 125 bilhões quanto 180 bilhões de parâmetros), os limites são estes: Q2_0 — cerca de 38 GB, IQ2_XS — cerca de 40, IQ3_XXS — cerca de 47, IQ3_S — cerca de 55 GB. Para o DeepSeekV4.1-Flash-1017 (763 bilhões de parâmetros): IQ1_M — cerca de 46 GB, IQ2_XXS — 54, IQ2_XS — 64 GB.

Retenção de qualidade em relação ao BF16 original: IQ3_S — 90,0%, IQ3_XXS — 87,3%, IQ2_XS — 85,0%, Q2_0 — 84,1%, e UD-Q4_K_XL — 94,1%.

As velocidades, que o autor coletou na internet, variam conforme a configuração. Em uma RTX 5070 de 12 GB, os quants Q2_0, IQ2_XS e IQ3_S correspondem a 94, 79 e 53 tokens por segundo. Uma RTX 4070 com 32 GB de RAM e IQ2_XS entrega 48, um Strix Halo com UD-IQ4_XS, 40, e a GPU integrada Radeon 780M com Q2_0 e MTP, 14. Na medição do próprio autor, o IQ3_S em uma RTX A6000 de 48 GB, com 128 GB de RAM e um Threadripper 3970X e contexto de 256K, chega a 150 tokens por segundo.

O DeepSeekV4.1-Flash-1017 é bem mais lento: de 5 tokens por segundo em uma RTX 5070 com IQ2_XXS a 25 em uma RTX 4090 com IQ2_XS. A medição do autor em uma A6000 com IQ2_XS foi de 30 tokens por segundo.

Project Maya e o preço do avanço

A otimização agressiva do motor para esses quants fechou a porta para modelos de outras famílias, e por isso surgiu o fork Project Maya. Ele roda o GLM-5.3-Flash (321 bilhões), o DeepSeek-V4.1-Flash-1017 (748 bilhões) e o MiniMax-M3.1-Flash (428 bilhões). O GLM-5.3-Flash está disponível em uma versão ablitterada, sem censura, o que ajuda em engenharia reversa, e o contexto de até 1M permite sessões longas sem compressão.

Os autores lançaram quatro quants; a precisão é dada em relação ao FP8:

• Maya-S, 96,5 GB, para placas de até 16 GB, 97,9%;
• Maya-S24, 94,7 GB, para placas de 16–24 GB, 97,7%;
• Maya-M, 116 GB, para placas de 24–48 GB, 97,9%;
• Maya-L, 156,3 GB, para placas a partir de 48 GB, 99,2%.

O mínimo para rodar é 32 GB de RAM. Em duas H100 de 80 GB, o Maya-L com contexto de 1M entrega 122–124 tokens por segundo. O S24 em uma RTX 3090 com 128 GB de RAM chega a 26,0, em uma RTX 5090 a 23,0 e em uma RTX 4090 com contexto de 32K a 16,6. A medição do autor para o Maya-M em uma A6000 com contexto de 1M foi de 28 tokens por segundo.

O avanço tem um preço: quantização para 2–3 bits, 64–128 GB de RAM rápida e SSDs NVMe velozes. A maioria dos números foi reunida de fontes abertas, e não medida por um método único, por isso convém comparar as linhas das tabelas com cautela. A pergunta «o modelo cabe?» deu lugar a «quantos bits de quantização você aceita abrir mão em troca de velocidade?», e a resposta depende da tarefa.