Desenvolvedor do Strata cria mapa ao vivo de 24 576 especialistas MoE em uma GTX 1070

Rodar um modelo enorme em uma placa de vídeo antiga já não surpreende ninguém. Bem mais raro é alguém mostrar o que acontece por dentro nesse tipo de execução. O autor da série de artigos sobre o Qwen3.8-Flash-Next (125 bilhões de parâmetros) e a placa GTX 1070 foi, no terceiro texto, investigar o interior do seu próprio motor, o Strata. Ele construiu uma visualização ao vivo do trabalho dos especialistas e tentou responder se eles realmente se especializam por tema.

Uma ressalva importante: o trecho disponível não traz números finais nem conclusão. Conhecemos a formulação do problema, a arquitetura e o fato de que o autor encontrou um erro metodológico em seu próprio trabalho. Os resultados do experimento não aparecem no trecho, e não vamos inventá-los.

Como 125 bilhões de parâmetros cabem em 8 GB

O Strata é um motor de inferência para modelos MoE (Mixture-of-Experts). Em uma rede densa comum, todos os pesos trabalham a cada token. Em um MoE, cada camada tem um conjunto de "especialistas", e para cada token é ativado apenas um pequeno subconjunto, o chamado top-K.

O Qwen3.8-Flash-Next tem 48 camadas com 512 especialistas cada, ou seja, 48 × 512 = 24 576 nós individuais. A cada passo, só uma pequena parte deles realmente faz cálculos. Mas é preciso armazenar todos, e isso soma centenas de gigabytes. Esse conjunto não cabe nos 8 GB de memória de vídeo da GTX 1070.

O Strata resolve o problema com um cache adaptativo:

• os especialistas mais "quentes" ficam permanentemente na VRAM;
• os demais são lidos da memória RAM ou do SSD conforme a necessidade;
• para decidir quem manter e quem descartar, o cache usa um contador de acessos com decaimento (decayed), isto é, um contador em que os acessos antigos perdem peso gradualmente.

Em termos simples, é um cache LRU/LFU para pedaços de rede neural. A eficiência desse esquema depende inteiramente de quão previsível é a escolha dos especialistas pelo roteador. Se os acessos se concentram em um pequeno núcleo, o hit rate é alto e o modelo funciona de forma aceitável. Se eles se espalham de maneira uniforme, tudo passa a depender da velocidade do SSD.

Por que era preciso um "mapa ao vivo"

Até então, o autor só enxergava a mecânica por meio de agregados no monitoramento: quantos especialistas estão na VRAM no momento e qual é o hit rate. É uma situação típica da engenharia de inferência: o dashboard diz que está tudo normal ou anormal, mas não explica o porquê.

A visualização de 24 576 nós em tempo real preenche exatamente essa lacuna. Nela é possível observar quais especialistas acendem em quais tokens, como se forma o núcleo quente e como o cache descarta e recarrega dados. Para quem desenvolve a pilha de inferência, esse mapa funciona como um profiler: mostra os padrões de acesso e ajuda a entender o que mudar na política de descarte.

Especialização dos especialistas e a armadilha metodológica

O autor não parou por aí e fez uma pergunta popular: os especialistas se especializam por tema, por exemplo, alguns dedicados a código, outros a matemática e outros a linguagem conversacional? A ideia é sedutora. Se existe especialização, o cache pode ser aquecido antecipadamente para o tipo de tarefa.

No meio do caminho, o autor percebeu um erro metodológico que "quase levou a uma conclusão bonita, porém errada". Qual foi exatamente esse erro, não dá para saber pelo trecho. Mas as armadilhas típicas desse tipo de experimento são conhecidas (este é um comentário nosso, e não um resumo do artigo):

• os especialistas podem reagir a características formais do token, como idioma, caixa, frequência ou posição no texto, e não ao tema;
• sem comparação de controle com uma linha de base, qualquer mapa de ativações parece "significativo";
• uma amostra pequena de prompts gera clusters nítidos, mas aleatórios.

O que tirar disso

Primeiro: se você roda MoE em hardware limitado, olhe não só para o hit rate médio, mas também para a distribuição de acessos por especialista e por camada. É ela que mostra se o cache funciona na sua carga de trabalho.

Segundo: a hipótese de que "os especialistas se especializam por tema" precisa ser testada com grupos de controle e diferentes tipos de texto. Uma visualização bonita não é prova.

Terceiro: vale construir ferramentas de observabilidade para inferência desde cedo. Uma caixa-preta com agregados esconde tanto problemas quanto oportunidades de otimização.

As limitações são evidentes. É o projeto de um único entusiasta em uma única placa de vídeo antiga, e as conclusões sobre especialização, a julgar pela própria formulação, exigem cautela. Mas, como exemplo de trabalho de engenharia honesto, em que o autor conta publicamente o próprio erro, o material merece ser lido na íntegra.