Meta abre o Muse Spark Open: MoE de 816 bilhões de parâmetros e contexto de 1 milhão de tokens

A Meta lançou o Muse Spark Open, um modelo multimodal open-weight com arquitetura mixture-of-experts. No total, ele tem cerca de 816 bilhões de parâmetros, com aproximadamente 42 bilhões ativados a cada token, e a janela de contexto chega a um milhão de tokens. A entrada aceita texto, imagens, áudio e vídeo; a saída é em texto. Segundo a descrição do Hugging Face, é o modelo aberto mais forte dos EUA atualmente. A Meta o treinou principalmente para codificação agêntica: ler uma base de código, escrever e depurar código, chamar ferramentas, planejar, agir, observar o resultado e corrigir a si mesmo em tarefas longas.

O Muse Spark Open é o modelo principal da linha Muse. Em agosto, a Meta lançou o Muse Glimmer, um modelo denso pequeno para execução local. Os dois compartilham tokenizador e vocabulário, e o chat template do novo modelo estende o do Glimmer para as novas modalidades. Na prática, é possível enviar uma captura de tela, uma nota de voz ou uma gravação de tela ao mesmo modelo que, naquele momento, está editando o seu código.

Onde estão escondidos os 816 bilhões

A parte de linguagem tem 62 camadas com dimensão oculta de 8192. A atenção é grouped-query: 128 cabeças de query e 16 cabeças de key-value, com 64 dimensões cada. Há um gate de saída, normalização na saída do bloco e QK-norm para queries e keys. Em vez de uma soma simples, o bloco combina entrada e saída por meio de um gate residual treinável. No Glimmer, cada camada tem uma rede feed-forward densa; no Muse Spark Open, ela foi substituída por um bloco MoE: 256 experts, com o roteador escolhendo 8 por token. Cada expert projeta 8192 em 4096 e de volta em 8192, e normaliza a própria saída. Os experts concentram cerca de 97% de todos os parâmetros.

Daí vem o principal compromisso do MoE: todos os 256 experts precisam estar na memória, ou seja, o deploy exige recursos de um modelo de 816B, mas cada token é calculado com ~42B, o que torna a velocidade bem maior. Os embeddings de entrada e a camada de saída são matrizes separadas, com cerca de 1,66 bilhão de parâmetros cada.

Olhos, ouvidos e um milhão de tokens

Imagens e quadros de vídeo são convertidos em tokens por um perception encoder de 1,8 bilhão de parâmetros: 50 camadas, dimensão 1536, 16 cabeças de atenção, patches de 14×14 e features de dimensão 4096. A cada quarta camada, e também na última, o encoder usa atenção completa; nas demais, atenção esparsa. As posições são codificadas por embeddings absolutos treináveis e RoPE 2D. O Muse Glimmer 30B usa o mesmo encoder.

O áudio passa por uma torre separada, que exige sinal mono a 24 kHz: um token de áudio para cada 80 ms, ou seja, 12,5 tokens por segundo. Dez segundos de gravação geram 125 tokens. O encoder é uma pirâmide convolucional com patch embedders de tamanhos 16, 6, 5 e 4. Por padrão, o vídeo é amostrado a 2 quadros por segundo, com no máximo 96 quadros, e agora pode ser processado junto com o som, algo que o Glimmer não fazia. Os quadros são intercalados com marcações de tempo em texto, como «Time: 3.5s». Quanto maior o FPS, mais precisamente o modelo capta eventos entre os quadros, mas a memória e a latência do prefill também aumentam.

O contexto é de 1 048 576 tokens, e imagens, vídeo e áudio dividem essa janela com o texto. Graças ao GQA, o cache permanece moderado: cada token adiciona 2 × 16 × 64 × 62 = 126 976 valores, ou cerca de 250 KB em BF16 e aproximadamente 266 GB para o milhão completo de tokens.

Principais características

• Tamanho: ~816B de parâmetros no total, ~42B ativos por token
• Roteamento: 256 experts por camada MoE, 8 por token
• Entrada: texto, imagens, áudio, vídeo; saída: texto
• Contexto: até 1M de tokens
• Camadas: 62, dimensão oculta 8192, 128 cabeças de query e 16 de KV
• Encoder de visão: 1,8B de parâmetros, 50 camadas
• Áudio: 12,5 tokens por segundo, 24 kHz mono
• Checkpoints: BF16 (~1,5 TB, safetensors) e NVFP4 (4 bits, para NVIDIA Blackwell, com perda de precisão desprezível, segundo a declaração)
• Repositórios: Muse-Spark-Open-816B-A42B e Muse-Spark-Open-816B-A42B-NVFP4

Como executar e o que considerar

O transformers já traz as classes MuseSparkForConditionalGeneration e MuseSparkProcessor. O processador reúne tokenizador, processadores de imagem e vídeo, extrator de áudio e chat template. O paralelismo é configurado via DistributedConfig: tp_size divide as camadas densas em shards, e ep_size distribui os experts pelos dispositivos. No transformers, a versão BF16 roda em quatro nós com 8 GPUs H200 cada, com tensor parallelism TP=32; a NVFP4 roda em um único nó B200. Para produção, o Hugging Face preparou receitas para llama.cpp, vLLM e SGLang. Há suporte a chamada de ferramentas, inclusive multimodal.

Há uma ressalva sobre o raciocínio: não é possível desativá-lo. Os níveis low, medium, high e xhigh correspondem aos valores 16, 64, 256 e 512, e o padrão é xhigh. Para tarefas simples, use low; caso contrário, os tokens serão gastos à toa. O valor numérico também pode ser definido pela string «Reasoning strength» no prompt de sistema. Para as equipes que constroem agentes de código, a questão central deixou de ser a disponibilidade dos pesos e passou a ser o orçamento de hardware e de memória para o KV-cache em contextos longos.