Meta abre Muse Spark Open: un MoE de 816 mil millones de parámetros y contexto de 1 millón de tokens

Meta ha lanzado Muse Spark Open, un modelo multimodal open-weight con arquitectura mixture-of-experts. En total tiene unos 816 mil millones de parámetros, activa aproximadamente 42 mil millones por cada token y su ventana de contexto alcanza el millón de tokens. Acepta como entrada texto, imágenes, audio y vídeo, y su salida es texto. Según la descripción de Hugging Face, es el modelo abierto más potente de EE. UU. hasta la fecha. Meta lo entrenó sobre todo para programación agéntica: leer una base de código, escribir y depurar código, llamar a herramientas, planificar, actuar, observar el resultado y corregirse a sí mismo en tareas largas.

Muse Spark Open es el modelo mayor de la línea Muse. En agosto, Meta lanzó Muse Glimmer, un modelo denso y pequeño para ejecución local. Ambos comparten tokenizador y vocabulario, y la plantilla de chat del nuevo modelo amplía la de Glimmer para incorporar las nuevas modalidades. En la práctica, esto significa que una captura de pantalla, una nota de voz o una grabación de pantalla pueden enviarse al mismo modelo que en ese momento está editando tu código.

Dónde se esconden los 816 mil millones

La parte de lenguaje consta de 62 capas con dimensión oculta de 8192. La atención es grouped-query: 128 cabezas de query y 16 cabezas key-value de 64 dimensiones. El modelo incluye una puerta de salida, normalización a la salida del bloque y QK-norm para queries y keys.

En lugar de una suma simple, el bloque combina entrada y salida mediante una puerta residual entrenable. En Glimmer, cada capa lleva una red feed-forward densa; en Muse Spark Open se sustituyó por un bloque MoE: 256 expertos, de los que el router elige 8 por token. Cada experto proyecta de 8192 a 4096 y de vuelta a 8192, y normaliza su propia salida.

Los expertos concentran cerca del 97% de todos los parámetros.

De ahí viene la principal contrapartida del MoE: los 256 expertos tienen que estar cargados en memoria, de modo que el despliegue exige los recursos de un modelo de 816B, pero cada token se calcula con ~42B, por lo que la velocidad es notablemente mayor. Los embeddings de entrada y la capa de salida son matrices independientes, de unos 1,66 mil millones de parámetros cada una.

Ojos, oídos y un millón de tokens

Un perception encoder de 1,8 mil millones de parámetros convierte en tokens las imágenes y los fotogramas de vídeo: 50 capas, dimensión 1536, 16 cabezas de atención, parches de 14×14 y características de dimensión 4096. Una de cada cuatro capas, además de la última, usa atención completa; el resto emplea atención dispersa. Las posiciones se codifican con embeddings absolutos entrenables y 2D RoPE. Muse Glimmer 30B lleva el mismo encoder.

El audio lo procesa una torre independiente que requiere una señal mono a 24 kHz: un token de audio equivale a 80 ms, es decir, 12,5 tokens por segundo. Diez segundos de grabación generan 125 tokens. El encoder es una pirámide convolucional con patch-embedders de tamaños 16, 6, 5 y 4. Por defecto, el vídeo se muestrea a 2 fotogramas por segundo, con un máximo de 96 fotogramas, y ahora puede procesarse junto con el sonido, algo que Glimmer no podía hacer. Los fotogramas se intercalan con marcas de tiempo en texto del tipo «Time: 3.5s». Con más FPS se captan con mayor precisión los eventos entre fotogramas, pero aumentan la memoria y la latencia del prefill.

El contexto es de 1 048 576 tokens, y las imágenes, el vídeo y el audio comparten esa ventana con el texto. Gracias a GQA, la caché se mantiene moderada: cada token añade 2 × 16 × 64 × 62 = 126 976 valores, es decir, unos 250 KB en BF16 y aproximadamente 266 GB para el millón de tokens completo.

Características clave

• Tamaño: ~816B de parámetros en total, ~42B activos por token
• Enrutamiento: 256 expertos por capa MoE, 8 por token
• Entrada: texto, imágenes, audio, vídeo; salida: texto
• Contexto: hasta 1M de tokens
• Capas: 62, dimensión oculta de 8192, 128 cabezas query y 16 KV
• Encoder de visión: 1,8B de parámetros, 50 capas
• Audio: 12,5 tokens por segundo, 24 kHz mono
• Checkpoints: BF16 (~1,5 TB, safetensors) y NVFP4 (4 bits, para NVIDIA Blackwell, con una pérdida de precisión que se declara despreciable)
• Repositorios: Muse-Spark-Open-816B-A42B y Muse-Spark-Open-816B-A42B-NVFP4

Cómo ejecutarlo y qué tener en cuenta

Transformers incluye las clases MuseSparkForConditionalGeneration y MuseSparkProcessor. El procesador reúne el tokenizador, los procesadores de imagen y vídeo, el extractor de audio y la plantilla de chat. El paralelismo se configura mediante DistributedConfig: tp_size reparte las capas densas en shards y ep_size distribuye los expertos entre los dispositivos. La versión BF16 se ejecuta en transformers sobre cuatro nodos de 8 GPU H200 cada uno, con tensor parallelism TP=32; la NVFP4, en un único nodo B200. Para producción, Hugging Face ha preparado recetas para llama.cpp, vLLM y SGLang. Se admite la llamada a herramientas, también multimodal.

Hay un matiz con el razonamiento: no se puede desactivar. Los niveles low, medium, high y xhigh corresponden a los valores 16, 64, 256 y 512, y por defecto está activo xhigh. Para tareas sencillas conviene usar low; de lo contrario, se malgastan tokens. El valor numérico también puede indicarse con la línea «Reasoning strength» en el prompt de sistema. Para los equipos que construyen agentes de programación, la cuestión principal ya no es la disponibilidad de los pesos, sino el presupuesto de hardware y de memoria para la KV-cache en contextos largos.