Meta открыла Muse Spark Open: MoE на 816 млрд параметров и контекстом 1 млн токенов

Meta выпустила Muse Spark Open — open-weight мультимодальную модель с архитектурой mixture-of-experts. Всего в ней около 816 млрд параметров, на каждый токен активируется примерно 42 млрд, а окно контекста достигает миллиона токенов. На вход идут текст, изображения, аудио и видео, на выходе — текст. По описанию Hugging Face, это самая сильная открытая модель из США на сегодня. Meta обучала её прежде всего для агентного кодинга: читать кодовую базу, писать и отлаживать код, вызывать инструменты, планировать, действовать, наблюдать результат и исправлять себя на длинных задачах.

Muse Spark Open — старшая модель линейки Muse. В августе Meta выпустила Muse Glimmer, небольшую плотную модель для локального запуска. Токенизатор и словарь у них общие, а чат-шаблон новой модели расширяет шаблон Glimmer под новые модальности. Практический смысл: скриншот, голосовую заметку или запись экрана можно подать в ту же модель, которая в этот момент правит ваш код.

Где спрятаны 816 миллиардов

Языковая часть состоит из 62 слоёв со скрытой размерностью 8192. Внимание — grouped-query: 128 query-голов и 16 key-value голов по 64 измерения. Есть выходной гейт, нормализация на выходе блока и QK-norm для запросов и ключей. Вместо простой суммы блок складывает вход и выход через обучаемый residual-гейт. В Glimmer на каждом слое стоит одна плотная feed-forward сеть, а в Muse Spark Open её заменили на MoE-блок: 256 экспертов, роутер выбирает 8 на токен. Каждый эксперт проецирует 8192 в 4096 и обратно в 8192 и нормализует собственный выход. На экспертов приходится около 97% всех параметров.

Отсюда главный компромисс MoE: в памяти должны лежать все 256 экспертов, то есть деплой требует ресурсов модели на 816B, но считается каждый токен на ~42B, так что скорость заметно выше. Эмбеддинги входа и выходной слой — отдельные матрицы примерно по 1,66 млрд параметров каждая.

Глаза, уши и миллион токенов

Изображения и кадры видео превращает в токены perception encoder на 1,8 млрд параметров: 50 слоёв, размерность 1536, 16 голов внимания, патчи 14×14 и признаки размерности 4096. Каждый четвёртый слой и последний используют полное внимание, остальные — разреженное. Позиции кодируются обучаемыми абсолютными эмбеддингами и 2D RoPE. Такой же энкодер стоит в Muse Glimmer 30B.

Аудио обрабатывает отдельная башня, которой нужен моно-сигнал на 24 кГц: один аудиотокен приходится на 80 мс, то есть 12,5 токена в секунду. Десять секунд записи дают 125 токенов. Энкодер — свёрточная пирамида с патч-эмбеддерами размеров 16, 6, 5 и 4. Видео по умолчанию сэмплируется с частотой 2 кадра в секунду, не больше 96 кадров, и теперь может идти вместе со звуком — этого не умел Glimmer. Кадры перемежаются текстовыми метками времени вроде «Time: 3.5s». Больше FPS — точнее ловятся события между кадрами, но растут память и задержка префилла.

Контекст — 1 048 576 токенов, и картинки, видео и аудио делят это окно с текстом. Благодаря GQA кэш остаётся умеренным: каждый токен добавляет 2 × 16 × 64 × 62 = 126 976 значений, то есть около 250 КБ в BF16 и примерно 266 ГБ на полный миллион токенов.

Ключевые характеристики

• Размер: ~816B параметров всего, ~42B активных на токен
• Маршрутизация: 256 экспертов на MoE-слой, 8 на токен
• Вход: текст, изображения, аудио, видео; выход: текст
• Контекст: до 1M токенов
• Слои: 62, скрытая размерность 8192, 128 query- и 16 KV-голов
• Vision-энкодер: 1,8B параметров, 50 слоёв
• Аудио: 12,5 токена в секунду, 24 кГц моно
• Чекпойнты: BF16 (~1,5 ТБ, safetensors) и NVFP4 (4 бита, под NVIDIA Blackwell, по заявлению, с пренебрежимой потерей точности)
• Репозитории: Muse-Spark-Open-816B-A42B и Muse-Spark-Open-816B-A42B-NVFP4

Как запускать и что учесть

В transformers есть классы MuseSparkForConditionalGeneration и MuseSparkProcessor. Процессор объединяет токенизатор, обработчики изображений и видео, аудио-экстрактор и чат-шаблон. Параллелизм задаётся через DistributedConfig: tp_size шардирует плотные слои, ep_size раскладывает экспертов по устройствам. BF16-версия в transformers идёт на четырёх узлах по 8 GPU H200 с tensor parallelism TP=32, NVFP4 — на одном узле B200. Для продакшена Hugging Face подготовил рецепты для llama.cpp, vLLM и SGLang. Поддерживается вызов инструментов, в том числе мультимодальный.

Есть нюанс с рассуждением: отключить его нельзя. Уровни low, medium, high и xhigh соответствуют значениям 16, 64, 256 и 512, по умолчанию стоит xhigh. Для простых задач ставьте low, иначе токены будут уходить впустую. Числовое значение можно задать и строкой «Reasoning strength» в системном промпте. Для команд, которые строят кодинг-агентов, главный вопрос теперь не доступность весов, а бюджет на железо и память под KV-кэш на длинных контекстах.