Groq запустил Meta Muse Spark Open: 816B параметров и 350+ токенов/с

Meta выпустила Muse Spark Open, open-weight модель для агентного программирования, а Groq подключил её к GroqCloud в день релиза. Пока это limited preview. По данным Groq, модель построена как Mixture of Experts: 816 млрд параметров всего, 42 млрд активных на каждый токен, 256 экспертов. На GroqCloud она отдаёт больше 350 токенов в секунду на пользователя при контексте 131 072 токена.

Архитектура и характеристики

На каждый токен работает около 5% весов (42 из 816 млрд). Так устроены MoE-модели: хранить в памяти приходится все параметры, а считать нужно только выбранных экспертов. Именно поэтому модель такого размера в принципе может давать высокую скорость генерации.

Главное из анонса:

• 816B параметров всего, 42B активных на токен;
• 256 экспертов в архитектуре Mixture of Experts;
• контекст 131 072 токена на GroqCloud, по словам Groq, достаточно для крупных кодовых баз с зависимостями и легаси;
• вход: текст и изображения, выход: только текст;
• скорость: 350+ токенов в секунду на пользователя;
• обучение на реальных рабочих процессах разработчиков: рефакторинг по нескольким файлам, сессии отладки, длинные задачи.

Агент, который объясняет свои шаги

Meta проектировала Muse Spark Open как агента с самого начала. Модель планирует, действует, смотрит на результат и корректирует курс на длинной дистанции. Она умеет запускать и координировать субагентов, ходить в веб и работать с компьютером на десктопе, в мобильной среде и в браузере.

Перед каждым действием модель пишет короткое заявление о намерении. Разработчик видит, что она собирается сделать и зачем, и может вмешаться до того, как правка уйдёт в репозиторий. Для длинных автономных задач такая прозрачность полезна сама по себе. Meta заявляет о более высокой точности с первой попытки и надёжном вызове инструментов, но конкретных цифр и бенчмарков в материале Groq нет.

Почему скорость важна для агентов

Агентная задача состоит из цепочки вызовов модели, и каждый шаг ждёт предыдущего. Задержки складываются. Грубый расчёт: 30 вызовов по 2 000 токенов дают 60 000 токенов, а при 350 токенах в секунду это около трёх минут чистой генерации. При скорости втрое ниже ожидание выросло бы почти до девяти минут. Цифры иллюстративные, реальные зависят от задачи, но логика понятна.

Глава коммерческого направления Groq Скотт Олбин (Scott Albin) говорит, что агенты делают десятки вызовов ради одной задачи, а быстрый инференс удерживает каждый из них в разумных рамках. Groq сообщает, что на платформе работают более шести миллионов разработчиков, компании из Fortune 500 и тысячи AI-native стартапов. Она обрабатывает триллионы токенов в неделю из дата-центров в Северной Америке, Европе, на Ближнем Востоке и в APAC.

Чего в анонсе нет

Это пресс-релиз инфраструктурного партнёра, и скорость в нём приведена самим вендором. Нет данных о цене за токен, условиях лицензии, лимитах превью и независимых замерах качества. Неизвестно, как держится скорость 350+ токенов в секунду при полном заполнении контекста и высокой параллельной нагрузке.

Как попробовать

Заявку на доступ нужно подавать на странице groq.com/muse-spark-open. Для оценки лучше взять собственную задачу, а не демо:

• прогнать многофайловый рефакторинг на реальном репозитории и замерить время до готового результата, а не токены в секунду;
• проверить, помещается ли кодовая база с зависимостями в 131 072 токена;
• протестировать вызов ваших инструментов и долю задач, решённых с первой попытки;
• попробовать подавать скриншоты интерфейса при отладке: модель принимает изображения.

Если Meta и Groq не завысили цифры, open-weight модель такого класса с высокой скоростью станет серьёзной альтернативой закрытым агентным моделям. Пока это нужно проверять на своём коде.