Alibaba выложила веса Qwen3.8-Flash: 125B MoE и превью архитектуры Qwen4

Команда Qwen из Alibaba анонсировала Qwen3.8-Flash и сразу выложила веса. Пост собрал больше двух миллионов просмотров, но по содержанию он короткий: несколько цифр и обещание. Разберём, что в нём подтверждено, что остаётся догадками и что с этим делать, пока нет технического отчёта.

Что известно точно

По тексту анонса:

• Qwen3.8-Flash — мультимодальная модель с архитектурой Mixture-of-Experts. На каждый токен работает только часть параметров, поэтому такие модели обычно быстрее и дешевле плотных моделей сопоставимого размера.
• Это «ранний превью архитектуры Qwen4». Alibaba фактически показывает, как будет устроено следующее поколение, и отдаёт это сообществу для проверки.
• Веса открыты.
• Продакшен-версия Qwen3.8-Flash скоро появится в QwenCloud API по цене $0,16 за миллион входных токенов и $0,47 за миллион выходных.
• Размер заявлен как «125B параметров + 51B N-gram».

Важно, что открытые веса и продакшен-версия в API — не одно и то же. Alibaba прямо пишет, что в облаке будет отдельная production-сборка. Значит, поведение скачанного чекпойнта и API-модели может отличаться.

Что в этом странного: «51B N-gram»

С 125B всё понятно: это обычный размер MoE-модели. Вторая цифра интереснее. В анонсе нет расшифровки, поэтому дальше — наше предположение, а не факт.

В свежих исследованиях набирает популярность идея выносить часть «знаний» из вычислительных слоёв в большие таблицы, где по последовательности из нескольких токенов (n-грамме) достаётся готовый вектор. Это память, а не вычисления: поиск по таблице почти ничего не стоит по FLOPs, зато даёт модели дешёвый доступ к устойчивым фразам и фактам. Если Qwen4 строится на чём-то подобном, это серьёзная архитектурная ставка. Но пока это гипотеза.

Есть и вопрос по арифметике. Неясно, суммируются ли 125B и 51B в 176B или это разные категории параметров. Неизвестно и число активных параметров на токен. Без этого нельзя честно оценить ни скорость, ни требования к железу.

Что делать разработчику и продакту

Во-первых, не планируйте миграцию по одному посту. Бенчмарков в анонсе нет, а название «Flash» в линейке Qwen обычно означает быстрый и дешёвый тариф, а не флагманский уровень качества.

Во-вторых, оцените экономику. Цена $0,16 и $0,47 за миллион токенов — это сегмент массовых задач: классификация, извлечение данных, чат-поддержка, разбор документов и изображений. Если у вас сейчас стоит модель подороже и качество там с запасом, Qwen3.8-Flash стоит прогнать на вашем наборе. Выходные токены втрое дороже входных, поэтому длинные генерации обойдутся заметно дороже длинных промптов.

В-третьих, если вы хотите запускать модель у себя, считайте память заранее. Для справки: 125B параметров в 8-битном виде — это порядка 125 ГБ только под веса, в 4-битном — порядка 60 ГБ, без учёта KV-кэша и, возможно, N-gram-таблиц. Реальную картину дадут квантизации от сообщества и первые замеры на vLLM или SGLang. Дождитесь их и тестируйте на своих данных, а не на чужих лидербордах.

В-четвёртых, следите за технической частью. Для исследователей и инженеров инференса главный интерес здесь не сама модель, а то, что она показывает про Qwen4: как устроена маршрутизация экспертов, что такое «N-gram»-часть и как мультимодальность встроена в архитектуру.

Ограничения

Всё, что выше, опирается на один твит. Нет технического отчёта, лицензии в тексте поста, контекстного окна, списка поддерживаемых модальностей и сравнений с другими моделями. Условия лицензии надо проверить до любого коммерческого использования: «open-weight» не гарантирует ни Apache 2.0, ни разрешения на коммерцию.

Итог: это заметный релиз, потому что открытые веса, MoE и превью новой архитектуры от одного из главных китайских open-weight игроков редко приходят вместе. Но пока это заявка. Практическую ценность покажут независимые замеры и релиз API-версии.