Baidu открыла веса ERNIE 5.5 Flash: из 280 млрд параметров на токен работают 14 млрд (5%)

Baidu опубликовала веса ERNIE 5.5 Flash Base — открытой языковой модели с архитектурой MoE (mixture of experts, «смесь экспертов»). В заголовке две цифры, и важно понимать, что они значат.

280 млрд — это общее число параметров, то есть «знаний», которые модель хранит. 14 млрд — сколько из них реально участвует в обработке каждого токена (токен — фрагмент слова, из которых модель складывает текст). 14 из 280 — это ровно 5%.

Представьте офис из 20 специалистов, где на каждую задачу зовут одного подходящего, а не всех сразу: штат большой, а платить за работу приходится как за небольшую команду. Для разработчика вывод простой: если вы считаете деньги на инференс, такая модель может быть дешевле плотной модели того же размера, но сначала её нужно проверить на своих данных.

Что именно выложили

Baidu Research открыла базовую версию, ERNIE 5.5 Flash Base. «Базовая» значит заготовку без финальной настройки под диалог: это не готовый чат-ассистент, а отправная точка, например, для собственного дообучения на отраслевых данных. Полную ERNIE 5.5 Flash компания обещает выпустить позже.

Внутри модели лежат специализированные блоки-«эксперты». Для каждого токена специальный маршрутизатор выбирает, какие из них включить. В итоге вычислений нужно примерно как для 14-миллиардной модели, а знаний хранится как в 280-миллиардной. Разработчики утверждают, что модель достигает результатов ведущих моделей сопоставимого размера. Конкретных цифр в анонсе нет, а независимых замеров на момент публикации тоже нет, так что это пока гипотеза.

Три инженерных решения

Baidu выделяет несколько технических новинок.

Latent-Gated Sparse Attention отвечает за память при работе с длинным текстом. Пока модель генерирует ответ, она хранит KV-cache — кэш уже обработанных токенов, и на длинных документах он сильно разрастается. Новый механизм распределяет эту память так, чтобы модель по-прежнему находила нужную информацию в длинном контексте, но не тратила лишнего. На практике это про длинные договоры, логи или большую кодовую базу в одном запросе.

Multi-Router Latent MoE использует не один, а несколько маршрутизаторов для выбора экспертов. По словам Baidu, так точнее определяется, какие части модели нужны конкретному токену, и при этом не растут вычислительные затраты.

ECHO объединяет предсказание нескольких токенов сразу с основным слоем модели. Тот же механизм можно использовать для speculative decoding. Идея такая: модель заранее предлагает черновик из нескольких следующих токенов, а затем проверяет его. Если догадки верны, ответ генерируется быстрее. Для сервисов, где важна скорость отклика, это может быть полезнее очередного прироста на бенчмарках.

Для обучения команда разработала распределённый оптимизатор Muon и оптимизированное ядро внимания FlashMask-4.

Что это значит на практике

Во-первых, экономия у MoE касается вычислений, но не памяти. Все 280 млрд параметров всё равно нужно где-то хранить: в 16-битной точности это порядка 560 ГБ только на веса. Запустить такую модель на одной видеокарте не получится, понадобится сервер с несколькими ускорителями или квантизация (сжатие весов). Выигрыш заметнее там, где много запросов: на каждый токен тратится меньше вычислений, чем у плотной модели такого же размера.

Во-вторых, раз это база, готового агента или помощника из коробки ждать не стоит. Если вам нужен именно диалог или агентные сценарии, разумнее дождаться полной ERNIE 5.5 Flash.

В-третьих, для рынка открытых моделей это ещё один крупный кандидат на роль основы для собственных стеков. Веса лежат на Hugging Face, а технический разбор опубликован на сайте ERNIE.

Начать лучше с малого. Возьмите свой набор тестовых задач, прогоните на нём ERNIE 5.5 Flash Base и сравните с тем, что используете сейчас. Смотрите и на качество, и на стоимость запуска, потому что именно ради второго такие модели и придумывают.