Baidu открыла ERNIE 5.5 Flash Base: MoE на 280B параметров с 14B активных

Китайские лаборатории продолжают выкладывать крупные открытые модели, и вот новый заметный релиз. 5 ноября Baidu открыла ERNIE 5.5 Flash Base — базовую модель с архитектурой Mixture-of-Experts. Для тех, кто выбирает, на чём строить собственный стек, это повод посмотреть на цифры внимательнее.

Что внутри и при чём тут MoE

Главные параметры такие: 280 млрд параметров всего, 14 млрд активных на каждый токен, 33,5 трлн токенов предобучения и контекст до 128K на этапе предобучения. По заявлению Baidu, на дообучении и инференсе поддерживается ещё более длинный контекст, но в доступном нам тексте цифра обрезана, поэтому точное значение стоит смотреть в карточке модели.

Как работает MoE, проще всего объяснить на аналогии. Представьте большую консалтинговую фирму из сотен специалистов. На каждый вопрос не собирают всех: диспетчер, он же роутер, выбирает нескольких подходящих экспертов. Знания хранятся у всей фирмы, а работают над конкретным токеном только избранные. Здесь это 14 млрд из 280 млрд.

Практическое следствие двойное. Скорость и стоимость генерации ближе к плотной модели класса 14B, а ёмкость знаний потенциально выше. Но есть оговорка, о которой часто забывают: в память всё равно нужно загрузить все веса. По моей грубой арифметике, это около 560 ГБ в 16-битной точности и около 280 ГБ в 8-битной. Это не данные Baidu, а оценка по числу параметров, без учёта кэша и накладных расходов.

Почему важно слово Base

Base-модель — это не чат-ассистент. Она обучена продолжать текст, а не выполнять инструкции. Если написать ей «Составь SQL-запрос для выборки заказов за неделю», она может вместо запроса продолжить фразу, как будто это начало документа. Чтобы получить продуктовое поведение, нужны SFT, обучение на предпочтениях и, возможно, RL.

Зато для команд со своим пост-тренингом это хорошая новость. Базовая модель не несёт чужого выравнивания и стиля ответов, и её можно настроить под свой домен: юридические тексты, внутреннюю документацию, код на нишевом языке.

Про бенчмарки. Baidu заявляет, что модель обновила SOTA среди моделей схожего размера по нескольким тестам. Это заявление вендора, независимых замеров мы пока не видели. К тому же базовые модели обычно сравнивают на тестах знаний, математики и кода в few-shot-режиме. Такие тесты почти ничего не говорят о том, как модель поведёт себя в агентных сценариях с вызовом инструментов.

Что с этим делать

• Если у вас есть GPU-кластер и собственный датасет, особенно с китайским языком или узкой предметной областью, модель стоит взять в пилот.

• Если нужен готовый чат или API для продукта, Base не подойдёт. Ищите инструктивную версию или готовьте собственный пост-тренинг.

• Перед стартом проверьте лицензию и поддержку модели в вашем инференс-стеке. Для MoE это критично: роутинг экспертов реализован не везде одинаково хорошо.

• Соберите 30–50 примеров из своих реальных задач и прогоните их до всяких вложений в дообучение. Публичные бенчмарки этого не заменят.

Ограничения очевидны. Требования к памяти высокие, независимых сравнений мало, а качество на русском языке придётся проверять самим: из доступных данных о нём ничего не известно.

Итог: ERNIE 5.5 Flash Base интересна как ещё одна открытая MoE-заготовка с большим объёмом предобучения и разумной стоимостью вычислений на токен. Но это сырьё для инженеров, а не готовый продукт. Решение о применении нужно принимать после собственных замеров, а не по заголовку про SOTA.