Baidu выложила ERNIE 5.5 Flash Base: 280 млрд параметров, веса открыты

Китайские лаборатории продолжают выкладывать крупные открытые модели, и Baidu вернулась в этот ряд с необычным ходом. ERNIE-5.5-Flash-Base вышла без инструктивной доводки: это сырая база, которую разработчики должны сами превратить в рабочий продукт. Дообученную версию компания обещает выпустить позже.

Что внутри

Модель построена на архитектуре mixture-of-experts: всего 280 млрд параметров, но на каждый запрос активируются только 14 млрд. Для практики это важно: качество определяется общим размером, а вычислительная цена одного токена близка к цене модели на 14 млрд. Правда, память под веса вам всё равно понадобится на все 280 млрд.

Предобучение прошло на 33,5 трлн токенов с контекстом до 128 тыс. токенов. При этом архитектура рассчитана на контекст до миллиона токенов при дообучении и инференсе. Это заявка Baidu: расширять окно придётся самим, и качество на длинных контекстах стоит проверять на своих данных.

Веса лежат на Hugging Face в двух форматах: FP8 и BF16. FP8 заметно дешевле по памяти и подойдёт для экспериментов на меньшем кластере, BF16 удобнее для дообучения.

Что такое «база» и чем она отличается от чат-модели

Базовая модель умеет продолжать текст, но не обучена следовать инструкциям, отказываться от вредных запросов или держать формат диалога. Представьте стажёра с огромной эрудицией, которому никто не объяснил, как отвечать клиентам. Чтобы получить ассистента, нужен supervised fine-tuning, затем, как правило, этап с предпочтениями или RL.

Зато у базы есть преимущество: в ней нет чужих решений о стиле, фильтрах и поведении. Команда, которая хочет собственную специализированную модель для юридических документов, кода на редком языке или внутренней поддержки, получает чистую отправную точку.

Baidu сравнивает модель с DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base на единой оценочной цепочке. Категории: экзамены, STEM, рассуждение, знания, код, многоязычность и длинный контекст. По заявлению компании, в рассуждении, коде и длинном контексте ERNIE на уровне сопоставимых открытых баз. Это данные самой Baidu, независимых замеров пока нет.

Ограничения и что делать

Первое: без post-training модель нельзя просто подключить к чат-интерфейсу или агенту. Нужны данные, вычислительный бюджет и опыт дообучения MoE, а это сложнее, чем доводка плотной модели.

Второе: лицензия. Перед коммерческим использованием прочитайте условия на странице модели, в новости они не уточняются.

Третье: инфраструктура. 280 млрд параметров даже в FP8 требуют нескольких мощных GPU, так что для небольшой команды это не локальный эксперимент.

Практический вывод. Если у вас есть ресурсы и своя задача, стоит прогнать ERNIE-5.5-Flash-Base на собственном бенчмарке рядом с DeepSeek V4 Flash Base и MiMo V2.5 Base и выбрать лучшую основу для дообучения. Если вам нужна готовая модель для продукта, подождите дообученную версию от Baidu: сейчас она не вышла, а сроки не названы.

В целом это ещё один сигнал: открытые базовые модели уровня сотен миллиардов параметров стали обычным делом, а конкурентное преимущество смещается от самих весов к данным и качеству доводки.