vLLM с первого дня запускает ERNIE 5.5 Flash Base: 280B параметров, 14B активных

Знакомая история: выходит громкая открытая модель, вы радостно качаете веса, а потом неделями ждёте, пока инференс-движок научится её нормально запускать. В этот раз всё иначе. Baidu выпустила ERNIE 5.5 Flash Base, и vLLM заявил о поддержке в нулевой день. Можно брать и пробовать на привычном стеке.

Что известно о модели

Цифры из анонса такие. Всего в модели 280 млрд параметров, но на каждый токен активны только 14 млрд. Это архитектура Mixture of Experts: на каждом шаге работает небольшая часть «экспертов», а не вся сеть. Предобучение шло на 33,5 трлн токенов. Контекст при обучении составлял 128 тысяч токенов, а для дообучения и инференса заявлено до 1 млн.

Важная деталь в названии: это Base, то есть базовая модель после предобучения, без аккуратной выучки следовать инструкциям. Baidu открыла веса именно для адаптации под домен и instruction tuning. Это заготовка, а не готовый чат-бот.

Почему это важно на практике

Представьте, что вы делаете ассистента для юридических документов или внутренней кодовой базы. Чат-модель общего назначения уже «воспитана» под чужой стиль, и переучивать её порой сложнее, чем взять чистую базу. Base-веса дают более нейтральную стартовую точку: вы сами задаёте формат ответов, тон и ограничения.

Схема MoE тоже полезна. По вычислениям на токен модель ближе к 14B, чем к 280B, хотя все веса всё равно нужно держать в памяти. Это классический компромисс MoE: скорость генерации и стоимость токена лучше, чем у плотной модели сопоставимого размера, а требования к видеопамяти остаются высокими.

Поддержка в vLLM снимает самый раздражающий барьер. Не нужно писать собственные ядра или ждать форк с патчами. Вы получаете знакомый OpenAI-совместимый сервер, батчинг и привычные способы развёртывания. Для прототипа это экономит дни, а то и недели.

Что стоит учесть

Во-первых, в анонсе нет бенчмарков, сравнений с конкурентами и подробностей о лицензии. Пока это только заявленные параметры. Прежде чем строить продукт, проверьте условия использования и прогоните модель на своих данных.

Во-вторых, 1 млн токенов контекста указан как предел для дообучения и инференса, а не как то, что модель надёжно использует из коробки. Качество на длинных входах нужно измерять самим: многие модели формально принимают огромный контекст, но теряют детали в середине. Базовая обучающая длина здесь 128K, и это более честная точка отсчёта.

В-третьих, 280B параметров потребуют серьёзного железа даже при 14B активных. МультиGPU-развёртывание, квантизация и тензорный параллелизм вам почти наверняка понадобятся. Дообучение такой модели обойдётся ещё дороже, так что подумайте про адаптеры вроде LoRA вместо полного файнтюна.

Практический вывод

Если вы строите продукт на открытых моделях и вам нужна база под собственную специализацию, ERNIE 5.5 Flash Base стоит добавить в шорт-лист. Начните с малого: поднимите её в vLLM, замерьте скорость и память на своём железе, а затем проверьте качество на двух-трёх реальных задачах. Если базовая модель держит ваш домен лучше текущей, тогда уже имеет смысл вкладываться в instruction tuning.

В целом это ещё один признак зрелости открытой экосистемы. Поддержка инференс-движка в день релиза становится нормой, и выбор модели всё чаще упирается не в «запустится ли», а в «подойдёт ли по качеству и лицензии». Именно это и нужно проверять в первую очередь.