Liquid AI выпустила энкодеры LFM2.5-Encoder-230M и 350M с контекстом 8K токенов

Liquid AI 29 июля 2026 года выпустила два открытых bidirectional-энкодера — LFM2.5-Encoder-230M и LFM2.5-Encoder-350M — с контекстом 8192 токена, которые остаются быстрыми на длинных входах даже без GPU, на обычном CPU.

Что это за модели

LFM2.5-Encoder-230M и LFM2.5-Encoder-350M — открытые masked language models на гибридном бэкбоне LFM2 от Liquid AI. Энкодеры стоят под классификаторами, роутерами интентов, фильтрами безопасности и детекторами персональных данных (PII). Такие задачи работают непрерывно, обычно без GPU и всё чаще на длинных входах.

• Два чекпоинта — 230M и 350M параметров
• Контекст 8192 токена (примерно 13–15 страниц текста)
• Hidden size 1024, словарь на 65 536 токенов, поддержка 15 языков
• Лицензия LFM Open License v1.0, методология оценки открыта под Apache-2.0

Класс задал BERT, ModernBERT поднял точность, скорость и контекст. Аргумент Liquid AI в том, что архитектура LFM2 продолжает эту линию: её стоимость растёт медленнее по мере удлинения входа.

Как декодер стал энкодером

Энкодеры не обучали с нуля — их инициализировали из decoder-бэкбонов LFM2.5-230M и LFM2.5-350M и конвертировали тремя изменениями. Causal-маску внимания заменили на двунаправленную, чтобы каждый токен видел обе стороны. Короткие свёртки LFM2 сделали non-causal через симметричный center-padding. И модель дообучили с задачей masked language modeling при доле маскирования 30% — плотнее, чем 15% у BERT.

Обучение шло в две стадии. На первой закладывали общую языковую компетенцию на коротком контексте 1024 токена на большом веб-корпусе. На второй контекст расширили до 8192 токенов на полном миксе данных, усилив фактическую, юридическую и мультиязычную компетенцию.

Насколько они сильны на бенчмарках

LFM2.5-Encoder-350M набрал средние 81,02 (±1,00) на 17 задачах из GLUE, SuperGLUE и мультиязычной классификации — это 4-е место среди 14 моделей. По данным Liquid AI, впереди только более крупные модели: XLM-R XL на 3,5 млрд параметров (83,06), ModernBERT-large на 395M (81,68) и XLM-R large на 560M (81,34). Лидер почти в 10 раз больше.

LFM2.5-Encoder-230M набрал 79,29 (±1,02) и занял 6-е место, обойдя ModernBERT-base (78,19) и все модели EuroBERT в таблице, включая EuroBERT-610M (75,87) и EuroBERT-2.1B (72,19).

Оба энкодера обошли собственные retrieval-модели

Liquid AI — LFM2.5-ColBERT-350M (76,18) и LFM2.5-Embedding-350M (75,68); именно этот разрыв компания называет причиной, по которой построила отдельный универсальный энкодер вместо переиспользования ретриверов.

— по материалам релиза Liquid AI

Где их применять

Liquid AI называет три сценария. Первый — edge и встраиваемые устройства: бортовой компьютер автомобиля или промышленный контроллер без свободного GPU, где нельзя позволить себе поход в облако. Второй — регулируемые и on-premise системы в финансах, здравоохранении и юриспруденции, где документы длинные, чувствительные и не могут покидать внутреннюю инфраструктуру. Третий — высоконагруженные и чувствительные к стоимости пайплайны, где маленький энкодер работает дешёвым первым фильтром перед крупной моделью.

Что это значит

Небольшие открытые энкодеры остаются рабочей лошадкой прикладного NLP, а не реликтом эпохи до LLM. Liquid AI показывает, что на длинном контексте и CPU компактная модель может конкурировать с решениями в разы крупнее — и делает это с открытыми весами и воспроизводимой методологией.

Частые вопросы

Что такое энкодер и зачем он нужен?

Энкодер превращает текст в представления для классификаторов, роутеров интентов, фильтров безопасности и детекторов PII. Такие задачи работают непрерывно и обычно без GPU, поэтому цена и скорость важнее генеративной «креативности».

Чем LFM2.5-Encoder отличается от BERT?

LFM2.5-Encoder построен на гибридном бэкбоне LFM2 (чередование gated-свёрток и grouped-query attention), несёт контекст 8192 токена и обучается при доле маскирования 30% вместо 15% у BERT.

Под какой лицензией доступны модели?

Веса выпущены под LFM Open License v1.0, а методология оценки — под Apache-2.0. Версия transformers зафиксирована на 4.56.2, чтобы дрейф зависимостей не влиял на воспроизводимость результатов.