Liquid AI выпустила энкодеры LFM2.5-Encoder-230M и 350M с контекстом 8K токенов

Le 29 juillet 2026, LiquidAI a publié deux encoders bidirectionnels ouverts — LFM2.5-Encoder-230M et LFM2.5-Encoder-350M — avec un contexte de 8192 tokens, qui restent rapides sur des entrées longues même sans GPU, sur un CPU standard.

De quel type de modèles s'agit-il

LFM2.5-Encoder-230M et LFM2.5-Encoder-350M sont des modèles de langage masqué (masked language models) ouverts, construits sur le backbone hybride LFM2 de LiquidAI. Les encoders se placent en amont des classificateurs, des routeurs d'intentions, des filtres de sécurité et des détecteurs de données personnelles (PII). Ces tâches tournent en continu, généralement sans GPU, et de plus en plus sur des entrées longues.

• Deux checkpoints — 230M et 350M de paramètres
• Contexte de 8192 tokens (environ 13 à 15 pages de texte)
• Hidden size de 1024, vocabulaire de 65536 tokens, prise en charge de 15 langues
• Licence LFM Open License v1.0, méthodologie d'évaluation publiée sous Apache-2.0

La catégorie a été définie par BERT, et ModernBERT a fait progresser la précision, la vitesse et le contexte. L'argument de LiquidAI est que l'architecture LFM2 prolonge cette lignée : son coût augmente plus lentement à mesure que l'entrée s'allonge.

Comment un decoder est devenu un encoder

Les encoders n'ont pas été entraînés à partir de zéro — ils ont été initialisés à partir des backbones decoder de LFM2.5-230M et LFM2.5-350M, puis convertis via trois modifications. Le masque d'attention causal a été remplacé par un masque bidirectionnel, afin que chaque token puisse voir dans les deux directions. Les convolutions courtes de LFM2 ont été rendues non-causales grâce à un center-padding symétrique. Enfin, le modèle a été réentraîné avec un objectif de masked language modeling, avec un taux de masquage de 30% — plus dense que les 15% de BERT.

L'entraînement s'est déroulé en deux étapes. La première a posé les bases d'une compétence linguistique générale sur un contexte court de 1024 tokens, à partir d'un vaste corpus web. La seconde a étendu le contexte à 8192 tokens sur le mélange de données complet, renforçant la compétence factuelle, juridique et multilingue.

Quelle est leur performance sur les benchmarks

LFM2.5-Encoder-350M a obtenu une moyenne de 81,02 (±1,00) sur 17 tâches issues de GLUE, SuperGLUE et de la classification multilingue — soit la 4e place parmi 14 modèles. Selon LiquidAI, seuls des modèles plus grands le devancent : XLM-R XL, avec 3,5 milliards de paramètres (83,06), ModernBERT-large, avec 395M (81,68), et XLM-R large, avec 560M (81,34). Le leader est près de 10 fois plus grand.

LFM2.5-Encoder-230M a obtenu 79,29 (±1,02) et s'est classé 6e, devançant ModernBERT-base (78,19) et tous les modèles EuroBERT du tableau, y compris EuroBERT-610M (75,87) et EuroBERT-2.1B (72,19).

Les deux encoders ont surpassé les propres modèles de retrieval de

LiquidAI — LFM2.5-ColBERT-350M (76,18) et LFM2.5-Embedding-350M (75,68) ; c'est précisément cet écart que l'entreprise cite comme la raison pour laquelle elle a construit un encoder généraliste distinct plutôt que de réutiliser les retrievers.

— d'après les documents de lancement de LiquidAI

Où les utiliser

LiquidAI cite trois scénarios. Le premier concerne l'edge et les dispositifs embarqués : l'ordinateur de bord d'une voiture ou un contrôleur industriel sans GPU disponible, où un aller-retour vers le cloud n'est pas envisageable. Le second concerne les systèmes réglementés et on-premise dans la finance, la santé et le droit, où les documents sont longs, sensibles et ne peuvent pas quitter l'infrastructure interne. Le troisième concerne les pipelines à forte charge et sensibles aux coûts, où un petit encoder sert de premier filtre bon marché avant un modèle plus important.

Ce que cela signifie

Les petits encoders ouverts restent le cheval de bataille du NLP appliqué, et non une relique de l'ère pré-LLM. LiquidAI montre que, sur un contexte long et un CPU, un modèle compact peut rivaliser avec des solutions plusieurs fois plus grandes — et le fait avec des poids ouverts et une méthodologie reproductible.

Questions fréquentes

Qu'est-ce qu'un encoder et à quoi sert-il ?

Un encoder transforme le texte en représentations destinées aux classificateurs, aux routeurs d'intentions, aux filtres de sécurité et aux détecteurs de PII. Ces tâches tournent en continu et généralement sans GPU, si bien que le prix et la vitesse comptent plus que la « créativité » générative.

En quoi LFM2.5-Encoder diffère-t-il de BERT ?

LFM2.5-Encoder est construit sur le backbone hybride LFM2 (alternance de convolutions gated et de grouped-query attention), dispose d'un contexte de 8192 tokens et s'entraîne avec un taux de masquage de 30% au lieu des 15% de BERT.

Sous quelle licence les modèles sont-ils disponibles ?

Les poids sont publiés sous la LFM Open License v1.0, et la méthodologie d'évaluation sous Apache-2.0. La version de transformers est fixée à 4.56.2 afin que la dérive des dépendances n'affecte pas la reproductibilité des résultats.