Liquid AI dévoile les encodeurs LFM2.5-Encoder-230M et 350M, avec un contexte de 8K tokens

Le 29 juillet 2026, Liquid AI a publié deux encodeurs bidirectionnels ouverts, LFM2.5-Encoder-230M et LFM2.5-Encoder-350M. Leur contexte atteint 8192 tokens, et ils restent rapides sur les longues entrées, y compris sans GPU, sur un simple CPU.

Que sont ces modèles ?

LFM2.5-Encoder-230M et LFM2.5-Encoder-350M sont des masked language models ouverts, bâtis sur le backbone hybride LFM2 de Liquid AI. Les encodeurs se placent sous les classificateurs, les routeurs d'intentions, les filtres de sécurité et les détecteurs de données personnelles (PII). Ces tâches tournent en continu, généralement sans GPU, et portent de plus en plus souvent sur de longues entrées.

• Deux checkpoints : 230M et 350M de paramètres
• Contexte de 8192 tokens (environ 13 à 15 pages de texte)
• Hidden size de 1024, vocabulaire de 65 536 tokens, prise en charge de 15 langues
• Licence LFM Open License v1.0, méthodologie d'évaluation ouverte sous Apache-2.0

BERT a défini cette classe de modèles ; ModernBERT a amélioré la précision, la vitesse et la longueur de contexte. Selon Liquid AI, l'architecture LFM2 prolonge cette lignée : son coût croît plus lentement à mesure que l'entrée s'allonge.

Comment un décodeur devient un encodeur

Les encodeurs n'ont pas été entraînés from scratch. Ils ont été initialisés à partir des backbones décodeurs LFM2.5-230M et LFM2.5-350M, puis convertis par trois modifications. Le masque d'attention causal a été remplacé par un masque bidirectionnel, afin que chaque token voie les deux côtés. Les convolutions courtes de LFM2 ont été rendues non causales grâce à un center-padding symétrique. Enfin, le modèle a été réentraîné sur une tâche de masked language modeling avec un taux de masquage de 30 %, plus dense que les 15 % de BERT.

L'entraînement s'est déroulé en deux étapes. La première a posé les compétences linguistiques générales sur un contexte court de 1024 tokens, avec un large corpus web. La seconde a étendu le contexte à 8192 tokens sur le mix de données complet, en renforçant les compétences factuelles, juridiques et multilingues.

Quelles performances sur les benchmarks ?

LFM2.5-Encoder-350M obtient une moyenne de 81,02 (±1,00) sur 17 tâches issues de GLUE, SuperGLUE et de la classification multilingue, soit la 4e place sur 14 modèles. D'après Liquid AI, seuls des modèles plus gros le devancent : XLM-R XL avec 3,5 milliards de paramètres (83,06), ModernBERT-large avec 395M (81,68) et XLM-R large avec 560M (81,34). Le leader est près de 10 fois plus grand.

LFM2.5-Encoder-230M obtient 79,29 (±1,02) et se classe 6e, devant ModernBERT-base (78,19) et tous les modèles EuroBERT du tableau, dont EuroBERT-610M (75,87) et EuroBERT-2.1B (72,19).

Les deux encodeurs surpassent les propres modèles de retrieval de

Liquid AI, LFM2.5-ColBERT-350M (76,18) et LFM2.5-Embedding-350M (75,68) ; c'est précisément cet écart que l'entreprise avance pour expliquer pourquoi elle a construit un encodeur universel dédié plutôt que de réutiliser ses retrievers.

— d'après la publication de Liquid AI

Où les utiliser ?

Liquid AI met en avant trois scénarios. Le premier concerne l'edge et les appareils embarqués : calculateur de bord d'une voiture ou automate industriel sans GPU disponible, où l'on ne peut pas se permettre un aller-retour vers le cloud. Le deuxième vise les systèmes réglementés et on-premise dans la finance, la santé et le droit, où les documents sont longs, sensibles et ne peuvent pas quitter l'infrastructure interne. Le troisième porte sur les pipelines à forte charge et sensibles au coût, où un petit encodeur sert de premier filtre bon marché avant un modèle plus gros.

Ce que cela signifie

Les petits encodeurs ouverts restent les bêtes de somme du NLP appliqué, et non des reliques de l'ère pré-LLM. Liquid AI montre que, sur contexte long et sur CPU, un modèle compact peut rivaliser avec des solutions bien plus grosses, et le fait avec des poids ouverts et une méthodologie reproductible.

Questions fréquentes

Qu'est-ce qu'un encodeur et à quoi sert-il ?

Un encodeur transforme le texte en représentations destinées aux classificateurs, aux routeurs d'intentions, aux filtres de sécurité et aux détecteurs de PII. Ces tâches tournent en continu et généralement sans GPU : le coût et la vitesse comptent donc davantage que la « créativité » générative.

En quoi LFM2.5-Encoder diffère-t-il de BERT ?

LFM2.5-Encoder repose sur le backbone hybride LFM2 (alternance de convolutions à gating et de grouped-query attention), offre un contexte de 8192 tokens et s'entraîne avec un taux de masquage de 30 % au lieu des 15 % de BERT.

Sous quelle licence les modèles sont-ils disponibles ?

Les poids sont publiés sous LFM Open License v1.0, et la méthodologie d'évaluation sous Apache-2.0. La version de transformers est figée à 4.56.2 afin que la dérive des dépendances n'affecte pas la reproductibilité des résultats.