Liquid AI lanza los codificadores LFM2.5-Encoder-230M y 350M con contexto de 8K tokens

Liquid AI lanzó el 29 de julio de 2026 dos codificadores bidireccionales abiertos, LFM2.5-Encoder-230M y LFM2.5-Encoder-350M, con un contexto de 8192 tokens. Los modelos siguen siendo rápidos con entradas largas incluso sin GPU, en una CPU convencional.

Qué son estos modelos

LFM2.5-Encoder-230M y LFM2.5-Encoder-350M son masked language models abiertos construidos sobre el backbone híbrido LFM2 de Liquid AI. Los codificadores se sitúan bajo clasificadores, enrutadores de intenciones, filtros de seguridad y detectores de datos personales (PII). Estas tareas funcionan de forma continua, normalmente sin GPU y cada vez más con entradas largas.

• Dos checkpoints: 230M y 350M de parámetros
• Contexto de 8192 tokens (aproximadamente 13–15 páginas de texto)
• Hidden size de 1024, vocabulario de 65 536 tokens y soporte para 15 idiomas
• Licencia LFM Open License v1.0; la metodología de evaluación es abierta bajo Apache-2.0

BERT definió esta clase de modelos y ModernBERT mejoró su precisión, su velocidad y su contexto. El argumento de Liquid AI es que la arquitectura LFM2 continúa esa línea: su coste crece más despacio a medida que se alarga la entrada.

Cómo un decodificador se convirtió en codificador

Los codificadores no se entrenaron desde cero. Se inicializaron a partir de los backbones decodificadores LFM2.5-230M y LFM2.5-350M y se convirtieron con tres cambios. La máscara de atención causal se sustituyó por una bidireccional, de modo que cada token ve ambos lados. Las convoluciones cortas de LFM2 se hicieron non-causal mediante un center-padding simétrico. Y el modelo se reentrenó con la tarea de masked language modeling con una proporción de enmascaramiento del 30%, más densa que el 15% de BERT.

El entrenamiento se desarrolló en dos etapas. En la primera se fijó la competencia lingüística general con un contexto corto de 1024 tokens sobre un gran corpus web. En la segunda se amplió el contexto a 8192 tokens con la mezcla completa de datos, reforzando la competencia factual, jurídica y multilingüe.

Qué rendimiento tienen en los benchmarks

LFM2.5-Encoder-350M obtuvo una media de 81,02 (±1,00) en 17 tareas de GLUE, SuperGLUE y clasificación multilingüe, lo que le sitúa en el 4.º puesto entre 14 modelos. Según Liquid AI, solo le superan modelos más grandes: XLM-R XL, con 3500 millones de parámetros (83,06), ModernBERT-large, con 395M (81,68), y XLM-R large, con 560M (81,34). El líder es casi 10 veces mayor.

LFM2.5-Encoder-230M obtuvo 79,29 (±1,02) y quedó en el 6.º puesto, por delante de ModernBERT-base (78,19) y de todos los modelos EuroBERT de la tabla, incluidos EuroBERT-610M (75,87) y EuroBERT-2.1B (72,19).

Ambos codificadores superaron a los modelos de retrieval propios de

Liquid AI, LFM2.5-ColBERT-350M (76,18) y LFM2.5-Embedding-350M (75,68); la compañía señala precisamente esta diferencia como el motivo por el que construyó un codificador universal independiente en lugar de reutilizar los retrievers.

— según el comunicado de Liquid AI

Dónde aplicarlos

Liquid AI plantea tres escenarios. El primero es el edge y los dispositivos embebidos: el ordenador de a bordo de un coche o un controlador industrial sin GPU libre, donde no se puede recurrir a la nube. El segundo son los sistemas regulados y on-premise en finanzas, sanidad y derecho, donde los documentos son largos, sensibles y no pueden salir de la infraestructura interna. El tercero son los pipelines de alta carga y sensibles al coste, donde un codificador pequeño actúa como primer filtro barato antes de un modelo grande.

Qué significa

Los codificadores abiertos pequeños siguen siendo el caballo de batalla del NLP aplicado, no una reliquia de la era previa a los LLM. Liquid AI muestra que, con contexto largo y en CPU, un modelo compacto puede competir con soluciones mucho mayores, y lo hace con pesos abiertos y una metodología reproducible.

Preguntas frecuentes

¿Qué es un codificador y para qué sirve?

Un codificador convierte el texto en representaciones para clasificadores, enrutadores de intenciones, filtros de seguridad y detectores de PII. Estas tareas funcionan de forma continua y normalmente sin GPU, por lo que el coste y la velocidad pesan más que la «creatividad» generativa.

¿En qué se diferencia LFM2.5-Encoder de BERT?

LFM2.5-Encoder se basa en el backbone híbrido LFM2 (alternancia de convoluciones con gating y grouped-query attention), admite un contexto de 8192 tokens y se entrena con una proporción de enmascaramiento del 30% en lugar del 15% de BERT.

¿Bajo qué licencia están disponibles los modelos?

Los pesos se publican bajo LFM Open License v1.0 y la metodología de evaluación, bajo Apache-2.0. La versión de transformers está fijada en 4.56.2 para que la deriva de dependencias no afecte a la reproducibilidad de los resultados.