Liquid AI выпустила энкодеры LFM2.5-Encoder-230M и 350M с контекстом 8K токенов

El 29 de julio de 2026, LiquidAI lanzó dos encoders bidireccionales abiertos — LFM2.5-Encoder-230M y LFM2.5-Encoder-350M — con un contexto de 8192 tokens, que se mantienen rápidos en entradas largas incluso sin GPU, en una CPU normal.

Qué tipo de modelos son

LFM2.5-Encoder-230M y LFM2.5-Encoder-350M son modelos de lenguaje enmascarado (masked language models) abiertos, construidos sobre el backbone híbrido LFM2 de LiquidAI. Los encoders se sitúan detrás de clasificadores, enrutadores de intenciones, filtros de seguridad y detectores de datos personales (PII). Estas tareas funcionan de forma continua, generalmente sin GPU, y cada vez más con entradas largas.

• Dos checkpoints — 230M y 350M de parámetros
• Contexto de 8192 tokens (aproximadamente 13–15 páginas de texto)
• Hidden size de 1024, vocabulario de 65536 tokens, soporte para 15 idiomas
• Licencia LFM Open License v1.0, con la metodología de evaluación publicada bajo Apache-2.0

BERT definió la categoría, y ModernBERT elevó la precisión, la velocidad y el contexto. El argumento de LiquidAI es que la arquitectura LFM2 continúa esa línea: su costo crece más lentamente a medida que se alarga la entrada.

Cómo un decoder se convirtió en encoder

Los encoders no se entrenaron desde cero: se inicializaron a partir de los backbones decoder de LFM2.5-230M y LFM2.5-350M y se convirtieron mediante tres cambios. La máscara de atención causal se sustituyó por una bidireccional, para que cada token pudiera ver en ambas direcciones. Las convoluciones cortas de LFM2 se hicieron non-causal mediante un center-padding simétrico. Y el modelo se reentrenó con el objetivo de masked language modeling con una proporción de enmascaramiento del 30%, más densa que el 15% de BERT.

El entrenamiento se realizó en dos etapas. En la primera se sentaron las bases de competencia lingüística general con un contexto corto de 1024 tokens sobre un gran corpus web. En la segunda, el contexto se amplió a 8192 tokens sobre la mezcla completa de datos, reforzando la competencia factual, jurídica y multilingüe.

Qué tan fuertes son en los benchmarks

LFM2.5-Encoder-350M obtuvo un promedio de 81,02 (±1,00) en 17 tareas de GLUE, SuperGLUE y clasificación multilingüe — el 4.º lugar entre 14 modelos. Según LiquidAI, solo modelos más grandes lo superan: XLM-R XL con 3,5 mil millones de parámetros (83,06), ModernBERT-large con 395M (81,68) y XLM-R large con 560M (81,34). El líder es casi 10 veces más grande.

LFM2.5-Encoder-230M obtuvo 79,29 (±1,02) y quedó en el 6.º lugar, superando a ModernBERT-base (78,19) y a todos los modelos EuroBERT de la tabla, incluidos EuroBERT-610M (75,87) y EuroBERT-2.1B (72,19).

Ambos encoders superaron a los propios modelos de retrieval de

LiquidAI — LFM2.5-ColBERT-350M (76,18) y LFM2.5-Embedding-350M (75,68); la compañía señala precisamente esta brecha como la razón por la que construyó un encoder universal independiente en lugar de reutilizar los retrievers.

— según los materiales del lanzamiento de LiquidAI

Dónde aplicarlos

LiquidAI menciona tres escenarios. El primero es edge y dispositivos embebidos: la computadora de a bordo de un automóvil o un controlador industrial sin GPU disponible, donde no se puede recurrir a la nube. El segundo son los sistemas regulados y on-premise en finanzas, salud y derecho, donde los documentos son largos, sensibles y no pueden salir de la infraestructura interna. El tercero son los pipelines de alta carga y sensibles al costo, donde un encoder pequeño actúa como un filtro inicial barato antes de un modelo más grande.

Qué significa esto

Los encoders abiertos pequeños siguen siendo el caballo de batalla del NLP aplicado, no una reliquia de la era previa a los LLM. LiquidAI demuestra que, con contexto largo y CPU, un modelo compacto puede competir con soluciones varias veces más grandes — y lo hace con pesos abiertos y una metodología reproducible.

Preguntas frecuentes

¿Qué es un encoder y para qué sirve?

Un encoder convierte el texto en representaciones para clasificadores, enrutadores de intenciones, filtros de seguridad y detectores de PII. Estas tareas funcionan de forma continua y generalmente sin GPU, por lo que el precio y la velocidad importan más que la "creatividad" generativa.

¿En qué se diferencia LFM2.5-Encoder de BERT?

LFM2.5-Encoder está construido sobre el backbone híbrido LFM2 (alternancia de convoluciones gated y grouped-query attention), tiene un contexto de 8192 tokens y se entrena con una proporción de enmascaramiento del 30% en lugar del 15% de BERT.

¿Bajo qué licencia están disponibles los modelos?

Los pesos se publican bajo la LFM Open License v1.0, y la metodología de evaluación bajo Apache-2.0. La versión de transformers está fijada en 4.56.2 para que la deriva de dependencias no afecte la reproducibilidad de los resultados.