Liquid AI выпустила энкодеры LFM2.5-Encoder-230M и 350M с контекстом 8K токенов

Em 29 de julho de 2026, a LiquidAI lançou dois encoders bidirecionais abertos — LFM2.5-Encoder-230M e LFM2.5-Encoder-350M — com contexto de 8192 tokens, que permanecem rápidos em entradas longas mesmo sem GPU, em uma CPU comum.

Que tipo de modelos são esses

LFM2.5-Encoder-230M e LFM2.5-Encoder-350M são modelos de linguagem mascarada (masked language models) abertos, construídos sobre o backbone híbrido LFM2 da LiquidAI. Os encoders ficam por trás de classificadores, roteadores de intenção, filtros de segurança e detectores de dados pessoais (PII). Essas tarefas rodam continuamente, geralmente sem GPU, e cada vez mais em entradas longas.

• Dois checkpoints — 230M e 350M de parâmetros
• Contexto de 8192 tokens (aproximadamente 13–15 páginas de texto)
• Hidden size de 1024, vocabulário de 65536 tokens, suporte a 15 idiomas
• Licença LFM Open License v1.0, com a metodologia de avaliação aberta sob Apache-2.0

A categoria foi definida pelo BERT, e o ModernBERT elevou a precisão, a velocidade e o contexto. O argumento da LiquidAI é que a arquitetura LFM2 dá continuidade a essa linha: seu custo cresce mais devagar à medida que a entrada fica mais longa.

Como um decoder virou encoder

Os encoders não foram treinados do zero — eles foram inicializados a partir dos backbones decoder do LFM2.5-230M e do LFM2.5-350M e convertidos por meio de três mudanças. A máscara de atenção causal foi substituída por uma bidirecional, para que cada token pudesse ver em ambas as direções. As convoluções curtas do LFM2 foram tornadas non-causal por meio de um center-padding simétrico. E o modelo foi treinado adicionalmente com o objetivo de masked language modeling, com uma taxa de mascaramento de 30% — mais densa que os 15% do BERT.

O treinamento ocorreu em duas etapas. Na primeira, foi construída a competência linguística geral em um contexto curto de 1024 tokens sobre um grande corpus web. Na segunda, o contexto foi expandido para 8192 tokens sobre a mistura completa de dados, reforçando a competência factual, jurídica e multilíngue.

Qual é a força deles nos benchmarks

O LFM2.5-Encoder-350M obteve uma média de 81,02 (±1,00) em 17 tarefas do GLUE, SuperGLUE e classificação multilíngue — o 4º lugar entre 14 modelos. Segundo a LiquidAI, apenas modelos maiores ficam à frente: o XLM-R XL, com 3,5 bilhões de parâmetros (83,06), o ModernBERT-large, com 395M (81,68), e o XLM-R large, com 560M (81,34). O líder é quase 10 vezes maior.

O LFM2.5-Encoder-230M obteve 79,29 (±1,02) e ficou em 6º lugar, superando o ModernBERT-base (78,19) e todos os modelos EuroBERT da tabela, incluindo o EuroBERT-610M (75,87) e o EuroBERT-2.1B (72,19).

Os dois encoders superaram os próprios modelos de retrieval da

LiquidAI — o LFM2.5-ColBERT-350M (76,18) e o LFM2.5-Embedding-350M (75,68); é exatamente essa diferença que a empresa aponta como o motivo de ter construído um encoder de propósito geral separado, em vez de reaproveitar os retrievers.

— a partir dos materiais de lançamento da LiquidAI

Onde aplicá-los

A LiquidAI cita três cenários. O primeiro é edge e dispositivos embarcados: o computador de bordo de um carro ou um controlador industrial sem GPU disponível, onde não é viável recorrer à nuvem. O segundo são sistemas regulados e on-premise em finanças, saúde e direito, onde os documentos são longos, sensíveis e não podem sair da infraestrutura interna. O terceiro são pipelines de alta carga e sensíveis a custo, nos quais um encoder pequeno funciona como um filtro inicial barato antes de um modelo maior.

O que isso significa

Encoders abertos pequenos continuam sendo o cavalo de batalha do NLP aplicado, não uma relíquia da era pré-LLM. A LiquidAI mostra que, em contexto longo e CPU, um modelo compacto pode competir com soluções muitas vezes maiores — e faz isso com pesos abertos e uma metodologia reprodutível.

Perguntas frequentes

O que é um encoder e para que ele serve?

Um encoder transforma texto em representações para classificadores, roteadores de intenção, filtros de segurança e detectores de PII. Essas tarefas rodam continuamente e geralmente sem GPU, por isso o preço e a velocidade importam mais do que a "criatividade" generativa.

Qual é a diferença entre o LFM2.5-Encoder e o BERT?

O LFM2.5-Encoder é construído sobre o backbone híbrido LFM2 (alternância entre convoluções gated e grouped-query attention), tem contexto de 8192 tokens e é treinado com uma taxa de mascaramento de 30%, em vez dos 15% do BERT.

Sob qual licença os modelos estão disponíveis?

Os pesos foram lançados sob a LFM Open License v1.0, e a metodologia de avaliação, sob Apache-2.0. A versão do transformers está fixada em 4.56.2 para que o desvio de dependências não afete a reprodutibilidade dos resultados.