Liquid AI lança os encoders LFM2.5-Encoder-230M e 350M com contexto de 8K tokens

A Liquid AI lançou em 29 de julho de 2026 dois encoders bidirecionais abertos, o LFM2.5-Encoder-230M e o LFM2.5-Encoder-350M. Os modelos têm contexto de 8192 tokens e continuam rápidos em entradas longas mesmo sem GPU, em um CPU comum.

Que modelos são esses

LFM2.5-Encoder-230M e LFM2.5-Encoder-350M são masked language models abertos, construídos sobre o backbone híbrido LFM2 da Liquid AI. Encoders ficam por trás de classificadores, roteadores de intenção, filtros de segurança e detectores de dados pessoais (PII). Essas tarefas rodam de forma contínua, normalmente sem GPU e cada vez mais com entradas longas.

• Dois checkpoints, com 230M e 350M de parâmetros
• Contexto de 8192 tokens (cerca de 13 a 15 páginas de texto)
• Hidden size de 1024, vocabulário de 65 536 tokens e suporte a 15 idiomas
• Licença LFM Open License v1.0; a metodologia de avaliação é aberta sob Apache-2.0

O BERT definiu a classe, e o ModernBERT elevou precisão, velocidade e contexto. O argumento da Liquid AI é que a arquitetura LFM2 dá continuidade a essa linha: seu custo cresce mais devagar à medida que a entrada aumenta.

Como um decoder virou encoder

Os encoders não foram treinados do zero. Eles foram inicializados a partir dos backbones decoder LFM2.5-230M e LFM2.5-350M e convertidos com três mudanças. A máscara de atenção causal foi trocada por uma bidirecional, para que cada token enxergue os dois lados. As convoluções curtas do LFM2 se tornaram não causais por meio de center-padding simétrico. E o modelo passou por um novo treinamento com a tarefa de masked language modeling, com taxa de mascaramento de 30%, mais densa que os 15% do BERT.

O treinamento ocorreu em duas etapas. Na primeira, a competência linguística geral foi construída com contexto curto de 1024 tokens, sobre um grande corpus da web. Na segunda, o contexto foi ampliado para 8192 tokens com a mistura completa de dados, reforçando a competência factual, jurídica e multilíngue.

Como se saem nos benchmarks

O LFM2.5-Encoder-350M obteve média de 81,02 (±1,00) em 17 tarefas do GLUE, do SuperGLUE e de classificação multilíngue, o que dá o 4º lugar entre 14 modelos. Segundo a Liquid AI, à frente ficam apenas modelos maiores: o XLM-R XL, com 3,5 bilhões de parâmetros (83,06), o ModernBERT-large, com 395M (81,68), e o XLM-R large, com 560M (81,34). O líder é quase 10 vezes maior.

O LFM2.5-Encoder-230M obteve 79,29 (±1,02) e ficou em 6º lugar, à frente do ModernBERT-base (78,19) e de todos os modelos EuroBERT da tabela, incluindo o EuroBERT-610M (75,87) e o EuroBERT-2.1B (72,19).

Os dois encoders superaram os modelos de retrieval da própria

Liquid AI, o LFM2.5-ColBERT-350M (76,18) e o LFM2.5-Embedding-350M (75,68); a empresa aponta justamente essa diferença como o motivo de ter criado um encoder universal separado, em vez de reaproveitar os retrievers.

— com base no anúncio da Liquid AI

Onde aplicar

A Liquid AI cita três cenários. O primeiro é edge e dispositivos embarcados: o computador de bordo de um carro ou um controlador industrial sem GPU disponível, onde não é possível recorrer à nuvem. O segundo são sistemas regulados e on-premise em finanças, saúde e direito, onde os documentos são longos, sensíveis e não podem sair da infraestrutura interna. O terceiro são pipelines de alta carga e sensíveis a custo, nos quais um encoder pequeno funciona como um primeiro filtro barato antes de um modelo grande.

O que isso significa

Os pequenos encoders abertos continuam sendo o cavalo de batalha do NLP aplicado, e não uma relíquia da era pré-LLM. A Liquid AI mostra que, em contexto longo e em CPU, um modelo compacto pode competir com soluções muito maiores, e faz isso com pesos abertos e metodologia reproduzível.

Perguntas frequentes

O que é um encoder e para que serve?

O encoder converte texto em representações para classificadores, roteadores de intenção, filtros de segurança e detectores de PII. Essas tarefas rodam de forma contínua e normalmente sem GPU, por isso custo e velocidade pesam mais do que a «criatividade» generativa.

Em que o LFM2.5-Encoder difere do BERT?

O LFM2.5-Encoder é construído sobre o backbone híbrido LFM2 (alternância de convoluções com gate e grouped-query attention), tem contexto de 8192 tokens e é treinado com taxa de mascaramento de 30%, em vez dos 15% do BERT.

Sob qual licença os modelos estão disponíveis?

Os pesos foram lançados sob a LFM Open License v1.0, e a metodologia de avaliação, sob Apache-2.0. A versão do transformers está fixada em 4.56.2, para que variações nas dependências não afetem a reprodutibilidade dos resultados.