Liquid AI lança encoders LFM2.5 que processam 8K tokens em CPU com até 3x mais velocidade que ModernBERT

O que são os novos encoders da Liquid AI

A Liquid AI acaba de lançar dois encoders bidirecionais de código aberto: o LFM2.5-Encoder-230M e o LFM2.5-Encoder-350M. Ambos são modelos de linguagem mascarada (masked language models) construídos sobre a arquitetura híbrida LFM2, com janela de contexto de 8.192 tokens — o equivalente a aproximadamente 13 a 15 páginas de texto.

Encoders são os modelos que ficam “embaixo” de classificadores, roteadores de intenção, filtros de segurança e detectores de dados pessoais (PII). Essas tarefas rodam continuamente, muitas vezes sem GPU, e cada vez mais em textos longos. O BERT estabeleceu essa categoria. O ModernBERT elevou a precisão, velocidade e contexto. A aposta da Liquid AI é que a arquitetura LFM2 continua essa evolução porque seu custo computacional cresce mais devagar conforme os textos ficam mais longos.

Como um decoder virou encoder

Os novos encoders não foram treinados do zero. Eles partem dos backbones LFM2.5-230M e LFM2.5-350M (que são decoders) e passam por três modificações:

• A máscara de atenção causal é substituída por uma máscara bidirecional, permitindo que cada token preste atenção em ambos os lados do texto.
• As convoluções curtas do LFM2 são tornadas não causais com padding central simétrico, misturando vizinhos de ambos os lados.
• O modelo é treinado com masked language modeling a 30% de taxa de máscara, mais denso que os 15% do BERT — evidências citadas pela Liquid AI indicam que uma taxa maior ajuda nessa escala.

O treinamento ocorre em dois estágios: o primeiro estabelece competência linguística geral com contexto curto (1.024 tokens) em um grande corpus web; o segundo estende o contexto para 8.192 tokens com foco em competência factual, jurídica e multilíngue (15 idiomas).

Resultados nos benchmarks

A Liquid AI avaliou 14 modelos em 17 tarefas dos conjuntos GLUE, SuperGLUE e classificações multilíngues. Cada modelo foi ajustado (fine-tuned) por tarefa, e a pontuação reportada é a do modelo já ajustado.

• O LFM2.5-Encoder-350M atingiu média de 81,02 nas 17 tarefas, ficando em quarto lugar. Os três modelos à frente são todos maiores: XLM-R XL (3,5B) com 83,06, ModernBERT-large (395M) com 81,68 e XLM-R large (560M) com 81,34.
• O LFM2.5-Encoder-230M alcançou 79,29, sexto lugar, superando o ModernBERT-base (78,19) e todos os modelos EuroBERT, incluindo o EuroBERT-610M (75,87) e o EuroBERT-2.1B (72,19).

A metodologia de avaliação é aberta (Apache 2.0): todos os modelos usam fp32 master weights com bf16 autocast, mesma receita AdamW do EuroBERT, 10 learning rates e 3 seeds para seleção, com resultado final reportado como média de 5 seeds novas. A versão do transformers é fixada em 4.56.2.

Velocidade em CPU

Um dos números mais práticos do lançamento: em CPU com 8K tokens de contexto, o LFM2.5-Encoder-230M executa um forward pass em aproximadamente 28 segundos, contra mais de 90 segundos do ModernBERT-base. Para cenários sem GPU — edge devices, sistemas embarcados, controladores industriais — essa diferença é decisiva.

Casos de uso e ambientes de deploy

A Liquid AI destaca três cenários principais:

• Edge e dispositivos embarcados: computação de bordo em veículos ou controladores industriais, onde não há GPU disponível e uma ida à nuvem não é viável.
• Sistemas regulados e on-premise: setores financeiro, saúde e jurídico, com documentos longos e sensíveis que não podem sair da infraestrutura interna.
• Pipelines de alto volume: um encoder pequeno como primeira camada de filtragem barata antes de um modelo maior.

A Liquid AI também publicou cinco demos em CPU-only no Hugging Face Spaces: roteamento de prompts zero-shot, linting de políticas, corretor ortográfico, detector de PII (40 tipos de informação em 16 idiomas) e um demo de masked-diffusion que roda o encoder como chatbot.

Como usar

Ambos os encoders carregam via transformers. O corpo é exposto como Lfm2BidirectionalModel e o carregamento para masked LM usa Lfm2BidirectionalForMaskedLM. Ambos exigem trust_remote_code=True. Fine-tuning é obrigatório — o encoder base produz representações genéricas, não saídas de tarefa.

A licença é a LFM Open License v1.0. Os pesos estão disponíveis no Hugging Face.

Por que isso importa

O lançamento mostra que a arquitetura LFM — que combina convoluções curtas com atenção por grupos — está amadurecendo além dos modelos de linguagem generativos. A eficiência em CPU com contexto de 8K tokens é um avanço concreto para implantações práticas onde GPU não é uma opção. E o fato de um modelo de 230M parâmetros superar consistentemente modelos maiores como o EuroBERT-2.1B indica que a arquitetura, não apenas a escala, continua sendo um diferencial competitivo.