GLiFormer: encoder extrai JSON aninhado com 91,10 de F1 sem gerar tokens

Um encoder para toda a pilha de extração

A Knowledgator Engineering lançou o GLiFormer, um framework de encoder condicionado por esquema para extração de informação. Um único modelo cuida de reconhecimento de entidades nomeadas (NER), classificação de texto, extração de relações, estruturação de JSON aninhado e embeddings — com rótulos e esquemas passados em tempo de inferência. São dois checkpoints no Hugging Face: o Base v1 (264,2 milhões de parâmetros) e o Large v1 (575,6 milhões), ambos sob Apache 2.0, instaláveis via pip install gliformer e executáveis em CPU ou GPU.

O problema que resolve

Pilhas de extração costumam encadear modelos separados: um marca entidades, outro classifica documentos, um terceiro reconstrói registros. A equipe argumenta que essas tarefas compartilham uma operação central — codificar a fonte, representar os conceitos pedidos e pontuar a compatibilidade entre eles. LLMs conseguem emitir JSON aninhado, mas geram nomes de campos, pontuação e valores token a token. O GLiFormer remove a geração de saída desse caminho, ancorando valores diretamente em trechos do texto-fonte.

Como funciona

O GLiFormer constrói sobre o GLiNER e generaliza a correspondência de rótulos por meio de uma “âncora” — o objeto contra o qual cada rótulo em runtime é pontuado. Pode ser um vetor de grupo (classificação), um par de entidades (relações) ou um slot de registro (estruturação). A fonte é codificada uma única vez; múltiplos esquemas para o mesmo documento rodam como grupos locais sobre essa codificação compartilhada.

A estruturação acontece em quatro estágios: (1) fundamentar valores de campo como spans retirados diretamente do texto; (2) atribuir spans a slots não ordenados, treinados com matching húngaro; (3) prever ligações pai-filho, restritas a caminhos permitidos pelo esquema; (4) montar o JSON aninhado com um decoder determinístico. Como os valores são spans da fonte, o modelo não consegue inventar texto ausente no input.

Checkpoints e especificações

O GLiFormer-base parte de um backbone DeBERTa com pré-treinamento adicional em 100 bilhões de tokens.

Benchmarks

Todos os números abaixo são reportados pela Knowledgator. Em JSON aninhado (500 exemplos), o Large marca 91,10 de F1 e o Base 87,20 — próximo do GPT-5.6-luna (91,96) e acima do GPT-5-mini (82,56). A métrica é livre de ordem e tolerante a limites, não uma correspondência exata de JSON. Em classificação (13 datasets), o Large atinge 75,03 de macro-F1 médio, superando o GLiNER2.5 (64,89). Em relações (4 benchmarks), o Large fica em 21,33 de micro-F1, ainda atrás do GLiNER-Relex (25,6) e do Gemma-4-31B-IT (25,08).

Velocidade sem geração de tokens

A Knowledgator mediu o GLiFormer-base em 40 documentos de estruturação com batch size 1: latência mediana de 69 ms numa RTX PRO 6000 (FP16) e 547 ms numa CPU AMD EPYC de 8 threads (FP32). O número “até 95,8× mais rápido” que circula no anúncio é uma estimativa analítica — assume prefill de 2.000 tokens/s e geração de 60 tokens/s, e exclui fila, latência de rede e raciocínio oculto. Não é uma medição direta contra um LLM real.

Limitações

A extração de relações segue como ponto fraco do modelo — LLMs maiores ainda vencem nessa tarefa. A seleção de spans, a atribuição de registros e a hierarquia também podem errar. Ainda assim, para pipelines de NER e estruturação que precisam de latência baixa, custo previsível e self-hosting, o GLiFormer é uma alternativa aberta e concreta à dependência de APIs de LLM.