Por que isso importa agora
A maioria dos recuperadores visuais de documentos em produção hoje é “herdada”. Modelos como o ColPali e seus sucessores pegam um modelo generativo de visão-linguagem e o reaproveitam como encoder — mas o resultado ainda carrega uma torre de visão pré-treinada separada e um decoder causal que nunca gera um único token. É sobrecarga de parâmetros e de computação para uma tarefa que só precisa de representações.
A H Company lançou o NeoMME, uma família de encoders bidirecionais de 260M e 800M de parâmetros que elimina os dois componentes. Um único Transformer processa tokens de texto multilíngue e patches brutos de imagem RGB 32×32 pelas mesmas camadas, treinado a partir de inicialização aleatória.
O resultado do fine-tune para recuperação — o NeoMME-Retriever — atinge 0.523 nDCG@10 no benchmark ViDoRe v3 com apenas 260M de parâmetros. E, mais importante, é um modelo que dá para colocar em produção: cada checkpoint sai sob licença Apache 2.0 com suporte imediato (day-zero) no Hugging Face Transformers.
Uma torre, duas modalidades
A arquitetura abandona os componentes que tornam os retrievers visuais caros. O texto entra por um embedding fatorizado estilo ALBERT — um lookup de 256 dimensões projetado para a largura do modelo. As imagens são divididas em patches não sobrepostos de 32×32 e projetadas por um MLP de duas camadas treinado do zero. Não há módulo de merge de patches nem torre SigLIP2.
Os dois modelos suportam contexto de 16.384 tokens, suficiente para duas imagens 4K UHD padrão (3.840×2.160) após o patching. A maior parte das camadas usa atenção simétrica de janela deslizante; a cada seis camadas, e na camada final, a atenção é global. A pilha usa grouped-query attention, normalização query-key, atenção gated, embeddings posicionais rotacionais 2D e MLPs com squared-ReLU. As contagens exatas de parâmetros são 262.937.906 e 793.715.032.
O tokenizer é um BPE sem restrição de espaços em branco com vocabulário de 131.072 entradas, treinado do zero. Em 14 idiomas do benchmark FLORES-200, ele emite 44,4% menos tokens que o ModernBERT.
Treinado como um denoiser de difusão mascarada
O pré-treinamento usa difusão mascarada discreta sobre texto, opcionalmente condicionada a patches visíveis de imagem. Segmentos só de texto tiram uma taxa de corrupção uniforme entre 0 e 1; segmentos multimodais tiram entre 0.30 e 1 — o que remove o atalho “só de linguagem” e força o modelo a ler a página.
Uma sonda de ablação cross-modal confirma que a estratégia funciona: com 90% de mascaramento, os patches visíveis elevam a acurácia de tokens mascarados em 38,4 pontos no modelo de 260M e 40,5 pontos no de 800M. Cada rodada processa cerca de 524 bilhões de tokens empacotados (aproximadamente 290 bilhões só de texto), usando 16 e 32 aceleradores H100, respectivamente.
Resultados de recuperação
O NeoMME-Retriever adiciona duas cabeças treinadas em conjunto sobre o backbone compartilhado: uma cabeça densa com mean-pooling e larguras Matryoshka, e uma cabeça de late-interaction que projeta cada token e patch para 128 dimensões. Uma única passagem para a frente devolve as duas.
No ViDoRe v3, o modelo de 260M marca 0.523 nDCG@10 e o de 800M, 0.556. O resultado de 260M fica a 0.002 do ColQwen2.5-v0.2, que tem 3,75B de parâmetros — ou seja, 14,4× menor com desempenho praticamente igual — e 26,1 pontos acima do melhor outro modelo abaixo de 300M. O de 800M fica 0,9 ponto atrás do Vultron Retriever Flash, de tamanho similar. No ViDoRe v1 e v2, os modelos atingem 0.860/0.522 e 0.874/0.559 nDCG@5.
A recuperação de texto puro é o ponto mais fraco. No BEIR-15, o late-interaction alcança 0.4881 e 0.5126, contra 0.5722 do LateOn (149M). Os autores atribuem parte disso à escala de supervisão: o NeoMME viu cerca de 430 mil exemplos de consulta de texto, contra aproximadamente 660 milhões de exemplos contrastivos do mLateOn.
Armazenamento e throughput
Índices de late-interaction são caros. Uma página de 2048×2048 gera 4.162 vetores — cerca de 1,5 MB por documento do ViDoRe v3 em float32. Dois métodos reduzem isso. O hierarchical token pooling em fator 10 com int8 (consultas e documentos) entrega 39,0 kB por página, uma redução de 39,4× retendo 99,16% do nDCG@10 de linha de base. Com fator 8, consultas int8 e documentos binários, chega a 6,0 kB — redução de 255,5× retendo 95,19%.
A indexação também é rápida para o volume de vetores. Em uma entrada de 2048×2048 numa única L40S, o NeoMME-260M codifica 51,3 páginas por segundo, contra 26,0 do ColModernVBERT — uma vantagem de 1,97×.
O que fica claro
O NeoMME mostra que é possível obter qualidade de recuperação visual de ponta com um modelo uma ordem de grandeza menor, sem torre de visão nem decoder — e sem abrir mão de licença permissiva ou suporte imediato de ecossistema. Para equipes que precisam indexar documentos em escala no Brasil, a combinação de 6 kB por página e 51 páginas por segundo numa única GPU muda a conta de custo de RAG visual.
As ressalvas são honestas e estão no próprio paper: recuperação só de texto e transferência de imagens naturais congeladas continuam sendo pontos fracos. Quem já tem um fluxo de busca textual consolidado provavelmente mantém o encoder de texto atual; o NeoMME brilha justamente onde o conteúdo é a página.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
