Extrair dados estruturados de documentos PDF sempre foi um desafio para profissionais de machine learning e engenheiros de dados. Pesquisadores passam horas lendo papers para preencher planilhas com métricas, autores, datasets e hiperparâmetros. A ferramenta Lift, desenvolvida pela Datalab, promete resolver esse problema: ela transforma qualquer PDF em JSON estruturado usando um schema como guia — e garante que o resultado corresponda exatamente ao formato esperado.
Neste tutorial, baseado no guia publicado pela Datalab no MarkTechPost, você vai aprender a montar um pipeline completo de extração de dados de PDFs de pesquisa usando o Lift, com foco em avaliação controlada e mensurável, não apenas uma demonstração rápida.
O que é o Lift?
Lift é um modelo de visão de 9 bilhões de parâmetros, open-source, especializado em extrair dados de documentos e transformá-los em JSON válido. Você define um JSON Schema com os campos que deseja extrair — título, autores, datasets, métricas, hiperparâmetros, limitações — e o Lift retorna um objeto JSON que respeita exatamente essa estrutura.
O modelo atinge 90,2% de acurácia por campo no benchmark da Datalab, com 225 documentos. A grande vantagem é que o schema não só define os campos, mas também desambigua valores: ele distingue métricas de teste das de validação, o método proposto do baseline, e casos em que o código não foi liberado daqueles em que simplesmente não foi encontrado.
Configurando o ambiente
O tutorial roda em um ambiente compatível com Colab usando GPU. O primeiro passo é instalar as dependências: lift-pdf[hf] (backend Hugging Face), reportlab para gerar PDFs sintéticos, pypdfium2 para renderização, pandas e matplotlib para análise e visualização. Um detalhe importante: é necessário fixar a versão do Pillow em 11.3.0 para evitar conflitos com torchvision no Colab.
Carregando o modelo em 4-bit
Para GPUs com 16 GB de VRAM (como T4 ou L4), o tutorial mostra como carregar o Lift com quantização NF4 de 4-bit via BitsAndBytes. O código injeta uma configuração de quantização nos carregadores de modelo do Transformers, permitindo que o modelo de 9B parâmetros rode em hardware limitado. Para GPUs com mais de 34 GB, é possível usar precisão total em bf16.
Criando um corpus sintético controlado
Em vez de usar PDFs reais com ground truth incerto, o tutorial gera relatórios de pesquisa sintéticos de 3 páginas com ReportLab. Cada PDF inclui distratores deliberados — como métricas de validação mais altas que as de teste, comparações ambíguas entre baseline e método proposto, e casos sem código liberado — para testar se o Lift consegue distinguir esses casos sutis.
O schema de extração
O coração do sistema é um JSON Schema detalhado com descrições precisas para cada campo. Por exemplo, o campo headline_metric.value especifica que deve ser o valor do conjunto de TESTE, não o de validação (que costuma ser mais alto). O campo code_url instrui o modelo a retornar null quando o paper explicitamente não libera código, em vez de tentar adivinhar um link.
Avaliação por campo
O tutorial implementa um sistema de pontuação que achata o JSON extraído e compara campo por campo com o ground truth. Valores numéricos são comparados com tolerância de 0,5%, strings são normalizadas, e booleanos são tratados explicitamente. Um DataFrame do Pandas mostra exatamente quais campos acertaram e quais falharam, permitindo diagnóstico granular.
Base de conhecimento pesquisável
Depois da extração, os registros são convertidos em um DataFrame pesquisável onde cada linha representa um paper minerado. O tutorial demonstra consultas como “quais papers afirmam superar o estado da arte, ordenados por pontuação” — transformando documentos não estruturados em inteligência acionável.
Pipeline estendido para PDFs reais
Opcionalmente, o mesmo schema e pipeline são aplicados a um PDF real do arXiv (como o paper do ResNet), mostrando que o fluxo funciona além do corpus sintético. O tutorial recomenda usar o parâmetro page_range para direcionar o Lift às seções relevantes do documento, melhorando a precisão.
Por que isso importa
Ferramentas como o Lift eliminam horas de trabalho manual de extração de dados de papers, relatórios técnicos e documentos regulatórios. Para times de pesquisa, isso significa revisões de literatura aceleradas. Para empresas, significa ingestão automatizada de documentos técnicos em bases de conhecimento. O fato de ser open-source e rodar em GPUs consumer (via 4-bit) torna a tecnologia acessível mesmo para times pequenos.
O repositório oficial está disponível no GitHub em datalab-to/lift e o notebook completo do tutorial pode ser encontrado no artigo original do MarkTechPost.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
