Google TabFM: modelo fundacional que faz previsões em tabelas sem nenhum treinamento

O Google Research apresentou o TabFM, um modelo fundacional para dados tabulares que realiza classificação e regressão zero-shot — sem nenhum treinamento específico por dataset. O modelo está disponível no Hugging Face e GitHub, e em breve será exposto no Google BigQuery via comando SQL AI.PREDICT.

Dados tabulares formam a espinha dorsal da infraestrutura de dados corporativos. Tarefas como previsão de churn, detecção de fraudes e scoring de crédito vivem em tabelas. Por anos, métodos baseados em árvore como XGBoost dominaram esse espaço — mas cada novo dataset exige horas de otimização de hiperparâmetros e engenharia de features.

Zero-shot para tabelas

O TabFM aplica a lógica de zero-shot que os grandes modelos de linguagem popularizaram. Em vez de atualizar pesos para cada distribuição de dados, o modelo recebe o dataset inteiro como um único prompt — contendo tanto os exemplos de treino quanto as linhas a serem preditas — e gera previsões em uma única passagem forward.

Arquitetura híbrida

Tabelas não são texto. São bidimensionais e inerentemente sem ordem — trocar duas linhas ou colunas não muda seu significado. Para lidar com essa estrutura, o TabFM combina duas abordagens:

1. Atenção alternada entre linhas e colunas: seguindo o TabPFN, a atenção alterna entre features (colunas) e exemplos (linhas), capturando interações e dependências entre features sem engenharia manual.
2. Aprendizado em contexto (in-context learning): um Transformer dedicado processa embeddings comprimidos de cada linha, seguindo o TabICL, reduzindo drasticamente o custo computacional.

Treinamento com dados sintéticos

Dados tabulares de alta qualidade são escassos em formato aberto — tabelas industriais contêm esquemas proprietários e informações sensíveis. A equipe do Google optou por treinar o TabFM inteiramente com centenas de milhões de datasets sintéticos, gerados dinamicamente usando Modelos Causais Estruturais (SCMs) que capturam distribuições e relacionamentos complexos encontrados em tabelas reais.

Performance

O TabFM foi avaliado no TabArena, um benchmark que calcula scores Elo a partir de taxas de vitória em comparações diretas, abrangendo 38 datasets de classificação e 13 de regressão. Em duas configurações — TabFM puro (single forward pass) e TabFM-Ensemble (32-way ensemble com SVD e Platt scaling) — o modelo consistentemente superou algoritmos supervisionados tradicionais altamente ajustados.

Como usar

A instalação requer Python 3.11+, jax==0.10.1 e flax==0.12.7. O download dos pesos pré-treinados é automático via Hugging Face Hub. O fit() apenas prepara codificadores ordinais e escalonadores numéricos — não treina pesos no seu dataset. Exemplos de código para churn, crédito e regressão de preços estão no repositório.

Limitações

Embora o modelo generalize bem para tabelas não vistas, seu desempenho depende da similaridade estrutural entre os dados sintéticos de treino e os dados reais de inferência. Tabelas com esquemas muito exóticos ou domínios altamente especializados podem exigir validação adicional. Além disso, por operar em CPU via JAX por padrão, datasets muito grandes podem exigir GPU para latência aceitável.