Até onde o NLP clássico pode chegar? De Bag-of-Words a stacking ensemble

Um estudo detalhado publicado no Towards Data Science explora uma questão que interessa tanto a engenheiros de machine learning quanto a pesquisadores: até onde as técnicas clássicas de NLP conseguem ir quando aplicadas com rigor? Usando a competição Spooky Author Identification do Kaggle como caso de estudo, o autor constrói uma progressão de modelos cada vez mais sofisticados — e os resultados surpreendem.

O desafio: identificar autores por estilo

A tarefa consiste em classificar frases de ficção gótica e de terror entre três autores — Edgar Allan Poe (EAP), Mary Shelley (MWS) e H.P. Lovecraft (HPL) — usando apenas 19.579 sentenças de treino. O desafio é sutil: os três autores escrevem sobre temas semelhantes (medo, mistério, morte, atmosfera sobrenatural), então palavras-chave simples não bastam. As pistas estão no estilo: palavras funcionais, pontuação, padrões de caracteres, ritmo de frase.

A progressão de modelos

O autor constrói cinco níveis de complexidade:

1. Baseline Vowpal Wabbit: modelo linear rápido usando apenas palavras com 3+ caracteres, alcançando performance respeitável com custo computacional mínimo.
2. VW enriquecido: adiciona pontuação e n-gramas de caracteres, capturando padrões estilísticos que palavras isoladas perdem.
3. TF-IDF com ensemble: stacking de classificadores lineares (regressão logística, Naive Bayes, SVM) sobre vetores TF-IDF, com ajuste fino de hiperparâmetros.
4. Stacked ensemble com out-of-fold: usa predições fora da amostra (out-of-fold predictions) como features para um meta-classificador, evitando overfitting e melhorando a calibração de probabilidades.
5. Survey de representações: compara features esparsas (TF-IDF, BM25) com embeddings densos (Word2Vec, FastText), avaliando o trade-off entre desempenho e complexidade.

Lições práticas para engenheiros de ML

O estudo oferece insights valiosos para quem trabalha com NLP em produção:

• Métricas importam: o autor usa três métricas complementares — acurácia, macro-F1 e log loss multiclasse (a métrica oficial da competição). O log loss, que avalia a qualidade das probabilidades (e não apenas a classe prevista), penaliza fortemente erros confiantes e revela nuance que a acurácia esconde.
• Split estratificado consistente: todos os modelos são avaliados no mesmo split 70/30 com semente fixa, garantindo comparabilidade real entre experimentos.
• O salto vem da stacking: o maior ganho de performance não veio de uma técnica individual sofisticada, mas da combinação inteligente de modelos simples via stacking ensemble com predições out-of-fold.
• Clássico ainda compete: para datasets de texto de pequeno a médio porte (20 mil amostras), TF-IDF + stacking ensemble frequentemente rivaliza com fine-tuning de transformers — com custo computacional ordens de magnitude menor.

Aplicação prática

O notebook completo com implementação e outputs está disponível no GitHub do autor. Para equipes que trabalham com classificação de texto em português, a metodologia é diretamente transferível: a combinação de TF-IDF com stacking ensemble é agnóstica ao idioma e pode ser reproduzida com scikit-learn padrão, sem necessidade de GPUs.

Fonte: Towards Data Science