Autoencoders Variacionais (VAEs) explicados: da teoria ao ELBO e ao truque de reparametrização

Introdução: além dos autoencoders tradicionais

Os autoencoders foram uma inovação extraordinária no campo do aprendizado profundo. Sua capacidade de comprimir dados em um espaço latente (o “gargalo”) permite resolver tarefas posteriores com mais eficiência, evitando a computação excessiva necessária para processar dados de alta dimensionalidade. Aplicações como remoção de ruído, remoção de objetos e preenchimento de imagens (inpainting) já são possíveis com autoencoders vanilla.

Mas eles têm limitações importantes. Se você treinar um autoencoder e medir a distância entre objetos no espaço latente, descobrirá que as propriedades de similaridade entre objetos não são preservadas como em outros algoritmos de embedding. Isso acontece porque, durante o treinamento, o modelo foca principalmente na reconstrução das imagens originais, e não nas representações internas do espaço latente. Imagens semelhantes podem ficar distantes; imagens diferentes podem ficar próximas. A preservação de similaridade é uma fraqueza dos autoencoders vanilla.

Além disso, os decodificadores são ótimos em reconstruir imagens originais, mas péssimos em gerar imagens novas. O espaço latente de um autoencoder tradicional não é regularizado — ele tem “buracos” onde o decodificador não aprendeu a mapear corretamente. É aqui que entram os autoencoders variacionais (VAEs).

O que são Variational Autoencoders

Os VAEs foram propostos por Kingma e Welling em 2014 e representam uma abordagem generativa para autoencoders. Em vez de codificar uma entrada para um ponto fixo no espaço latente, o encoder de um VAE produz dois vetores: uma média (μ) e uma variância (σ²) que definem uma distribuição gaussiana no espaço latente.

O decoder então amostra um ponto dessa distribuição e tenta reconstruir a entrada original. Essa diferença sutil tem consequências profundas: o espaço latente se torna contínuo e suave, permitindo a geração de novas amostras realistas por amostragem aleatória.

O coração matemático do VAE está na sua função de perda, que combina dois termos:

• Perda de reconstrução: quão bem o decoder reconstrói a entrada original a partir da amostra latente (geralmente erro quadrático médio ou binary cross-entropy)
• Divergência KL: força a distribuição aprendida a se aproximar de uma distribuição normal padrão N(0,1), regularizando o espaço latente

Entendendo o ELBO (Evidence Lower Bound)

O objetivo real de um VAE é maximizar a verossimilhança dos dados observados — ou seja, maximizar p(x), a probabilidade de gerar os dados de treinamento. Mas calcular p(x) diretamente exigiria integrar sobre todo o espaço latente, o que é intratável.

A solução é o ELBO (Evidence Lower Bound), um limite inferior da evidência que podemos otimizar de forma eficiente. O ELBO é derivado usando a desigualdade de Jensen e a divergência KL:

ELBO = E[log p(x|z)] - KL(q(z|x) || p(z))

O primeiro termo é a esperança da log-verossimilhança sob a distribuição aproximada — basicamente, quão bem reconstruímos x a partir de z. O segundo termo é a divergência KL entre a distribuição aproximada q(z|x) e a distribuição priori p(z), tipicamente uma normal padrão.

Maximizar o ELBO é equivalente a minimizar a perda total do VAE: a perda de reconstrução mais a regularização KL.

O truque da reparametrização

Aqui está o problema: para treinar o VAE com backpropagation, precisamos amostrar z ~ N(μ, σ²) e calcular gradientes através dessa operação de amostragem. Mas amostragem é uma operação não diferenciável — não podemos calcular ∂z/∂μ ou ∂z/∂σ através de uma operação aleatória.

O truque da reparametrização resolve isso de forma elegante. Em vez de amostrar z diretamente, amostramos ε ~ N(0,1) e calculamos:

z = μ + σ * ε

Agora a aleatoriedade está isolada em ε, que não depende dos parâmetros do modelo. μ e σ são saídas determinísticas do encoder, e podemos calcular gradientes através deles normalmente. O backpropagation flui através de μ e σ, usando ε apenas como uma constante para aquela amostra.

VAEs na prática: além da teoria

Na prática, implementar um VAE envolve alguns cuidados importantes:

• Arquitetura: tipicamente usa-se uma rede convolucional para o encoder e uma rede desconvolucional para o decoder em tarefas de imagem
• Balanceamento da perda: a divergência KL pode dominar o treinamento inicial (posterior collapse), onde o decoder ignora z e gera imagens genéricas. Técnicas como KL annealing (aumentar gradualmente o peso da KL) ajudam a mitigar isso
• Dimensionalidade do espaço latente: dimensões muito baixas perdem capacidade expressiva; dimensões muito altas perdem a regularização. Valores típicos estão entre 2 e 256, dependendo da complexidade dos dados
• Variantes modernas: VQ-VAE (Vector Quantized VAE) substitui a distribuição contínua por um codebook discreto; β-VAE adiciona um hiperparâmetro β para controlar o trade-off entre reconstrução e regularização

Aplicações práticas dos VAEs

Os VAEs encontraram aplicações em diversos domínios:

• Geração de imagens: gerar rostos, dígitos e objetos novos com variações realistas
• Detecção de anomalias: treinar um VAE em dados normais; amostras anômalas terão erro de reconstrução alto
• Compressão de dados: representar dados de alta dimensionalidade em um espaço latente compacto
• Interpolação semântica: navegar suavemente pelo espaço latente para transformar uma imagem em outra (ex: uma cadeira em uma mesa)
• Design de moléculas: gerar novas estruturas químicas com propriedades desejadas, usado em descoberta de fármacos
• Modelagem de tópicos: aprender representações latentes de documentos para descoberta de temas

Comparação: Autoencoder vs VAE vs GAN

O futuro dos VAEs

Embora GANs e modelos de difusão (como Stable Diffusion e DALL-E) tenham dominado as manchetes de geração de imagens, os VAEs continuam relevantes por uma razão fundamental: eles oferecem um espaço latente interpretável e probabilisticamente bem definido. Isso os torna a escolha preferida para aplicações científicas onde a compreensão do modelo é tão importante quanto a qualidade da saída.

As tendências atuais incluem VAEs hierárquicos com múltiplos níveis de abstração, integração com modelos de difusão (VAEs como backbone de compressão para difusão latente) e VAEs condicionais para geração controlada. O campo continua evoluindo, mas os fundamentos — ELBO, divergência KL e o truque da reparametrização — permanecem a base sobre a qual as inovações são construídas.