Backpropagation explicado para iniciantes (Parte 2): por que a abordagem ingênua não escala

Backpropagation explicado para iniciantes (Parte 2): tem que existir um jeito melhor

Na Parte 1 desta série, vimos como calcular gradientes em uma rede neural simples usando diferenciação clássica. O processo funcionava, mas já era possível sentir o problema: conforme a rede cresce, calcular o gradiente de cada parâmetro um por um se torna inviável. Nesta segunda parte, o autor do Towards Data Science mostra por que a abordagem ingênua não escala — e prepara o terreno para o backpropagation propriamente dito.

Derivadas parciais vs. regra da cadeia

Um ponto de confusão comum que o artigo esclarece: derivadas parciais e a regra da cadeia respondem a perguntas diferentes. A derivada parcial pergunta “qual variável estamos mudando?” — e mantém todas as outras constantes. A regra da cadeia pergunta “como o efeito de mudar uma variável viaja através de computações intermediárias?”.

Na nossa rede neural, mudar o peso w₁ afeta z₁, que afeta a ativação a₁, que afeta a predição ŷ, que finalmente afeta a perda L. O gradiente é simplesmente o produto das derivadas ao longo deste caminho:

∂L/∂w₁ = ∂L/∂ŷ · ∂ŷ/∂a₁ · ∂a₁/∂z₁ · ∂z₁/∂w₁

Nada de novo matematicamente — é a mesma regra da cadeia do cálculo básico. A diferença é que agora o caminho é mais longo e as funções envolvem múltiplas variáveis.

O problema real: computação repetida

Ao aplicar a regra da cadeia manualmente para cada um dos sete parâmetros da rede, um padrão emerge: muitas derivadas parciais aparecem repetidamente. ∂L/∂ŷ aparece em todas as equações. ∂ŷ/∂a₁ e ∂a₁/∂z₁ aparecem nos gradientes de w₁ e b₁. ∂ŷ/∂z₂ aparece nos gradientes de w₂ e b₂.

Em uma rede neural moderna com milhares ou milhões de parâmetros, recalcular essas derivadas comuns para cada parâmetro individualmente seria computacionalmente proibitivo. É aqui que o backpropagation entra: a mesma regra da cadeia, mas organizada de forma a reutilizar resultados intermediários em vez de recalculá-los.

O que vem na Parte 3

O artigo fecha com a pergunta que define o backpropagation: como uma rede neural sabe o que calcular primeiro, o que calcular depois, e como todos os gradientes são obtidos em uma única passagem eficiente para trás? A resposta — que usa a mesma regra da cadeia aplicada de forma sistemática — será o tema da próxima parte da série.

Para quem está começando em deep learning, esta série é um dos raros materiais que não pula a matemática fundamental assumindo que “a biblioteca resolve”. Entender o backpropagation no nível das derivadas parciais é o que separa quem usa frameworks de quem realmente compreende o treinamento de redes neurais.