Pesquisadores da Sakana AI apresentaram o PC-ALM (Augmented Lagrangian Predictive Coding), uma variante do predictive coding que mantém cada atualização de peso local a cada camada e ainda assim recupera sinais de crédito alinhados ao backpropagation. O time relata ter treinado MLPs residuais de até 1.000 camadas ficando a cerca de 2 pontos percentuais do backprop no MNIST.
Por que o backpropagation incomoda
O backpropagation é um algoritmo global: passada para frente, passada para trás e atualização de pesos, cada etapa travada na anterior. O cérebro não tem mecanismo conhecido para esse tipo de sincronização de fases em toda a rede — por isso alternativas de aprendizado local, como o predictive coding (PC), seguem atraindo interesse de pesquisa. O problema é que, em redes profundas e estreitas, o sinal de supervisão do PC se dissipa antes de chegar à entrada: o crédito enfraquece a cada camada de compromissos locais.
O que o PC-ALM muda
A proposta parte da visão de treinamento como um problema com restrições: minimizar a perda supervisionada sujeita a hi = σ(Wi·hi-1) em cada camada. O PC é o relaxamento por penalidade quadrática desse problema. O PC-ALM usa o Lagrangiano aumentado, anexando um multiplicador de Lagrange λi a cada restrição de camada. Quando λ = 0, o método se reduz exatamente ao PC.
A inferência alterna dois passos locais: um passo primal (gradiente nas ativações) e um passo dual que acumula o erro de predição da camada. A equipe interpreta o esquema como um controlador PI por camada: o erro de predição é o termo proporcional, e o multiplicador é o termo integral. No caso linear, o time prova que os multiplicadores convergem para os adjuntos exatos do backpropagation — um resultado que remonta a uma observação de Yann LeCun em 1988.
Resultados
O time varreu MLPs residuais com largura e profundidade de 8 a 128 em Fashion-MNIST e MNIST, treinando por 1 época. Com um orçamento de inferência de T = 2L, o PC-ALM iguala o backprop em todas as larguras, profundidades e ativações testadas (identidade, tanh, ReLU), enquanto o PC despenca nas células profundas e estreitas. Em um caso de referência, a acurácia foi de 78,66% (backprop), 68,13% (PC) e 77,75% (PC-ALM), com o cosseno do gradiente em relação ao backprop subindo de 0,604 para 0,909.
O trabalho também estende o resultado para MLPs residuais de 1.000 camadas no MNIST e melhora sobre o PC em todos os benchmarks testados, incluindo ResNet-18 no CIFAR-10. O código de referência em JAX, sob licença MIT, roda em CPU e reproduz a grade largura-profundidade do paper — é um método de treinamento, não um modelo, e por enquanto foi testado apenas em benchmarks de imagem pequenos.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
