Dominando Atualizações de Peso e Backpropagation em Perceptrons Multicamadas

Neste artigo apresentamos as equações precisas usadas para cálculos de atualização de peso e explicamos como backpropagation permite que um perceptron multicamada (MLP) aprenda com dados.

Bem-vindo à série abrangente de machine learning do AAC.

Acompanhe a série até aqui:

1. Como Realizar Classificação Usando Rede Neural: O Que é o Perceptron?
2. Como Usar Exemplo Simples de Perceptron para Classificar Dados
3. Como Treinar um Perceptron Básico
4. Entendendo Treinamento Simples de Rede Neural
5. Introdução à Teoria de Treinamento para Redes Neurais
6. Entendendo Taxa de Aprendizado em Redes Neurais
7. Machine Learning Avançado com Perceptron Multicamada
8. Função de Ativação Sigmoid: Ativação em Perceptrons Multicamadas
9. Como Treinar um Perceptron Multicamada
10. Entendendo Fórmulas de Treinamento e Backpropagation para Perceptrons Multicamadas
11. Arquitetura de Rede Neural para Implementação Python
12. Como Criar um Perceptron Multicamada em Python
13. Processamento de Sinais Usando Redes Neurais: Validação no Design de Redes Neurais
14. Datasets de Treinamento para Redes Neurais: Como Treinar e Validar uma Rede Neural Python

Chegamos ao núcleo da teoria de redes neurais: os passos computacionais que afinam pesos de um MLP para que ele classifique amostras de entrada com precisão. Este processo é a base do algoritmo de backpropagation, pedra angular do deep learning moderno.

Atualizando Pesos

Treinar um MLP é matematicamente denso, e terminologia varia entre fontes. As equações abaixo são derivadas das derivações claras do Dr. Dustin Stansbury, tornando-as excelente referência para iniciantes e praticantes.

O diagrama mostra a arquitetura que implementaremos em código, e as equações que seguem mapeiam diretamente para esta estrutura.

Terminologia

• Pré-ativação (S_preA): Soma ponderada de entrada para função de ativação de um neurônio, calculada como produto escalar de pesos de entrada e ativações.
• Pós-ativação (S_postA): Saída do neurônio após aplicar função de ativação f_A(·). Usamos função logística (sigmoid) em nossos exemplos.
• Matrizes de peso: No código rotulamos ItoH (entrada-para-oculta) e HtoO (oculta-para-saída) para evitar ambiguidade.
• Alvo (T): Saída correta para amostra de treino.
• Taxa de aprendizado (LR): Tamanho do passo para atualizações de peso.
• Erro final (FE): S_postA,O – T.
• Sinal de erro (S_ERROR): FE multiplicado pela derivada da função de ativação do neurônio de saída.
• Gradiente: Contribuição de um peso específico para o sinal de erro; subtraímos LR × gradiente do peso atual.

O diagrama acompanhante ilustra estes conceitos em contexto.

Equações de atualização de peso resultam da derivada parcial do erro quadrático somado em relação a cada peso. Para pesos oculto-para-saída:

S_ERROR = FE × f_A'(S_preA,O)

gradiente_HtoO = S_ERROR × S_postA,H

peso_HtoO ← peso_HtoO – (LR × gradiente_HtoO)

Para pesos entrada-para-oculta, o erro deve atravessar camada adicional:

gradiente_ItoH = S_ERROR × peso_HtoO × f_A'(S_preA,H) × entrada

peso_ItoH ← peso_ItoH – (LR × gradiente_ItoH)

Backpropagation

Backpropagation resolve o dilema do nó oculto: embora pesos entrada-para-oculta influenciem a saída final indiretamente, podemos computar seu efeito propagando sinal de erro para trás através da rede e escalando com pesos de saída e derivadas de ativação. Esta técnica é fundamental para treinar modelos profundos.

Conclusão

Desempacotamos as equações-chave que impulsionam atualizações de peso e a mecânica de backpropagation em MLPs. Estes conceitos sustentam toda aplicação moderna de redes neurais, e dominá-los abre porta para modelagem avançada. Fique ligado para próximos artigos, onde mergulharemos mais fundo em design de arquitetura, implementação Python e técnicas de validação.