Algoritmo de Retropropagación

Notación n i, j, k son índices de las neuronas en las distintas capas

Notación n En el paso n se presenta el n-ésimo patrón de entrada a la red n se refiere a la suma instantánea de los cuadrados de los errores en la iteración n. n El promedio de sobre todas las n es el error promedio de la energía n es la señal de error de la neurona j en la muestra n

Notación n es la salida deseada en la neurona j para la muestra n n es la salida observada en la neurona j para la muestra n n denota el peso conectando las neuronas i y j en la muestra n n La corrección se denota con

Notación n El campo local inducido ( ) se denota por

Notación n La función de activación asociada a se denota por n El sesgo de umbral aplicado a la neurona j es. con entrada +1 n El i-ésimo elemento del vector de entrada es n El k-ésimo elemento del vector de salida global es n La tasa de aprendizaje es

Notación n denota el número de neuronas en la l-ésima capa n l = 0, 1,..., L n = tamaño de la capa de entrada n = tamaño de las capas escondidas n = tamaño de la capa de salida

Retropropagación n Señal de error: n Valor instantáneo de la energía del error para la neurona j: n Valor instantáneo de la energía del error: n C incluye todas las neuronas en L.

Retropropagación n N es el númerode muestras

Retropropagación

n La corrección a es n proporcional a

Retropropagación n Podemos escribir n diferenciando ambos lados de (7.1)

Retropropagación n diferenciando ambos lados de (7.0) n diferenciando ambos lados de (7.2)

Retropropagación n diferenciando (7.1a) n De 8.1,2,3,4 tenemos

Retropropagación n La corrección aplicada a está definida por la regla delta: n Poniendo (8.5) en (9.1):

Retropropagación n En donde el gradiente local está definido por

Retropropagación n Consideremos el caso en donde j es un nodo de salida. n se calcula de n y

Retropropagación

n Consideremos el caso en donde j es un nodo de escondido. n De (9.1.1): n De la figura anterior:

Retropropagación n rescribimos n pero n cuando k es una salida y m+1 es el número de entradas (incluyendo el sesgo)

Retropropagación n Por tanto: n para la neurona k el campo local inducido es n y

Retropropagación n De (10.1) y (10.2) tenemos: n Poniendo (10.3) en (9.3): n cuando j es escondida

Retropropagación

n 1. Si la neurona j es un nodo de salida es igual al producto de la derivada y la señal de error. Ambas están asociadas a la neurona j.

Retropropagación n 2. Si la neurona j es un nodo escondido, n es igual al producto de la derivada asociada n y la suma pesada de las n calculada para las neuronas de la siguiente capa escondida o de salida que se conectan a la neurona j.