Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas.

Presentación del tema: "Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas."— Transcripción de la presentación:

1 Algoritmo de Retropropagación

2 Notación n i, j, k son índices de las neuronas en las distintas capas

3 Notación n En el paso n se presenta el n-ésimo patrón de entrada a la red n se refiere a la suma instantánea de los cuadrados de los errores en la iteración n. n El promedio de sobre todas las n es el error promedio de la energía n es la señal de error de la neurona j en la muestra n

4 Notación n es la salida deseada en la neurona j para la muestra n n es la salida observada en la neurona j para la muestra n n denota el peso conectando las neuronas i y j en la muestra n n La corrección se denota con

5 Notación n El campo local inducido ( ) se denota por

6 Notación n La función de activación asociada a se denota por n El sesgo de umbral aplicado a la neurona j es. con entrada +1 n El i-ésimo elemento del vector de entrada es n El k-ésimo elemento del vector de salida global es n La tasa de aprendizaje es

7 Notación n denota el número de neuronas en la l-ésima capa n l = 0, 1,..., L n = tamaño de la capa de entrada n = tamaño de las capas escondidas n = tamaño de la capa de salida

8 Retropropagación n Señal de error: n Valor instantáneo de la energía del error para la neurona j: n Valor instantáneo de la energía del error: n C incluye todas las neuronas en L.

9 Retropropagación n N es el númerode muestras

10 Retropropagación

11 n La corrección a es n proporcional a

12 Retropropagación n Podemos escribir n diferenciando ambos lados de (7.1)

13 Retropropagación n diferenciando ambos lados de (7.0) n diferenciando ambos lados de (7.2)

14 Retropropagación n diferenciando (7.1a) n De 8.1,2,3,4 tenemos

15 Retropropagación n La corrección aplicada a está definida por la regla delta: n Poniendo (8.5) en (9.1):

16 Retropropagación n En donde el gradiente local está definido por

17 Retropropagación n Consideremos el caso en donde j es un nodo de salida. n se calcula de n y

18 Retropropagación

19 n Consideremos el caso en donde j es un nodo de escondido. n De (9.1.1): n De la figura anterior:

20 Retropropagación n rescribimos n pero n cuando k es una salida y m+1 es el número de entradas (incluyendo el sesgo)

21 Retropropagación n Por tanto: n para la neurona k el campo local inducido es n y

22 Retropropagación n De (10.1) y (10.2) tenemos: n Poniendo (10.3) en (9.3): n cuando j es escondida

23 Retropropagación

24 n 1. Si la neurona j es un nodo de salida es igual al producto de la derivada y la señal de error. Ambas están asociadas a la neurona j.

25 Retropropagación n 2. Si la neurona j es un nodo escondido, n es igual al producto de la derivada asociada n y la suma pesada de las n calculada para las neuronas de la siguiente capa escondida o de salida que se conectan a la neurona j.