La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

1/37 Redes Neuronales de Retropropagación REDES NEURONALES PARA MODELOS DE CLASIFICACION Mg. Samuel Oporto Díaz.

Presentaciones similares


Presentación del tema: "1/37 Redes Neuronales de Retropropagación REDES NEURONALES PARA MODELOS DE CLASIFICACION Mg. Samuel Oporto Díaz."— Transcripción de la presentación:

1 1/37 Redes Neuronales de Retropropagación REDES NEURONALES PARA MODELOS DE CLASIFICACION Mg. Samuel Oporto Díaz

2 2/37 Tabla de Contenido 1.Neuronas ArtificialesNeuronas Artificiales 2.Análisis de las Redes NeuronalesAnálisis de las Redes Neuronales

3 3/37 PERCEPTRON MULTICAPA

4 4/37 Perceptron Multicapa Representación ordenada –Werbos (1972) –Red lineal –Activaciones dependen: entradas activaciones de neuronas precedentes –Derivadas ordenadas backpropagation W ij 1 W ij 2 u1u1 u2u2 y1y1 y2y2 W ij 3 u1u1 u2u2 y1y1 y2y

5 5/37 Perceptron Multicapa w11=1 w12=1 w21=1 w22=1 w31=1 w32=-1.5 b1=0.5 b2=1.5 b3=0.5

6 6/37 RED DE RETROPROPAGACION

7 7/37 Retropropagación Procedimiento para encontrar el vector gradiente de una función error asociada a la salida de la red con respecto a los parámetros de la misma El nombre backpropagation surge pues el cálculo se hace en el sentido inverso de la red, propagándose desde los nodos de salida hacia los nodos de entrada Esto permite poder aplicar a posteriori alguno de los muchos métodos de optimización con gradiente para obtener el comportamiento deseado de la red

8 8/37 Retropropagación f() entradas Pesos k = capa sumatoria constante b función de transferencia resultado net =o k (n) salida calculada y k (n) x 1 (n) w k1 (n) x 2 (n) x 3 (n) w k2 (n) w k3 (n) e k (n) = d k (n) – y k (n) salida deseada d k (n) e k (n)

9 9/37 Función de transferencia

10 Funciones de transferencia

11 11/37 Aprendizaje entrada neta a i j i salida de i error de la salida k error total regla de aprendizaje η: velocidad de aprendizaje

12 12/37 Regla de Aprendizaje Si j es una unidad de salida Si no

13 13/37 ANALISIS DE LAS ANN

14 14/37 Propiedades: Mapeo Universal Pregunta: –Qué tipo de funciones puedo representar con una ANN? La idea se remonta al problema #13 de Hilbert (1900). –Representar función de N variables como combinación lineal de funciones en una variable (bajar dimensionalidad del problema) Respuesta : –Puedo representar el conjunto de funciones suaves. –Hay varias pruebas para diferentes arquitecturas –Kolgomorov (1957) –Cybenko (1960) –Hornik (1989) –Chen (1991)

15 15/37 Propiedades: Mapeo Universal Idea: –Usando red con 2 capas ocultas es posible crear funciones tipo localizadas que combinadas pueden formar cualquier función suave Prueba intuitiva: –Fácil de ver en R 2 R. –Red: y = ANN (x 1,x 2 ) Paso 1: –Que mapeo obtengo con una sola neurona? y = logsig(.x 1 ) y = logsig(.x 2 )

16 16/37 Propiedades: Mapeo Universal Paso 2: –Uso Perceptron Multicapa –Puedo lograr pico en cualquier valor de x 1 con red de 1 sola capa oculta el ancho del pico depende del valor de b. –Puedo hacer lo mismo con x 2. x1x1 1 y b b b -b 1 1

17 17/37 Propiedades: Mapeo Universal Paso 3: –Agrupo redes en cada entrada en una sola red para combinar picos en x 1 y x 2. –Ajustando parámetros puedo obtener un pico bien definido centrado en cualquier punto de R 2. x1x1 1 y b b b -b x2x2 1 b b b -b 1 1

18 18/37 Propiedades: Mapeo Universal Paso 4: –Agregando una capa adicional 2 capas ocultas –Combinando estos picos se puede aproximar cualquier función de R 2 R con el grado de error que desee. x1x1 1 a b1 c1 -a x2x2 1 a d1 e1 -a 1 1 x1x1 1 a bn cn -a x2x2 1 a dn en -a 1 1 y f1f1 fnfn

19 19/37 Teorema de Kolmogorov Dada cualquier función continua f: [0 1] n R m, y = f(x), f puede ser implementada exactamente por una red neuronal de tres capas sin retroalimentación que tiene una capa de entrada de n elementos que unicamente copian las entradas a la siguiente capa, (2n + 1) elementos de procesamiento en la capa intermedia y me elementos de procesamiento en la capa de salida

20 20/37 Mapeo no lineal Una red de retropropagación intenta encontrar un mapeo no lineal entre el espacio de entradas de n dimensiones y el espacio de salida de m dimensiones. Este mapeo se induce a través de patrones de entrenamiento que son puntos correspondientes en los espacios de entrada y salida. y1y1 y3y3 y2y2 y4y4 x1x1 x3x3 x2x2 x4x4

21 21/37 Sobreajuste y subajuste La red de retropropagación es en cierta medida un método de ajuste de curvas. La red ya entrenada implementa un mapeo no lineal entre el espacio de entradas y salidas de manera que entradas cercanas entre sí producen salidas cercanas, por lo tanto una ANN es interpolativa.

22 22/37 Subajuste La red produce un mapeo mas sencillo de lo que se requiere para implementar la relación entrada/salida Sintoma. Error alto. Solución. Aumentar los ciclos de entrenamiento, más neuronas capa intermedia, más capas

23 23/37 Sobreajuste La red produce un mapeo más complicado de lo que se requiere para implementar la relación entrada/salida. Sintoma. Error ante patrones de entrenamiento pequeño y error ante patrones de prueba alto. Solución. Menos ciclos de entrenamiento, menos capas, menos neuronas

24 24/37 Epoca Pasar varias veces los patrones de entrada a la red.

25 25/37 Offset de f Las funciones de transferencia sigmoidal o tangente hiperbólica se pueden saturar, se saturan cuando los valores absolutos de sus entradas son grandes. Dado que la derivada participa en la regla de aprendizaje, puede suceder que ya no aprendan. Normalización de datos

26 26/37 EFECTIVIDAD DEL CLASIFICADOR

27 27/37 Validación Cruzada de k-conjuntos características... Entrenamiento eficacia 1 Promedio eficacia 2 eficacia 3 eficacia K Experimento 1 Experimento 2 Experimento 3 Experimento K total de ejemplos pruebaentrenamiento

28 28/37 PREGUNTAS

29 29/37 Mg. Samuel Oporto Díaz

30 30/37 APRENDIZAJE ARTIFICIAL PARTE III

31 31/37 Aprendizaje Supervisado Por Corrección de Error x (n) Synaptic weights Summing function Activation function Local Field v k (n) Output y k (n) x 1 (n) w k1 (n) x 2 (n) x 3 (n) w k2 (n) w k3 (n) e k (n) = d k (n) – y k (n)

32 32/37 Error(n) = y(n) - Y(n) x1x1 x2x2 v 11 m 1 = x 1. v 11 + x 2. v 21 v 12 v 13 w 11 w 21 w 31 m1m1 m2m2 m3m3 n1n1 n2n2 n3n3 v 21 v 22 v 23 Y Y = f(n 1 w 11 + n 2 w 21 + n 3 w 31 ) n 1 = f ( m 1 ) Pesos o Coeficientes Vij, Wij A.S. Por Corrección de Error J = (Y 1 - y 1 ) Y 1 / V 11 + (Y 2 - y 2 ) Y 2 / V 11 + …. V 11 Y = W 11 n 1 / V 11 + W 21 n 2 / V 11 + W 31 n 3 / V 11 V 11 n1 = n1 m1 = n1 x1 V 11 m1 V 11 m 11 Si n es SIGMOIDEA : n = ( 1+ e –m ) –1 n = - ( 1+ e –m ) -2 e -m (-1) = n (1 – n ) m Y = W 11 n ( 1 – n ) X1 V11 J = (Y 1 -y 1 ) W 11 n 11 (1- n 11 ) X 11 + (Y 2 - y 2 ) W 11 n 12 (1- n 12 ) X 12 + …. V11

33 33/37 Dados Iniciales = Experiencia de la RN A.S. Por Corrección de Error

34 34/37 : Umbral de aprendizaje que regula la velocidad de precisión (0 < <= 1) Yi : Salida del i-esimo Nodo Yj : Salida del j-esimo Nodo dj : Valor de salida deseado de la j-esima unidad de procesamiento A.S. Por Corrección de Error

35 35/37 El aprendizaje consiste en mejorar los coeficientes de la red hasta minimizar la FUNCION DE ERROR dada por J = Σ 1 / 2 (Y k - y k ) 2 A.S. Por Corrección de Error Wij = Wij - η J Wij Ratio de Aprendizaje

36 36/37 Algoritmo BackPropagation Camada de Saída Camada de Entrada Camada Escondida +1 PatronesPatrones PatronesPatrones ej(n) = dj(n) - yj(n)

37 37/37 Algoritmo BackPropagation (W) En Particular : W11 = W11 - η J W11 J = (Y 1 -y 1 ) Y 1 / W 11 + (Y 2 - y 2 ) Y 2 / W 11 + …. W11 = (Y 1 - y 1 ) n 11 + (Y 2 - y 2 ) n 12 + …. En General : J = Σ (Y k - y k ) n jk Wj1

38 38/37 Algoritmo BackPropagation (V) En Particular : V11 = V11 - η J V11 J = (Y 1 - y 1 ) Y 1 / V 11 + (Y 2 - y 2 ) Y 2 / V 11 + …. V 11 Y = W 11 n 1 / V 11 + W 21 n 2 / V 11 + W 31 n 3 / V 11 V 11 n1 = n1 m1 = n1 x1 V 11 m1 V 11 m 11 Si n es SIGMOIDEA : n = ( 1+ e –m ) –1 n = - ( 1+ e –m ) -2 e -m (-1) = n (1 – n ) m Y = W 11 n ( 1 – n ) X1 V11 J = (Y 1 -y 1 ) W 11 n 11 (1- n 11 ) X 11 + (Y 2 - y 2 ) W 11 n 12 (1- n 12 ) X 12 + …. V11

39 39/37 Algoritmo BackPropagation J. V11 = Error Retropropagado Entrada Correspondiente * REGLA DELTA : = Error * Peso * f X1 * = (Y1 – y1) * W11 * n1 (1 –n1) X1 *

40 40/37 x1x1 x2x2 w 11 m1m1 m2m2 n1n1 n2n2 Ejemplo w 12 w 21 w 22 u 11 u 12 u 21 u 22 y1y1 y2y2 W 11 = W 11 + η (y1 - ÿ1) n1 W 12 = W 12 + η (y2 - ÿ2) n2 U 11 = U 11 + η [ (y1 - ÿ1) W 11 + (y2 - ÿ2) W 12 ] * n1(1-n1) * x1

41 41/37 x1x1 x2x2 v 11 v 12 w 11 m1m1 m2m2 n1n1 n2n2 v 21 v 22 Ejercicios w 12 w 21 w 22 u 11 u 12 u 21 u 22 p1p1 p2p2 q1q1 q2q2 y1y1 y2y2 U 12 = U 12 + η [ error * peso * f ] * x1 U 12 = U 12 + η [ ( (y1-ÿ1) W 11 + (y2-ÿ2) W 12 ) * q1(1-q1) * V21 + ( (y1-ÿ1) W 21 + (y2-ÿ2) W 22 ) * q2(1-q2) * V22 ] n2 (1-n2) * x1


Descargar ppt "1/37 Redes Neuronales de Retropropagación REDES NEURONALES PARA MODELOS DE CLASIFICACION Mg. Samuel Oporto Díaz."

Presentaciones similares


Anuncios Google