La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Redes neuronales2 José Edinson Aedo Cobo Depto. de Ing. Electrónica.

Presentaciones similares


Presentación del tema: "Redes neuronales2 José Edinson Aedo Cobo Depto. de Ing. Electrónica."— Transcripción de la presentación:

1 Redes neuronales2 José Edinson Aedo Cobo Depto. de Ing. Electrónica.

2 Introducción a la redes neuronales Neuron de McCulloch - Pitts xjxj hihi aiai yiyi Regla de propagación Función de activación Regla de propagación Función de activación Función de salida

3 Redes neuronales Red de una sola capa (hacia adelante) Red recurrente de una sola capa Red multicapa (hacia adelante) Red recurrente multicapa capa de entrada capa de salida capas escondidas

4 Modelo estándar de un neurón

5 Definición de una red neuronal como un grafo Una red neuronal es un grafo dirigido con las siguiente propiedades: A cada nodo i se le asocia una variable de estado i. a cada conexión (i, j) de los nodos i, j se le asocia un un peso w ij A cada nodo i se le asocia un umbral A cada nodo se le asocia una función f i (x j, w ij, i ) esta función constituye el estado del nodo.

6 Definición de una red neuronal como un red adaptativa (Adaptive network) Es una red cuyo comportamiento de entrada salida esta determinado por el valor de un conjunto de parámetros modificables. Esta formada por un conjunto de nodos conectadas por líneas dirigidas (links). Los nodos son de dos tipos adaptativos y fijos.

7 Definición de una red neuronal como un red adaptativa (Adaptive network)

8 Redes supervisadas unidireccionales Perceptron simple. Adalaine. Perceptron multicapa..

9 Regla de Hebb 1949: Se baso en la observación de neuronas biológicas. Se basa en la idea: Cuando un axón presináptico causa la activiación de cierta neurona postsináptica, la eficacia de la sinapsis que las relaciona se refuerza. Si W ij son los pesos sinápticos. El refuerzo Wij = y i x j, siendo y i la salida y x j la entrada.

10 Aprendizaje basada en la regla de Hebb 1 S 1 S 2 S 3 …. S n t ……. m vectores n entradas objetivo

11 Aprendizaje basada en la regla de Hebb Paso 0: Inicialice los pesos: eje: w i = 0, i = 1 a n. Paso 1: Por cada vector de entrada y valor objetivo para los j = 1 a m, realice los pasos 2-4 Paso2: Establezca las activaciones de entrada: Paso3: Establezca las activaciones para la salida: Paso4: Ajuste los pesos y las polarizaciones w i (nuevo) = w i (viejo) + x i y b(nuevo) = b(viejo) + y

12 Perceptron 1 S 1 S 2 S 3 …. S n t ……. m vectores n entradas objetivo Regla de aprendizaje :

13 Paso 0: Inicialice los pesos, polarizaciones y : eje: w i = 0, i = 1 a n., b=0, 0 < 1 Paso 1: Mientras la condición de parada es falsa haga los pasos del 2-6 Paso 2: Por cada vector de entrenamiento s:t para los j = 1 a m, realice los pasos 3-5 Paso3: Establezca las activaciones de entrada: Paso4: calcule la respuesta de la unidad de salida: Perceptron, algoritmo

14 Paso5: calcule w i y b, si ocurre error en el vector: si y t : w i (nuevo) = w i (viejo) + t j x i b(nuevo) = b(viejo) + t j de lo contrario (y = t) : w i (nuevo) = w i (viejo) b(nuevo) = b(viejo) Paso 6: Verifique la condición de parada, si no cambian los pesos en 2, pare. Perceptron, algoritmo

15 Adaline, regla delta, least mean square (LMS) 1 S 1 S 2 S 3 …. S n t ……. m vectores n entradas objetivo Regla de aprendizaje : Función de activación idéntica

16 Adaline, regla delta, least mean square (LMS) Paso 0: Inicialice los pesos. use valores aleatorios: w i y b establezca el valor de. Paso 1: Mientras la condición de parada sea falsa realice los pasos 2-6 Paso2: para cada vector de entrenamiento, S:t, j=1, m, haga los pasos 3-5: Paso3: Establezca las activaciones de entrada: Paso4: calcule la salida: Paso5: Ajuste los pesos y las polarizaciones w i (nuevo) = w i (viejo) + (t j - y in )x i b(nuevo) = b(viejo) + (t j - y in ) Paso6: Verifique la condición de parada: eje. Si el cambio de los pesos es menor que una tolerancia definida. Si no continúe.

17 Perceptrones en estructura multicapa Werbos introdujo el algoritmo en Se conocía muy poco. Se le atribuye comúnmente a Parker que lo uso 1985 y Rumelhart en 1986.

18 Perceptrones en estructura multicapa Red multicapa (hacia adelante) capa de entrada capa de salida capa escondida Z1Z1 ZjZj ZpZp y1y1 ykyk ymym

19 Perceptrones en estructura multicapa Notación: Entrada Targe Primera capa (entrada al neurón): Salida de los neurones de la primera capa: Segunda capa (entrada al neurón): Salida de los neurones de la segunda capa:

20 Perceptrones en estructura multicapa Notación: Error en la capa de salida Propagación del error a Capa escondida Error en la capa escondida:

21 Paso 0: Inicialice los pesos. use valores aleatorios pequeños: w ik y v ij establezca el valor de. Paso 1: Mientras la condición de parada sea falsa realice los pasos 2-9 Paso2: para cada vector de entrenamiento, S l :t l, l=1,… L, realice los pasos 3-8: Paso3: Establezca las activaciones de entrada: Paso4: calcule la salida en la capa oculta: para j= 1 ….P Paso5: Calcule el valor de salida en capa de salida (k = 1,…m) Perceptrones en estructura multicapa, algoritmo BP feedforward

22 Paso6: Para cada unidad de salida calcule el error (k=1,…m) y la corrección de los pesos: Paso7: Para la capa oculta propague el error, calcule el error para cada neurona y la corrección de los pesos (j=1..,p): Backpropagation of the error Perceptrones en estructura multicapa, algoritmo BP

23 Paso8: Actualice los pesos en la capa de salida y la capa oculta k = 1,…,m j = 0,….,p j = 1,…,p i = 0,….,n Paso9: Verifique la condición de parada: ejemp. Si el error total es menor que una tolerancia definida, si se realizaron un especifico de entrenamientos. Perceptrones en estructura multicapa, algoritmo BP

24 Perceptrones en estructura multicapa Consideraciones: Pesos iniciales: generalmente números aleatorios pequeños Inicialización de Widrow (capa de entrada): Para cada neurona en la capa escondida: j = 1,….p Asigne valores aleatorios a v ij (viejo) entre -0.5 y 0.5 Re-inicialice los pesos calculándolos:

25 Perceptrones en estructura multicapa Consideraciones: Tipos de aprendizajes: en seríe (on –line) por lotes ( batch) Compromiso entre la capacidad de memorización y generación De la red: Debe usarse la validación cruzada, para evitar el sobreaprendizaje. Número de parámetros de la red:

26 Perceptrones en estructura multicapa Consideraciones: Parámetros: una rede de n entradas con un total de w pesos Requiere un número de patrones de aprendizaje del orden de P=w/, para proporcionar un error generalizado del orden de

27 Perceptrones en estructura multicapa Consideraciones sobre la regla de aprendizaje: La regla del simple se basa: La regla delta extendida. Siendo: luego

28 Perceptrones en estructura multicapa Consideraciones sobre la regla de aprendizaje (2): Considerando: Se tiene: El error local se reducirá más rápido para un :

29 Perceptrones en estructura multicapa Adaptando la función sigmoidea Para adaptarla al rango: Se calcula: La función será: su derivada:

30 Perceptrones en estructura multicapa Ejercicio si la la función es: Como sería la función adaptada al rango: ?

31 Perceptrones en estructura multicapa Otros estrategias de entrenamiento ?. Toolbox del Matlab: Conjugate gradient backpropagation. Variable learning rate backpropagation.. Momentum backpropagation. Steepest descent backpropagation. Marquardt backpropagation.

32 Perceptrones en estructura multicapa Momentum: los pesos dependen del gradiente corriente y del Gradiente previo. Momentum entre 0 y 1 Capa de salida: Capa de entrada:

33 Perceptrones en estructura multicapa Backpropagation con tasa de aprendizaje variable: La tasa de aprendizaje varia con el progreso del aprendizaje. Heurística: Si los pesos cambian en la misma dirección unos pasos entonces la tasa de aprendizaje para esos pesos debería incrementar. La regla delta-bar-delta establece que los pesos cambian de la siguiente manera: Donde se define el delta como: Tasa variable

34 Perceptrones en estructura multicapa Backpropagation con tasa de aprendizaje variable: La tasa de aprendizaje varia con el progreso del aprendizaje. Heurística: para la capa escondida: Se calcula los delta-bar para la capa de salida: Para la capa escondida: Con entre 0 y 1

35 Perceptrones en estructura multicapa Backpropagation con tasa de aprendizaje variable: La tasa de aprendizaje varía con el progreso del aprendizaje. Heurística: la tasa de aprendizaje se modifica: k y son parametros suministrados por el usuario.

36 Perceptrones en estructura multicapa Investigación: Investigar el teorema que establece que un red neuronal en estructura multicapa es un aproximador universal de funciones no lineales.


Descargar ppt "Redes neuronales2 José Edinson Aedo Cobo Depto. de Ing. Electrónica."

Presentaciones similares


Anuncios Google