REDES NEURONALES.

Presentación del tema: "REDES NEURONALES."— Transcripción de la presentación:

1 REDES NEURONALES

2 ¿Qué son las Redes Neuronales?
Modelos simplificados del sistema nervioso central Están formadas por un elevado número de elementos simples de computación interconectados que trabajan en paralelo

3 Modelo Neurona Artificial

4 Modelo Simple Neurona Artificial
Modelo matemático (1943) Mc Culloch-Pitts Operación: Suma Ponderada de las Entradas Si la suma supera un umbral, se activa la salida En caso contrario, se inhibe Modelo matemático: Los pesos wij representan la sinapsis que une la neurona j (fuente) con la i (destino)

5 Breve Historia de las Redes Neuronales
1943 Mc Culloch-Pitts (Primeros Modelos matemáticos) 1949 D. Hebb. Aprendizaje neuronal 1956 Rochester. Primeras simulaciones de redes neuronales 50’-60’ Rosenblatt introduce el Perceptrón 1969 Minsky y Papert publican un libro estudiando los problemas del Perceptrón. COMIENZO DE LA DÉCADA OSCURA 1970 Widrow. Primera aplicación redes neuronales (ADALINE y MADALINE) Regla de Aprendizaje Widrow-Hoff (Mínimos Cuadrados) 1974 Werbos publica el algoritmo de Retropropagación, aunque no se utiliza hasta 1985 (PDP) 1982 Hopfield analiza el comportamiento de la red mediante teoría de Lyapunov

6 Aplicación de las Redes Neuronales al Control
La red puede aproximar cualquier función no lineal continua Son unidades de procesamiento paralelo y distribuido Permite generalizar y adaptarse en tiempo real Puede trabajar con conceptos cuantitativos y cualitativos simultáneamente. Pueden modelar sistemas multivariables

7 Arquitectura de las Redes Neuronales
Funciones continuas utilizadas: Función Escalón Función Umbral Función Rampa Función Sigmoidal Neurona Elemento básico Formada por: Sumador Ponderado Función de Activación continua

8 Arquitectura de Red En general, las neuronas tienen más de una entrada...

9 Arquitectura de red O más de una salida ...

10 Arquitectura de Red O más de una capa....

11 Arquitectura de Red Capa de Entrada: Capa sensorial
Capa Oculta: Procesamiento de Datos Capa de Salida: Respuesta al entorno

12 Entrenamiento de Redes
Entrenamiento = Ajuste de los pesos Entrenamiento supervisado (99% de las aplicaciones neuronales) Entrenamiento no supervisado (el resto) Según el flujo de datos: Redes Unidireccionales (de entrada  salida) Redes Recurrentes (donde  realimentación de la salida a la entrada)

13 Funcionamiento de las Redes
Aprendizaje  Ajuste de pesos Ejecución  Aplicación

14 Perceptrón Propuesto por Rosenblatt (1961)
F(n) es una función umbral (o escalón) Permite clasificar vectores dividiendo el espacio de entrada en dos regiones Sólo puede resolver problemas de separación LINEAL (OR-Exclusivo)

15 Reglas de Aprendizaje wi(t+1) = wi(t) + Dwi(t)
La señal ri es función de (wi,x, di) El incremento de los pesos será: Dwi(t) =  ri [wi(t), x(t), di(t)] x(t) Luego: wi(t+1) = wi(t) + Dwi(t)

16 Sólo puede Clasificar VECTORES DE ENTRADA LINEALMENTE SEPARABLES
Reglas de Aprendizaje Regla de Hebb Regla del Perceptrón: ri = dik-yik Sólo puede Clasificar VECTORES DE ENTRADA LINEALMENTE SEPARABLES

17 Solución al Problema Or-Exclusivo
¡Utilizar Redes con dos capas!. La Capa de Entrada  Dos Perceptrones Capa de Salida Perceptron adicional Problema: ENTRENAMIENTO

18 Adaline (Adaptive Linear Neuron)
(1959) Widrow Función de Activación LINEAL Sistema de ec. Lineales  solución si los vectores x son LINEALMENTE INDEPENDIENTES Función de COSTE: E(w) minimiza la suma de los cuadrados de los errores. Método de entrenamiento  DESCENSO POR EL GRADIENTE

19 Regla de Widrow-Hoff  Factor de Aprendizaje
Basada en el DESCENSO DE GRADIENTE Si los cambios se hacen individualmente para cada patrón de entrada:  Factor de Aprendizaje

20 Regla de Aprendizaje Delta
Generalización de la regla de Widrow-Hoff para funciones de Activación Continuas Diferenciables Función de Coste: Aplicando descenso de gradiente (BATCH): En identificación/control los pesos se va actualizando al presentar nuevas entradas, x:

21 Perceptron Multicapa Solución a problemas de clasificación de vectores no separables linealmente Al utilizar funciones de activación no lineales, es posible modelar sistemas no lineales Problema:Entrenamiento 1974 Paul Werbos 1986 Grupo PDP populariza el algoritmo

22 Algoritmo de Retropropagación
Red Multicapa.Función de Activación Diferenciable

23 Algoritmo de Retropropagación
Error Cuadrático: Ajuste de pesos: Relación neuronas 4 y 8 w84  n8  y8  E Aplicando Regla de la Cadena: Definiendo error equivalt.: d8(x) = (d8-y8)F'8(n8(x)) Ajuste Pesos Capa Salida: w84t+1 = w84t + d8y w74t+1 = w74t + d7y4 w64t+1 = w64t + d6y4 w85t+1 = w85t + d8y5 w75t+1 = w75t + d7y5 w65t+1 = w65t + d6y5

24 Algoritmo Retropropagación (2)
Capa Oculta. Conexión neuronas 1 y 4. representa la relación entre y4 y E. Calculando el primer término: Error Equivalente: d4=(d6w64+d7w74+d8w84)F'4(n4)

25 Algoritmo Retropropagación (3)
Agrupando: La variación del peso w41 vendrá dada por: w41t+1 = w41t + d4y1

26 Algoritmo Retropropagación (4)
Aspectos a considerar: Pesos Iniciales. Aleatorios y pequeños Constante de Aprendizaje Función Cuadrática Número de Patrones Tipo de Patrones Número de Capas Número de Neuronas Ocultas Variantes: Término de momento Otras reglas de Actualización basadas en el método de Newton (calculando la matriz Hessiana) w(t) = -E(t)+ w(t-1)