REDES NEURONALES

¿Qué son las Redes Neuronales? Modelos simplificados del sistema nervioso central Están formadas por un elevado número de elementos simples de computación interconectados que trabajan en paralelo

Modelo Neurona Artificial

Modelo Simple Neurona Artificial Modelo matemático (1943) Mc Culloch-Pitts Operación: Suma Ponderada de las Entradas Si la suma supera un umbral, se activa la salida En caso contrario, se inhibe Modelo matemático: Los pesos wij representan la sinapsis que une la neurona j (fuente) con la i (destino)

Breve Historia de las Redes Neuronales 1943 Mc Culloch-Pitts (Primeros Modelos matemáticos) 1949 D. Hebb. Aprendizaje neuronal 1956 Rochester. Primeras simulaciones de redes neuronales 50’-60’ Rosenblatt introduce el Perceptrón 1969 Minsky y Papert publican un libro estudiando los problemas del Perceptrón. COMIENZO DE LA DÉCADA OSCURA 1970 Widrow. Primera aplicación redes neuronales (ADALINE y MADALINE) Regla de Aprendizaje Widrow-Hoff (Mínimos Cuadrados) 1974 Werbos publica el algoritmo de Retropropagación, aunque no se utiliza hasta 1985 (PDP) 1982 Hopfield analiza el comportamiento de la red mediante teoría de Lyapunov

Aplicación de las Redes Neuronales al Control La red puede aproximar cualquier función no lineal continua Son unidades de procesamiento paralelo y distribuido Permite generalizar y adaptarse en tiempo real Puede trabajar con conceptos cuantitativos y cualitativos simultáneamente. Pueden modelar sistemas multivariables

Arquitectura de las Redes Neuronales Funciones continuas utilizadas: Función Escalón Función Umbral Función Rampa Función Sigmoidal Neurona Elemento básico Formada por: Sumador Ponderado Función de Activación continua

Arquitectura de Red En general, las neuronas tienen más de una entrada...

Arquitectura de red O más de una salida ...

Arquitectura de Red O más de una capa....

Arquitectura de Red Capa de Entrada: Capa sensorial Capa Oculta: Procesamiento de Datos Capa de Salida: Respuesta al entorno

Entrenamiento de Redes Entrenamiento = Ajuste de los pesos Entrenamiento supervisado (99% de las aplicaciones neuronales) Entrenamiento no supervisado (el resto) Según el flujo de datos: Redes Unidireccionales (de entrada  salida) Redes Recurrentes (donde  realimentación de la salida a la entrada)

Funcionamiento de las Redes Aprendizaje  Ajuste de pesos Ejecución  Aplicación

Perceptrón Propuesto por Rosenblatt (1961) F(n) es una función umbral (o escalón) Permite clasificar vectores dividiendo el espacio de entrada en dos regiones Sólo puede resolver problemas de separación LINEAL (OR-Exclusivo)

Reglas de Aprendizaje wi(t+1) = wi(t) + Dwi(t) La señal ri es función de (wi,x, di) El incremento de los pesos será: Dwi(t) =  ri [wi(t), x(t), di(t)] x(t) Luego: wi(t+1) = wi(t) + Dwi(t)

Sólo puede Clasificar VECTORES DE ENTRADA LINEALMENTE SEPARABLES Reglas de Aprendizaje Regla de Hebb Regla del Perceptrón: ri = dik-yik Sólo puede Clasificar VECTORES DE ENTRADA LINEALMENTE SEPARABLES

Solución al Problema Or-Exclusivo ¡Utilizar Redes con dos capas!. La Capa de Entrada  Dos Perceptrones Capa de Salida Perceptron adicional Problema: ENTRENAMIENTO

Adaline (Adaptive Linear Neuron) (1959) Widrow Función de Activación LINEAL Sistema de ec. Lineales  solución si los vectores x son LINEALMENTE INDEPENDIENTES Función de COSTE: E(w) minimiza la suma de los cuadrados de los errores. Método de entrenamiento  DESCENSO POR EL GRADIENTE

Regla de Widrow-Hoff  Factor de Aprendizaje Basada en el DESCENSO DE GRADIENTE Si los cambios se hacen individualmente para cada patrón de entrada:  Factor de Aprendizaje

Regla de Aprendizaje Delta Generalización de la regla de Widrow-Hoff para funciones de Activación Continuas Diferenciables Función de Coste: Aplicando descenso de gradiente (BATCH): En identificación/control los pesos se va actualizando al presentar nuevas entradas, x:

Perceptron Multicapa Solución a problemas de clasificación de vectores no separables linealmente Al utilizar funciones de activación no lineales, es posible modelar sistemas no lineales Problema:Entrenamiento 1974 Paul Werbos 1986 Grupo PDP populariza el algoritmo

Algoritmo de Retropropagación Red Multicapa.Función de Activación Diferenciable

Algoritmo de Retropropagación Error Cuadrático: Ajuste de pesos: Relación neuronas 4 y 8 w84  n8  y8  E Aplicando Regla de la Cadena: Definiendo error equivalt.: d8(x) = (d8-y8)F'8(n8(x)) Ajuste Pesos Capa Salida: w84t+1 = w84t + d8y w74t+1 = w74t + d7y4 w64t+1 = w64t + d6y4 w85t+1 = w85t + d8y5 w75t+1 = w75t + d7y5 w65t+1 = w65t + d6y5

Algoritmo Retropropagación (2) Capa Oculta. Conexión neuronas 1 y 4. representa la relación entre y4 y E. Calculando el primer término: Error Equivalente: d4=(d6w64+d7w74+d8w84)F'4(n4)

Algoritmo Retropropagación (3) Agrupando: La variación del peso w41 vendrá dada por: w41t+1 = w41t + d4y1

Algoritmo Retropropagación (4) Aspectos a considerar: Pesos Iniciales. Aleatorios y pequeños Constante de Aprendizaje Función Cuadrática Número de Patrones Tipo de Patrones Número de Capas Número de Neuronas Ocultas Variantes: Término de momento Otras reglas de Actualización basadas en el método de Newton (calculando la matriz Hessiana) w(t) = -E(t)+ w(t-1)