Redes Neuronales BPN - Backpropagation Networks

Red Neuronal – Modelo Biológico Cuerpo de la célula, contiene el núcleo Axon: transporta la señal hacia el exterior Dendritas: acarrean las señales al interior Punto de conexión con otra neurona (sinapsis)

Red Neuronal Artificial IN H OUT Neuronas (E-O-S) Conexiones Pesos Funciones Salidas Error

Red BPN Neuronas (E-O-S) Conexiones hacia adelante Propagación hacia 1 i n h w ji net pj l out kj o m f k (net pk ) x p1 pi pn Red BPN Neuronas (E-O-S) Conexiones hacia adelante Propagación hacia atrás del error Ajuste de pesos

Funcionamiento Consiste, básicamente, en un aprendizaje de un conjunto predefinido de pares de entradas-salidas tomados como ejemplos utilizando un ciclo propagación-adaptación de dos fases.

Funcionamiento Se aplican las entradas a la primera capa de neuronas de la BPN, se propaga hacia adelante por todas las capas superiores hasta lograr una salida. Si ésta no coincide con el resultado esperado se calcula el error.

Funcionamiento Estos errores se transmiten hacia atrás desde la capa de salida hacia todas las neuronas de la capa intermedia que contribuyan directamente a la salida. Este proceso se repite capa por capa hasta que todas hayan recibido un error que describa su aporte relativo al error total cometido.

Funcionamiento Con el error recibido, se reajustan los pesos de conexión de cada neurona de tal manera que en la siguiente iteración la salida se acerque a la esperada, disminuyendo el error y haciendo que la red converja hacia un estado que nos permita codificar las tramas de entrenamiento.

Funcionamiento La importancia de la BPN consiste en la capacidad de autoadaptar los pesos de las neuronas ocultas para aprender la relación que existe entre un conjunto de patrones dados como ejemplo y sus salidas correspondientes.

Funcionamiento Decimos que una BPN “Generaliza” Tiene la facilidad de los sistemas de aprendizaje de dar salidas satisfactorias a entradas que el sistema no ha visto nunca en su fase de entrenamiento.

Regla Delta Generalizada Se la utiliza para el aprendizaje, con funciones de activación continuas y derivables (función sigmoidal). El algoritmo de retropropagación utiliza también una función o superficie de error asociada a la red, buscando el estado estable de mínima energía o de mínimo error a través del camino descendente de la superficie del error. De esta manera realimenta el error del sistema para realizar la modificación de los pesos en un valor proporcional al gradiente decreciente de dicha función de error.

Regla Delta Generalizada Superficie hipotética del espacio de pesos. El gradiente en el punto Z tiene signo negativo. Los cambios de pesos deberían producirse en esa dirección, que es la del descenso más pronunciado. Z -ÑEp Zmin ÑEp Ep

Funcionamiento :: Propagación hacia adelante Inicializar la Red con pesos aleatorios pequeños W1 W2 … Presentar un patrón de entrada Xp1 Xp2 ... Especificar salida deseada d1 d2 ...

Calcular la salida actual de la red Funcionamiento :: Propagación hacia adelante Calcular la salida actual de la red Función de Salida Capas ocultas Capa de salida

Calcular los errores para las neuronas Funcionamiento :: Propagación hacia atrás Calcular los errores para las neuronas Capa de salida Capas ocultas

Funcionamiento :: Propagación hacia atrás Calcular los errores para las neuronas (continuación Capas Ocultas) Para la función sigmoidal k se refiere a todas las neuronas de la capa superior a la de la neurona j. Así el error que se comete en una neurona oculta es proporcional a la suma de los errores conocidos que se producen en las neuronas a las que está conectada la salida de ésta, multiplicado cada uno por el peso de la conexión.

Actualización de los pesos Aprendizaje Actualización de los pesos Capa de salida Capas ocultas

Actualización de los pesos Aprendizaje Actualización de los pesos (continuación) En la implementación del algoritmo se toma una amplitud de paso que viene dada por a (la tasa de aprendizaje). A mayor tasa mayor es la modificación de lo pesos en cada iteración, el aprendizaje será más rápido pero pueden existir oscilaciones.

Para acelerar el aprendizaje Capa de salida Capas ocultas Para filtrar las oscilaciones que origina a puede usarse un MOMENTO b, que es una constante que determina el efecto en t+1 del cambio de los pesos en t.

Repetición del proceso Aprendizaje Repetición del proceso Error para el Patrón “p” Error Global

Ejemplo de funcionamiento Perfiles: P1 y P2 Características: C1, C2 y C3 C1 Rango 1: 1 – 49 Rango 2: 50 – 100 C2 Rango 1: 1 – 30 Rango 2: 31 – 100 C3 P1 C1: 1 – 49 C2: 1 – 30 C3: 1 – 49 P2 C1: 50 – 100 C2: 31 – 100 C3: 50 – 100

Ejemplo de funcionamiento Red propuesta N1 N2 N3 N4 N5 N6 N7 W14 W15 W24 W25 W34 W35 W46 W47 W56 W57 y6 y7 Entradas Ci Ocultas Hj Salidas Pk

Ejemplo de funcionamiento Cálculos w14=0,4 w15=0,5 w24=0,6 w25=0,7 w34=1,0 w35=0,8 w46=0,3 w47=1,2 w56=0,6 w57=0,8 Primer vector de entrenamiento x1= 25 x2=15 x3=25   Salida deseada d1=1 (N6) y d2=0 (N7)  Obtener el Perfil 1 (P1)

Ejemplo de funcionamiento Cálculos de salidas

Ejemplo de funcionamiento Propagación del error

Actualización de pesos con = 0,2 Ejemplo de funcionamiento Actualización de pesos con = 0,2

Consideraciones prácticas Datos de entrenamiento Dimensionamiento de la red Pesos y parámetros de aprendizaje Control de la convergencia

Consideraciones finales Necesita una fase de entrenamiento que permita estabilizar los pesos de las neuronas. Se puede entrenar a la red con los patrones necesarios, supervisando que las salidas que deben generar esos patrones sean las correctas. Se necesita más potencia de cálculo para la fase de entrenamiento. La complejidad de la fase de entrenamiento es la principal desventaja de este modelo, sin embargo una vez estabilizados los pesos permite que los cálculos se realicen sin mayores dificultades.