Redes Neuronales Artificiales

Presentación del tema: "Redes Neuronales Artificiales"— Transcripción de la presentación:

1 Redes Neuronales Artificiales
Capítulo 4 La Memoria de BAM/Hopfield Uso de parte de la Información para recuperar el remanente asociado Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

2 Redes Neuronales Artificiales
Memoria Asociativa Definición: Sean P pares de vectores {(x1,y1),..,(xP,yP)} con xpRN e yp RK, conjunto llamado muestra. Entonces la función M: RNRK con N,K y P  N+ se llama una Memoria Hetereoasociativa ssi: M(xp)=yp p=1,..,P M(x)=yp para todo x tal que ||x-xp||<|| x-xl|| l=1,..,P, lp Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

3 Redes Neuronales Artificiales
Memoria Asociativa Definición: Sean P pares de vectores {(x1,y1),..,(xP,yP)} con xpRN e yp RK, conjunto llamado muestra. Entonces la función M: RNRK se llama memoria asociativa interpolativa ssi: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

4 Redes Neuronales Artificiales
Memoria Asociativa La memoria asociativa interpolativa se puede construir desde un conjunto ortonormal de vectores {xp} , p=1,.. P. Entonces la función M se define como Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

5 Redes Neuronales Artificiales
Memoria Asociativa Definición:Sean un conjunto de P vectores {x1,..,xP} con xpRN , N, PN+ conjunto llamado muestra. Entonces la función M: RNRN se dice que implementa una memoria autoasociativa ssi: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

6 Redes Neuronales Artificiales
La Arquitectura BAM BAM(Bidirectional Associative Memory): Implementa una memoria asociativa interpolativa y consiste en dos capas de neuronas totalmente conectadas. La entrada y salida se pueden cambiar intercambiar , i.e., las direcciones de las flechas se invierten. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

7 Estructura de una red BAM
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

8 Redes Neuronales Artificiales
La Arquitectura BAM Matriz de Pesos: {xp}p=1, P conjunto ortogonal. Salida de la red: y=W x Función de activación: f (x)=x Si {yp} es ortogonal, entonces la red es reversible: x = Wt y La red puede ser usada como memoria autoasociativa considerando xy, entonces: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

9 Redes Neuronales Artificiales
Dinámica de la BAM En las ANN-BAM los pesos no son ajustados durante el período de entrenamiento. Se calculan desde la partida a partir de un conjunto de vectores a ser almacenados: {xp,yp}p=1,..,P Se usan vectores bipolares (con valores -1 o 1) pertenecientes al espacio de Hamming. x = 2x* -1 ( con valores “0” o “1”) A partir de {xp } e {yp } ortonormales  BAM El proceso de  trabaja en tiempo discreto. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

10 Redes Neuronales Artificiales
Distancia de Hamming Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

11 Redes Neuronales Artificiales
Procedimiento En t=0, x= 0 es aplicado a la red y se calcula y(0)=W x(0) La salida de las capas x e y son propagadas hacia adelante y atrás hasta que se alcanza un estado estable usando: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

12 Redes Neuronales Artificiales
Procedimiento Cuando se trabaja en el proceso inverso y(0) es aplicado a la red, x(0)=WT y(0) es calculado a partir : El sistema resultante es un sistema dinámico :  Solución estable El proceso converge a la solución en tiempo finito Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

13 Función de Energia de la BAM
Función de Energía de la BAM: E(x,y)=-yt W x Teorema:La función de energía tiene las siguientes propiedades: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

14 Redes Neuronales Artificiales
Función de Lyapunov Obervaciones Se puede verificar que la función de Energia es una función de Lyapunov y por lo tanto el sistema dinámico posee una solución estable. En esencia la matriz de pesos determina una superficie con valles ( depresiones atractivas ) y colinas similares al BPL BAM se parece a un sistema fisico disipativo, en el que la función E, corresponde a la energía del sistema fisico Inicialmente los cambios de E(x,y) son grandes y a medida que los vectores x e y , van alcanzando su estado estable el valor de E tiene cambios más pequeños Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

15 Redes Neuronales Artificiales
Proposición: Si el patrón de entrada xl es igual al guardado {xp} entonces se obtiene yl DEM: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

16 Redes Neuronales Artificiales
Observación: El proceso de ejecución es convergente y la solución se alcanza en tiempo finito. El numero máximo de vectores que pueden ser guardados son 2N-1. Los vectores de Hamming son simétricos con respecto a la notación 1. Por lo tanto el vector de Hamming lleva la misma información que su complemento xc. Como xC = -x e yp= W xp, se tiene: ypC = - yp = W xp = W(-xp) = W xpc La BAM guarda la dirección de los vectores de la muestra y no sus valores. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

17 Redes Neuronales Artificiales
El Algoritmo de la BAM Inicialización de la red: Calcular la matriz de pesos W. Red recursiva Forward: Dado x(0), calcular y(0) =W x(0) Calcular: Hasta estabilizar la red Red recursiva Backward: Dado y(0), calcular x(0) = WT y(0) Hasta estabilizar la red. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

18 La Estructura de Memoria Autoasociativa
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

19 Memoria de Hopfield Discreta
Consiste en una memoria autoasociativa con una capa totalmente conectada la que adicionalmente recibe una señal de entrada externa x. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

20 Redes Neuronales Artificiales
La Memoria de Hopfield Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

21 Memoria discreta de Hopfield
Características: Trabaja con vectores binarios {0,1}. Matriz peso: con la diagonal igual a 0. Función de actualización: donde {tj}j=1,K = t es el vector umbral Notación matricial: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

22 Redes Neuronales Artificiales
Función de Energía Función de energía de la memoria discreta de Hopfield: Teorema: Propiedades de la función de energía: El proceso de iteración converge en tiempo finito. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

23 Memoria Continua de Hopfield
Función de activación: Inversa de la función de activación: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

24 Memoria de Hopfield Continua
Ecuación diferencial que describe la evolución: En aproximación de tiempo discreto, el procedimiento de actualización: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

25 Memoria de Hopfield Continua
Función de Energía de la memoria de Hopfield: Teorema: Propiedades de la función de energia: El proceso iterativo es convergente. +, entonces se tiene el caso discreto 0, existe solo 1 estado estable Profesor: Dr. Héctor Allende Redes Neuronales Artificiales