Redes Neuronales Artificiales Capítulo 4 La Memoria de BAM/Hopfield Uso de parte de la Información para recuperar el remanente asociado Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Memoria Asociativa Definición: Sean P pares de vectores {(x1,y1),..,(xP,yP)} con xpRN e yp RK, conjunto llamado muestra. Entonces la función M: RNRK con N,K y P  N+ se llama una Memoria Hetereoasociativa ssi: M(xp)=yp p=1,..,P M(x)=yp para todo x tal que ||x-xp||<|| x-xl|| l=1,..,P, lp Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Memoria Asociativa Definición: Sean P pares de vectores {(x1,y1),..,(xP,yP)} con xpRN e yp RK, conjunto llamado muestra. Entonces la función M: RNRK se llama memoria asociativa interpolativa ssi: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Memoria Asociativa La memoria asociativa interpolativa se puede construir desde un conjunto ortonormal de vectores {xp} , p=1,.. P. Entonces la función M se define como Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Memoria Asociativa Definición:Sean un conjunto de P vectores {x1,..,xP} con xpRN , N, PN+ conjunto llamado muestra. Entonces la función M: RNRN se dice que implementa una memoria autoasociativa ssi: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales La Arquitectura BAM BAM(Bidirectional Associative Memory): Implementa una memoria asociativa interpolativa y consiste en dos capas de neuronas totalmente conectadas. La entrada y salida se pueden cambiar intercambiar , i.e., las direcciones de las flechas se invierten. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Estructura de una red BAM Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales La Arquitectura BAM Matriz de Pesos: {xp}p=1, P conjunto ortogonal. Salida de la red: y=W x Función de activación: f (x)=x Si {yp} es ortogonal, entonces la red es reversible: x = Wt y La red puede ser usada como memoria autoasociativa considerando xy, entonces: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Dinámica de la BAM En las ANN-BAM los pesos no son ajustados durante el período de entrenamiento. Se calculan desde la partida a partir de un conjunto de vectores a ser almacenados: {xp,yp}p=1,..,P Se usan vectores bipolares (con valores -1 o 1) pertenecientes al espacio de Hamming. x = 2x* -1 ( con valores “0” o “1”) A partir de {xp } e {yp } ortonormales  BAM El proceso de  trabaja en tiempo discreto. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Distancia de Hamming Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Procedimiento En t=0, x= 0 es aplicado a la red y se calcula y(0)=W x(0) La salida de las capas x e y son propagadas hacia adelante y atrás hasta que se alcanza un estado estable usando: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Procedimiento Cuando se trabaja en el proceso inverso y(0) es aplicado a la red, x(0)=WT y(0) es calculado a partir : El sistema resultante es un sistema dinámico :  Solución estable El proceso converge a la solución en tiempo finito Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Función de Energia de la BAM Función de Energía de la BAM: E(x,y)=-yt W x Teorema:La función de energía tiene las siguientes propiedades: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Función de Lyapunov Obervaciones Se puede verificar que la función de Energia es una función de Lyapunov y por lo tanto el sistema dinámico posee una solución estable. En esencia la matriz de pesos determina una superficie con valles ( depresiones atractivas ) y colinas similares al BPL BAM se parece a un sistema fisico disipativo, en el que la función E, corresponde a la energía del sistema fisico Inicialmente los cambios de E(x,y) son grandes y a medida que los vectores x e y , van alcanzando su estado estable el valor de E tiene cambios más pequeños Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Proposición: Si el patrón de entrada xl es igual al guardado {xp} entonces se obtiene yl DEM: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Observación: El proceso de ejecución es convergente y la solución se alcanza en tiempo finito. El numero máximo de vectores que pueden ser guardados son 2N-1. Los vectores de Hamming son simétricos con respecto a la notación 1. Por lo tanto el vector de Hamming lleva la misma información que su complemento xc. Como xC = -x e yp= W xp, se tiene: ypC = - yp = W xp = W(-xp) = W xpc La BAM guarda la dirección de los vectores de la muestra y no sus valores. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales El Algoritmo de la BAM Inicialización de la red: Calcular la matriz de pesos W. Red recursiva Forward: Dado x(0), calcular y(0) =W x(0) Calcular: Hasta estabilizar la red Red recursiva Backward: Dado y(0), calcular x(0) = WT y(0) Hasta estabilizar la red. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

La Estructura de Memoria Autoasociativa Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Memoria de Hopfield Discreta Consiste en una memoria autoasociativa con una capa totalmente conectada la que adicionalmente recibe una señal de entrada externa x. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales La Memoria de Hopfield Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Memoria discreta de Hopfield Características: Trabaja con vectores binarios {0,1}. Matriz peso: con la diagonal igual a 0. Función de actualización: donde {tj}j=1,K = t es el vector umbral Notación matricial: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Redes Neuronales Artificiales Función de Energía Función de energía de la memoria discreta de Hopfield: Teorema: Propiedades de la función de energía: El proceso de iteración converge en tiempo finito. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Memoria Continua de Hopfield Función de activación: Inversa de la función de activación: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Memoria de Hopfield Continua Ecuación diferencial que describe la evolución: En aproximación de tiempo discreto, el procedimiento de actualización: Profesor: Dr. Héctor Allende Redes Neuronales Artificiales

Memoria de Hopfield Continua Función de Energía de la memoria de Hopfield: Teorema: Propiedades de la función de energia: El proceso iterativo es convergente. +, entonces se tiene el caso discreto 0, existe solo 1 estado estable Profesor: Dr. Héctor Allende Redes Neuronales Artificiales