Redes de Hopfield 1 Red de Hopfield Hertz. Kroght, Palmer Introduction to the theory of neural computation

Redes de Hopfield 2 La memoria asociativa Almacenar un conjunto de patrones y recuperarlos en función de su contenido (content addressable): Los patrones son binarios: {0,1} en cada nodo i.

Redes de Hopfield 3 Solución algorítmica: almacenar en una lista los patrones y buscar el más cercano en el sentido de la distancia de Hamming Solución neuronal: construir una red tal que partiendo d e un estado inicial recupere el estado correspondiente a la memoria almacenada

Redes de Hopfield 4

5 En el espacio de posibles configuraciones, las memorias o patrones almacenados por la red deben corresponder a estados estables y atractores de la dinámica de la red. Cada memoria tiene una base de atracción.

Redes de Hopfield 6 El modelo Las unidades son binarias {-1,+1} La dinámica de la red viene dada por (S i es el estado de la unidad i): Obviando el umbral Tipos de dinámica: Síncrona: se actualizan todos los estados a la vez Asíncrona: un proceso aleatorio simula la dinámica

Redes de Hopfield 7 Dinámica asíncrona: En cada instante se selecciona aleatoriamente una unidad y se actualiza su estado. Criterio de parada: estabilidad de la red (converge a un estado estable) Construcción de los pesos: por reforzamiento mediante correlación.

Redes de Hopfield 8 Caso de un solo patrón: Condición de estabilidad dado que Un conjunto de pesos que cumple la condición de estabilidad es Input neto La red tiene dos estados estables y atractores, el patrón deseado y su opuesto.

Redes de Hopfield 9 Caso de múltiples patrones (modelo de Hopfield) Regla de Hebb: reforzamiento sináptico proporcional a la correlación entre las entradas y salidas. Condición de estabilidad Input neto La estabilidad depende del término crosstalk

Redes de Hopfield 10 Capacidad de almacenamiento Considerese la cantidad, proporcional al término crosstalk Si es negativo, es del mismo signo que el componente del patrón que se desea recuperar/almacenar Si es positivo, convierte al componente del estado en inestable.

Redes de Hopfield 11 Considerese un conjunto de patrones aleatorios, con probabilidades idénticas para los estados de los componentes e independientes entre componentes. Probabilidad de que un bit sea inestable La probabilidad de error aumenta con el número de patrones Especificando un límite a la probabilidad de error podemos calcular el número de patrones admisible.

Redes de Hopfield 12 El término crosstalk es la suma de Np variables aleatorias independientes con valor -1 o +1. Su distribución es la binomial de media cero y varianza Puede aproximarse por una gausiana

Redes de Hopfield 13 Atendiendo a la recuperación perfecta de los bits para la mayor parte de los patrones, se exige para obtener los N bits con probabilidad 99% Usando la expansión asintótica Y la condición Se obtiene Para N grande: da la capacidad

Redes de Hopfield 14 Si se exige que todos los patrones se recuperen sin error que da la capacidad Si los patrones son ortogonales Todos los términos crosstalk son nulos Aparentemente se obtienen N memorias estables, sin embargo Para N patrones ortogonales En este caso todos los estados son estables trivialmente.

Redes de Hopfield 15 La función de energía La función de energía es función de {S i }: las configuraciones de la red La función de energía es decreciente para cualquier evolución dinámica de los estados de la red. Los patrones memorizados son mínimos locales de la red. La dinámica de la red corresponde a la búsqueda de un mínimo local de la función de energía.

Redes de Hopfield 16 La condición suficiente para que H sea una función de energía es que los pesos sean simétricos. C corresponde a los pesos w ii (ij) son todos los pares salvo simetría Nuevo estado de la unidad i. Implica que la función de energía no cambia Usualmente se anulan las autoconexiones para evitar estados espúreos. H’-H<0

Redes de Hopfield 17 Estados espurios Los estados espurios son estados estables y atractores que no corresponden a patrones almacenados/deseados La simetría de la función energía implica que los estados son estables y atractores Los estados mezcla: corresponden a combinaciones lineales de un número impar de patrones Son equidistantes de sus componentes Condición de estabilidad en el caso de la suma, se puede replicar para las otras combinaciones

Redes de Hopfield 18 La analogía física Un material magnético puede representarse como una malla regular de átomos magnéticos (spins) que pueden orientarse en varias direcciones (2 en nuestro caso de interés). En el modelo Ising estas orientaciones corresponden a valores Cada uno de los espines está influenciado por un campo magnético compuesto de la influencia externa y la influencia de los espines vecinos. Las interacciones w ij son necesariamente simétricas El modelo de Hopfield corresponde al caso de campo externo nulo. A bajas temperaturas el espín se alinea con su campo local.

Redes de Hopfield 19 Dinámica estocástica a temperatura finita La temperatura controla la pendiente de la función en torno a cero y la diferencia entre la función signo determinista y la elección aleatoria pura.

Redes de Hopfield 20 Función tangente hiperbólica Estado promedio de un espín aislado conmutando aleatoriamente

Redes de Hopfield 21 Teoría del campo medio: aproximación al valor promedio de los espines cuando se producen interacciones. Las interacciones producen N ecuaciones nolineales en N incógnitas.

Redes de Hopfield 22 Redes estocásticas: las unidades se comportan aleatoriamente Los estados espurios serán menos frecuentes que los patrones deseados. La red sale de minimos locales indeseados. Las cantidades de interés son los valores promedio de los estados de las unidades. La estabilidad se redefine en términos de los valores promedio. Ecuaciones de campo medio La pseudo temperatura es un índice del ruido.

Redes de Hopfield 23 asumiendo tenemos Eliminando términos crosstalk Corresponde a la ecuación de un ferromagneto Desaparición de estados espurios al aumentar la temperatura sobre un valor crítico, dependiente del tipo de estado espurio.

Redes de Hopfield 24 Aplicación en proceso de imagen Las redes de hopfield se aplican en el contexto del procesado Bayesiano de la imagen como mecanismos de modelado y cálculo de la estimación óptima. El caso más usual es el de la reconstrucción de la imagen, dados valores d i corruptos de la imagen se desea obtener V i los valores originales restaurados. La restauración lleva consigo un problema de interpolación.

Redes de Hopfield 25 Los estados de las unidades son los valores de la imagen restaurada, los valores de la imagen original son los inputs externos. Se trata de unidades continuas. Se construye una función de energía que incorpora las restricciones deseadas de suavidad y fidelidad. Caso 1D En esta función no existe más que un mínimo global, se puede buscar por descenso de gradiente directamente

Redes de Hopfield 26 Para modelar las discontinuidades se introducen procesos linea, modelados mediante unidades binarias Existe una discontinuidad entre V i y V i+1 La línea anula la restricción de suavidad Las unidades línea tienen un alto costo , para evitar la solución trivial nula

Redes de Hopfield 27 Penaliza contornos abiertos, penalizando plaquetas con numero impar de unidades de contorno activa. Extensión 2D trivial