3 Redes Recurrentes y Autónomas El modelo de Hopfield discreto Introducido en 1982 por el físico norteamericano John Hopfield “Neural Networks and Physical Systems with Emergent Collective Computational Abilities” Unidad de proceso bipolar: pesos sinápticos w1,w2 ,…,wn, umbral o sesgo,  potencial sináptico h = w1 x1 + w2 x2 + … + wn xn

El modelo de Hopfield discreto w1 x1 w2 x2 y w3 x3 1 h  -1

El modelo de Hopfield discreto Arquitectura (Topología) Dinámica de la Computación w31 w12 w23 Función de Energía Computacional

El modelo de Hopfield discreto ¿Qué se pretende con esta dinámica de la computación? ¿Dejarán de cambiar de estado alguna vez las unidades de proceso cuando se actualizan? Es decir, se estabilizará la red en algún momento. ¿Cómo son las configuraciones de la red cuando se estabiliza? ¿Para qué se puede utilizar esta red neuronal?

¿Qué se pretende? wij > 0 si·sj = 1 (concordancia) Se pretende alcanzar concordancia entre los estados de las unidades de proceso según las conexiones sinápticas: wij > 0 si·sj = 1 (concordancia) wij < 0 si·sj = 1 (discordancia) wij·si·sj sea máximo Maximizar

wij = wji (simetría de los pesos) ¿Qué se pretende? La correlación entre la unidad de proceso i y la unidad j es igual a la correlación entre la unidad de proceso j y la i, por lo tanto wij = wji (simetría de los pesos) Como cada conexión se ha contado dos veces, Maximizar

wii = 0 (sin autoconexiones) ¿Qué se pretende? La correlación entre la unidad de proceso i y ella misma siempre vale 1, es decir, sisj = 1. Por lo tanto, como wij·si·sj = wij , dicho producto es constante (no depende de las variables de estado). Por ello, se puede tomar wii = 0 (sin autoconexiones)

¿Qué se persigue? ¿Qué papel juega entonces el umbral? Como señal externa (con valor 1) que llega a la unidad de proceso (con peso i ) de manera que si i > 0 trata de desactivarla si i < 0 trata de activarla Es decir, persigue que i (1)·si sea máximo Maximizar Minimizar

Evolución en el modelo de Hopfield discreto y secuencial (asíncrono) Teorema: Si en la iteración k+1 actualizamos el estado de la unidad de proceso r según la regla de actualización anterior, manteniendo iguales los estados de las unidades de procesos restantes, entonces la función de energía decrece, es decir, Demostración:

Evolución en el modelo de Hopfield discreto y secuencial (asíncrono) Como los pesos son simétricos

Evolución en el modelo de Hopfield discreto y secuencial (asíncrono) Si sólo actualizamos la unidad de proceso r entonces si(k)=0 para todo ir,  0 pues si entonces sr(k+1)=1 y sr(k )  0, si entonces sr(k+1)=-1 y sr(k )  0, o porque

Evolución en el modelo de Hopfield discreto y secuencial Corolario: La red recurrente bipolar alcanza un estado estable en un número finito de pasos utilizando la regla de actualización secuencial y dicho estado corresponde a un mínimo local de la función de energía. Ejemplo: Biestable Función de energía E(k) = s1· s2 Si la red parte de la configuración (1,1) y actualizamos la primera unidad de proceso, como el potencial sináptico es 1 entonces se desactiva Alcanza la configuración (1,1). La red se estabiliza en dicha configuración. El otro mínimo local corresponde a la configuración (1,-1) w12=-1 w21=-1

Evolución en el modelo de Hopfield discreto y paralelo (sincronizado) Teorema 2. Si la matriz de pesos sinápticos es simétrica y semidefinida positiva, con todos los elementos de la matriz diagonal nulos, entonces la función de energía decrece, o permanece igual, en cada actualización simultánea de las unidades de proceso Demostración: Corolario: La red recurrente bipolar alcanza un estado estable en un número finito de pasos utilizando la regla de actualización paralela.

El modelo de Hopfield continuo Estado discreto si  {-1, 1} Tiempo (actualización) discreto, k = 1,2,3,… x1 1 x2 h  x3 -1 Estado continuo si  [-1, 1] Tiempo (actualización) continuo, t  (0, ]

El modelo de Hopfield continuo Estado discreto si  {-1, 1} Tiempo (actualización) discreto, k = 1,2,3,… Estado continuo si  [-1, 1] Tiempo (actualización) continuo, t  (0, ]

El modelo de Hopfield continuo Dinámica de la computación Función de energía computacional

Evolución en el modelo de Hopfield continuo Teorema 3 (de convergencia) En una red recurrente continua guiada por la regla de actualización anterior la función de energía computacional disminuye, o por lo menos no cambia, en cada actualización y alcanza un estado estable en un mínimo local de dicha función. Demostración:  0  0

Evolución en el modelo de Hopfield continuo pues La red queda atrapada en los mínimos locales de la función de energía

Problemas de Optimización w12=-1 w12 = 1(-1) = -1 w21 = (-1)1 = -1 w11 = w22 = 0. w21=-1 Función de energía: E(k) = s1(k)·s2(k). Configuraciones posibles: (1,1), (1,-1), (-1,1) y (-1,-1) Estados estables: (1,-1) y (-1,1) (-1,1) estable (1,1) h1= (-1)1= -1 (-1,1) (-1,1) estable

Problemas de las N Torres 

Problemas de las N Torres

Problemas de las N Torres Función de energía: sij

Problemas de las N Torres wij,ik wij,rj ij

Problemas de las N Torres

Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo) Dado un grafo G=(V,E), se trata de encontrar un subconjunto XV de forma que cada arista de E tenga al menos un vértice en dicho conjunto X, y con mínima cardinalidad N vértices Arquitectura de la red: N unidades de proceso

Al menos una de las dos unidades de proceso tiene que estar activa Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo) El objetivo es Minimizar Sujeto a Al menos una de las dos unidades de proceso tiene que estar activa aij vale cero si no existe la arista (i,j) y vale uno si existe

Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo) El objetivo es Minimizar

Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo) , Como el peso sináptico wij es negativo favorece que una unidad esté activada y la otra desactivada (si ya hemos puesto una cámara de vídeo en un vértice no hay que poner otra en el otro vértice pues la calle queda vigilada)

El problema de la bipartición de un grafo Arquitectura: 2N unidades de proceso Minimizar Sujeto a vale 1 si si = sj vale 0 si si  sj Minimizar

El problema de la bipartición de un grafo Minimizar

El problema del viajante de comercio Arquitectura: N unidades de proceso Minimizar Sujeto a