3 Redes Recurrentes y Autónomas

Presentación del tema: "3 Redes Recurrentes y Autónomas"— Transcripción de la presentación:

1 3 Redes Recurrentes y Autónomas
El modelo de Hopfield discreto Introducido en 1982 por el físico norteamericano John Hopfield “Neural Networks and Physical Systems with Emergent Collective Computational Abilities” Unidad de proceso bipolar: pesos sinápticos w1,w2 ,…,wn, umbral o sesgo,  potencial sináptico h = w1 x1 + w2 x2 + … + wn xn

2 El modelo de Hopfield discreto
w1 x1 w2 x2 y w3 x3 1 h  -1

3 El modelo de Hopfield discreto
Arquitectura (Topología) Dinámica de la Computación w31 w12 w23 Función de Energía Computacional

4 El modelo de Hopfield discreto
¿Qué se pretende con esta dinámica de la computación? ¿Dejarán de cambiar de estado alguna vez las unidades de proceso cuando se actualizan? Es decir, se estabilizará la red en algún momento. ¿Cómo son las configuraciones de la red cuando se estabiliza? ¿Para qué se puede utilizar esta red neuronal?

5 ¿Qué se pretende? wij > 0 si·sj = 1 (concordancia)
Se pretende alcanzar concordancia entre los estados de las unidades de proceso según las conexiones sinápticas: wij > si·sj = (concordancia) wij < si·sj =  (discordancia) wij·si·sj sea máximo Maximizar

6 wij = wji (simetría de los pesos)
¿Qué se pretende? La correlación entre la unidad de proceso i y la unidad j es igual a la correlación entre la unidad de proceso j y la i, por lo tanto wij = wji (simetría de los pesos) Como cada conexión se ha contado dos veces, Maximizar

7 wii = 0 (sin autoconexiones)
¿Qué se pretende? La correlación entre la unidad de proceso i y ella misma siempre vale 1, es decir, sisj = 1. Por lo tanto, como wij·si·sj = wij , dicho producto es constante (no depende de las variables de estado). Por ello, se puede tomar wii = (sin autoconexiones)

8 ¿Qué se persigue? ¿Qué papel juega entonces el umbral?
Como señal externa (con valor 1) que llega a la unidad de proceso (con peso i ) de manera que si i > 0 trata de desactivarla si i < 0 trata de activarla Es decir, persigue que i (1)·si sea máximo Maximizar Minimizar

9 Evolución en el modelo de Hopfield discreto y secuencial (asíncrono)
Teorema: Si en la iteración k+1 actualizamos el estado de la unidad de proceso r según la regla de actualización anterior, manteniendo iguales los estados de las unidades de procesos restantes, entonces la función de energía decrece, es decir, Demostración:

10 Evolución en el modelo de Hopfield discreto y secuencial (asíncrono)
Como los pesos son simétricos

11 Evolución en el modelo de Hopfield discreto y secuencial (asíncrono)
Si sólo actualizamos la unidad de proceso r entonces si(k)=0 para todo ir,  pues si entonces sr(k+1)=1 y sr(k )  0, si entonces sr(k+1)=-1 y sr(k )  0, o porque

12 Evolución en el modelo de Hopfield discreto y secuencial
Corolario: La red recurrente bipolar alcanza un estado estable en un número finito de pasos utilizando la regla de actualización secuencial y dicho estado corresponde a un mínimo local de la función de energía. Ejemplo: Biestable Función de energía E(k) = s1· s2 Si la red parte de la configuración (1,1) y actualizamos la primera unidad de proceso, como el potencial sináptico es 1 entonces se desactiva Alcanza la configuración (1,1). La red se estabiliza en dicha configuración. El otro mínimo local corresponde a la configuración (1,-1) w12=-1 w21=-1

13 Evolución en el modelo de Hopfield discreto y paralelo (sincronizado)
Teorema 2. Si la matriz de pesos sinápticos es simétrica y semidefinida positiva, con todos los elementos de la matriz diagonal nulos, entonces la función de energía decrece, o permanece igual, en cada actualización simultánea de las unidades de proceso Demostración: Corolario: La red recurrente bipolar alcanza un estado estable en un número finito de pasos utilizando la regla de actualización paralela.

14 El modelo de Hopfield continuo
Estado discreto si  {-1, 1} Tiempo (actualización) discreto, k = 1,2,3,… x1 1 x2 h  x3 -1 Estado continuo si  [-1, 1] Tiempo (actualización) continuo, t  (0, ]

15 El modelo de Hopfield continuo
Estado discreto si  {-1, 1} Tiempo (actualización) discreto, k = 1,2,3,… Estado continuo si  [-1, 1] Tiempo (actualización) continuo, t  (0, ]

16 El modelo de Hopfield continuo
Dinámica de la computación Función de energía computacional

17 Evolución en el modelo de Hopfield continuo
Teorema 3 (de convergencia) En una red recurrente continua guiada por la regla de actualización anterior la función de energía computacional disminuye, o por lo menos no cambia, en cada actualización y alcanza un estado estable en un mínimo local de dicha función. Demostración:  0  0

18 Evolución en el modelo de Hopfield continuo
pues La red queda atrapada en los mínimos locales de la función de energía

19 Problemas de Optimización
w12=-1 w12 = 1(-1) = -1 w21 = (-1)1 = -1 w11 = w22 = 0. w21=-1 Función de energía: E(k) = s1(k)·s2(k). Configuraciones posibles: (1,1), (1,-1), (-1,1) y (-1,-1) Estados estables: (1,-1) y (-1,1) (-1,1) estable (1,1) h1= (-1)1= (-1,1) (-1,1) estable

20 Problemas de las N Torres


21 Problemas de las N Torres

22 Problemas de las N Torres
Función de energía: sij

23 Problemas de las N Torres
wij,ik wij,rj ij

24 Problemas de las N Torres

25 Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo)
Dado un grafo G=(V,E), se trata de encontrar un subconjunto XV de forma que cada arista de E tenga al menos un vértice en dicho conjunto X, y con mínima cardinalidad N vértices Arquitectura de la red: N unidades de proceso

26 Al menos una de las dos unidades de proceso tiene que estar activa
Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo) El objetivo es Minimizar Sujeto a Al menos una de las dos unidades de proceso tiene que estar activa aij vale cero si no existe la arista (i,j) y vale uno si existe

27 Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo)
El objetivo es Minimizar

28 Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo)
, Como el peso sináptico wij es negativo favorece que una unidad esté activada y la otra desactivada (si ya hemos puesto una cámara de vídeo en un vértice no hay que poner otra en el otro vértice pues la calle queda vigilada)

29 El problema de la bipartición de un grafo
Arquitectura: 2N unidades de proceso Minimizar Sujeto a vale 1 si si = sj vale 0 si si  sj Minimizar

30 El problema de la bipartición de un grafo
Minimizar

31 El problema del viajante de comercio
Arquitectura: N unidades de proceso Minimizar Sujeto a