La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

3 Redes Recurrentes y Autónomas El modelo de Hopfield discreto Introducido en 1982 por el físico norteamericano John Hopfield Neural Networks and Physical.

Presentaciones similares


Presentación del tema: "3 Redes Recurrentes y Autónomas El modelo de Hopfield discreto Introducido en 1982 por el físico norteamericano John Hopfield Neural Networks and Physical."— Transcripción de la presentación:

1 3 Redes Recurrentes y Autónomas El modelo de Hopfield discreto Introducido en 1982 por el físico norteamericano John Hopfield Neural Networks and Physical Systems with Emergent Collective Computational Abilities Unidad de proceso bipolar: pesos sinápticos w 1,w 2,…,w n, umbral o sesgo, potencial sináptico h = w 1 x 1 + w 2 x 2 + … + w n x n

2 El modelo de Hopfield discreto x1x1 x2x2 x3x3 y h 1 w1w1 w2w2 w3w3

3 El modelo de Hopfield discreto w 31 w 12 w 23 Función de Energía Computacional Arquitectura (Topología) Dinámica de la Computación

4 El modelo de Hopfield discreto ¿Qué se pretende con esta dinámica de la computación? ¿Dejarán de cambiar de estado alguna vez las unidades de proceso cuando se actualizan? Es decir, se estabilizará la red en algún momento. ¿Cómo son las configuraciones de la red cuando se estabiliza? ¿Para qué se puede utilizar esta red neuronal?

5 ¿Qué se pretende? Se pretende alcanzar concordancia entre los estados de las unidades de proceso según las conexiones sinápticas: w ij > 0 s i ·s j = 1 (concordancia) w ij < 0 s i ·s j = 1 (discordancia) w ij ·s i ·s j sea máximo Maximizar

6 ¿Qué se pretende? La correlación entre la unidad de proceso i y la unidad j es igual a la correlación entre la unidad de proceso j y la i, por lo tanto w ij = w ji (simetría de los pesos) Maximizar Como cada conexión se ha contado dos veces,

7 ¿Qué se pretende? La correlación entre la unidad de proceso i y ella misma siempre vale 1, es decir, s i s j = 1. Por lo tanto, como w ij ·s i ·s j = w ij, dicho producto es constante (no depende de las variables de estado). Por ello, se puede tomar w ii = 0 (sin autoconexiones)

8 ¿Qué se persigue? ¿Qué papel juega entonces el umbral? Maximizar Como señal externa (con valor 1) que llega a la unidad de proceso (con peso i ) de manera que si i > 0 trata de desactivarla si i < 0 trata de activarla Es decir, persigue que i ( 1) ·s i sea máximo Minimizar

9 Evolución en el modelo de Hopfield discreto y secuencial (asíncrono) Teorema: Teorema: Si en la iteración k+1 actualizamos el estado de la unidad de proceso r según la regla de actualización anterior, manteniendo iguales los estados de las unidades de procesos restantes, entonces la función de energía decrece, es decir, Demostración Demostración:

10 Evolución en el modelo de Hopfield discreto y secuencial (asíncrono) simétricos Como los pesos son simétricos

11 Evolución en el modelo de Hopfield discreto y secuencial (asíncrono) unidad de proceso r Si sólo actualizamos la unidad de proceso r entonces s i (k)=0 para todo i r, 0 pues entonces s r (k+1)=1 y s r (k ) 0, entonces s r (k+1)=-1 y s r (k ) 0, si o porque 0

12 Evolución en el modelo de Hopfield discreto y secuencial Corolario: La red recurrente bipolar alcanza un estado estable en un número finito de pasos utilizando la regla de actualización secuencial y dicho estado corresponde a un mínimo local de la función de energía. Biestable Ejemplo: Biestable Función de energía Función de energía E(k) = s 1 · s 2 potencial sinápticodesactiva Si la red parte de la configuración (1,1) y actualizamos la primera unidad de proceso, como el potencial sináptico es 1 entonces se desactiva estabiliza Alcanza la configuración ( 1,1). La red se estabiliza en dicha configuración. El otro mínimo local corresponde a la configuración (1,-1) w 12 =-1 w 21 =-1

13 Evolución en el modelo de Hopfield discreto y paralelo (sincronizado) Teorema 2. Si la matriz de pesos sinápticos es simétrica y semidefinida positiva, con todos los elementos de la matriz diagonal nulos, entonces la función de energía decrece, o permanece igual, en cada actualización simultánea de las unidades de proceso Demostración Demostración: Corolario: La red recurrente bipolar alcanza un estado estable en un número finito de pasos utilizando la regla de actualización paralela.

14 El modelo de Hopfield continuo x1x1 x2x2 x3x3 h 1 Estado discreto s i {-1, 1} Tiempo (actualización) discreto, k = 1,2,3,… Estado continuo s i [-1, 1] Tiempo (actualización) continuo, t (0, ]

15 El modelo de Hopfield continuo Estado discreto s i {-1, 1} Tiempo (actualización) discreto, k = 1,2,3,… Estado continuo s i [-1, 1] Tiempo (actualización) continuo, t (0, ]

16 El modelo de Hopfield continuo Dinámica de la computación Función de energía computacional

17 Evolución en el modelo de Hopfield continuo Teorema 3 (de convergencia) En una red recurrente continua guiada por la regla de actualización anterior la función de energía computacional disminuye, o por lo menos no cambia, en cada actualización y alcanza un estado estable en un mínimo local de dicha función. Demostración Demostración: 0 0

18 Evolución en el modelo de Hopfield continuo pues La red queda atrapada en los mínimos locales de la función de energía

19 Problemas de Optimización Configuraciones posibles Configuraciones posibles: (1,1), (1,-1), (-1,1) y (-1,-1) Estados estables Estados estables: (1,-1) y (-1,1) w 12 =-1 w 21 =-1 w 12 = 1(-1) = -1 w 21 = (-1)1 = -1 w 11 = w 22 = 0. Función de energía: E(k) = s 1 (k)·s 2 (k). (1,1) h 1 = (-1)1= -1 (-1,1) (-1,1) estable

20 Problemas de las N Torres

21 Problemas de las N Torres

22 Función de energía: s ij

23 Problemas de las N Torres E = w ij,ik ij w ij,rj

24 Problemas de las N Torres

25 Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo) Dado un grafo G=(V,E), se trata de encontrar un subconjunto X V de forma que cada arista de E tenga al menos un vértice en dicho conjunto X, y con mínima cardinalidad Arquitectura de la red: N unidades de proceso N vértices

26 Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo) El objetivo es Minimizar Sujeto a Al menos una de las dos unidades de proceso tiene que estar activa a ij vale cero si no existe la arista (i,j) y vale uno si existe

27 Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo) El objetivo es Minimizar

28 Problema del recubrimiento minimal de los vértices de un grafo (servicios de vigilancia por vídeo), Como el peso sináptico w ij es negativo favorece que una unidad esté activada y la otra desactivada (si ya hemos puesto una cámara de vídeo en un vértice no hay que poner otra en el otro vértice pues la calle queda vigilada)

29 El problema de la bipartición de un grafo Arquitectura: 2N unidades de proceso Minimizar Sujeto a Minimizar vale 1 si s i = s j vale 0 si s i s j

30 El problema de la bipartición de un grafo Minimizar

31 El problema del viajante de comercio Arquitectura: N unidades de proceso Minimizar Sujeto a


Descargar ppt "3 Redes Recurrentes y Autónomas El modelo de Hopfield discreto Introducido en 1982 por el físico norteamericano John Hopfield Neural Networks and Physical."

Presentaciones similares


Anuncios Google