Fusion de sistemas fuzzy y redes neuronales

Presentación del tema: "Fusion de sistemas fuzzy y redes neuronales"— Transcripción de la presentación:

1 Fusion de sistemas fuzzy y redes neuronales
Tomado de Kwang H. Lee, Division of Computer Science, KAIST

2 FS y NNs: metodos complementarios
Sistemas fuzzy Facil de representar conocimiento humano: usan terminos linguisticos y reglas if-then no tienen algoritmos de aprendizaje Redes neuronales capacidad de aprendizaje a partir de datos dificultad para la representacion de conocimiento

3 Tipos de fusion de FS y NNs
Concatenacion de NNs y FS Redes neuronales que usan sistemas fuzzy Sistemas fuzzy que usan NNs Modificacion de FS con NNs (sistemas neuro-fuzzy) Construccion de funciones de pertenencia con NNs

4 Concatenacion de redes neuronales y sistemas fuzzy

5 Combinacion en paralelo
Correccion de las salida de un FS con una NN FS NN +

6 Combinacion en paralelo: ejemplo
Mecanismo de correccion para una lavadora Fuzzy System Clothes mass (3 values) Clothes quality (4 values) Neural Network Electrical conductivity (5 values) Water flow speed Washing time Rinsing time Spinning time Correction values

7 Combinacion en cascada
La salida de un sistema es la entrada del otro sistema NN FS

8 Combinacion en cascada: ejemplo
Ventilador electrico japones Fuzzy System NN Ratio of sensor output estimate (b) cascade combination of NN and FS Value corresponding to distance Fan body Remote controller Center sensor(C) Right sensor (R) Left sensor (L) (a) the angle between remote controller and fan

9 Redes neuronales que usan sistemas fuzzy

10 Construccion de NNs con particion fuzzy del espacio de entrada
Los metodos en esta categoria usan un FS o una estructura de reglas fuzzy para diseñar la red neuronal En lugar de entrenar una sola NN para todos los datos de entrada-salida, este modelo construye varias redes

11 Construccion de NNs con particion fuzzy del espacio de entrada
Construye un clasificador fuzzy que agrupa (clusters) los dados de entrada-salida dados en varias clases

12 Construccion de NNs con particion fuzzy del espacio de entrada
Construye una NN por clase NNs sobre las particiones fuzzy If X is C1 Then NN1 NN2 NN3 If X is C2 Then If X is C3 Then

13 Training NNs for each class
Entrena las NNs con los dados I/O en la clase correspondiente C1 C2 C3 Fuzzy partitions NN1 NN2 NN3 Training NNs for each class Input Space If X is … Then C1 If X is … Then C2 If X is … Then C3 NNi If X is Ci Then

14 Modelo de Takagi y Hayashi
Un ejemplo de este modelo fue propuesto por Takagi y Hayashi En este modelo se usa una NN para construir un clasificador fuzzy y se propone un metodo para reducir el numero de reglas o de variables de entrada redundantes El modelo se resume a continuacion

15 Modelo de Takagi y Hayashi
Preparacion de los datos Los datos se dividen en dos grupos: Conjunto de entrenamiento (ntr) : Se usa para construir la NN Conjunto de prueba (nts): Se usa para reducir el # de variables de entrda m

16 Modelo de Takagi y Hayashi
Particion crisp del espacio de entrada Los datos en el conjunto de entrenamiento se agrupan en r clases mediante un metodo de clustering crisp: Cs( s = 1, 2, …, r ) Los datos pertenecientes a un grupo se denotan:

17 Modelo de Takagi y Hayashi
Desarrollo del clasificador fuzzy Se construye un clasificador fuzzy usando una red neuronal, NNmem NNmem se entrena usando los nuevos datos, NNmem cambia las fronteras crisp a fuzzy

18 Modelo de Takagi y Hayashi
Desarrollo de las redes neuronales Se construyen las NNs para cada Cs NNs aproxima a los datos dados que pertenecen a Cs Obteniendose la estructura de reglas fuzzy con redes neuronales

19 Modelo de Takagi y Hayashi
Reduccion de las variables de entrada Se evalua NNs usando el conjunto de prueba (suma de los errores) Se elimina una variable de entrada arbitraria xp Se entrena NNs con los datos sin xp Se evalua el desempeño de la nueva NNsp (suma de los errores) Si , xp puede descartarse Las mismas operaciones se mantienen para las m-1 variables de entrada restante

20 Modelo de Takagi y Hayashi
Las redes neuronales construyen una estructura de reglas fuzzy

21 Construccion de funciones de pertenencia con redes neuronales

22 Construccion de funciones de pertenencia con NNs
En este metodo se usa una red neuronal para generar unas reglas fuzzy compactas Las reglas fuzzy Se generan hipercubos fuzzy k-dimensionales en el espacio de entrada Se construyen NNs cuyas salidas son los grados que una entrada pertenece a cada regla

23 Construccion de funciones de pertenencia con NNs
Reglas fuzzy sobre hiper-espacios fuzzy C1 C2 C3 Input Space R1: If X is C1 then Y=F1 R2: If X is C2 then Y=F2 R3: If X is C3 then Y=F3 + Neural Network X F1 F2 F3

24 MFs con NNs: Ejemplo Controlador Hitachi para un rodillo
El sistema produce laminas planas de hierro, system making flat plates of iron, acero o aluminio 20 reglas fuzzy con 20 plantillas estandar de perfiles de superficie Una NN produce el grado en que superficie arbitraria pertenece a cada regla

25 MFs con NNs: Ejemplo NN Controlador Hitachi de un molino
If scanned shape is Then control A Then control B Then control C Controlling 20 roles Surface shape time NN

26 Sistemas fuzzy que usan redes neuronales

27 Modificacion de FS con NNs
En las redes neuronales ordinarias: Los nodos tienen la misma funcionalidad y estan conectados completamente con los nodos de capas vecinas En la representacion de un FS con una estructura de NN feedforward multicapa: Los nodos tienen diferente funcionalidad y no estan conectados completamente con los nodos de capas vecinas In the ordinary neural networks, nodes have the same functionality and are fully connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have different functionalities and are not fully connected to the nodes in the neighboring layers.

28 Modificacion de FS con NNs
Las diferencias surgen del hecho de que: Algunos nodos representan los terminos linguisticos de las variables de entrada Algunos nodos representan los terminos linguisticos de las variables de salida Algunos nodos y conecciones se usan para representar reglas fuzzy In the ordinary neural networks, nodes have the same functionality and are fully connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have different functionalities and are not fully connected to the nodes in the neighboring layers.

29 Modificacion de FS con NNs
Los meritos surgen del hecho de que: Es facil añadir conocimiento experto antes del aprendizaje Tiene capacidad de aprendizaje con backpropagation y otros algoritmos Por lo tanto, la convergencia a un minimo local puede no ser tan serio acomo en el caso de NNs ordinarias In the ordinary neural networks, nodes have the same functionality and are fully connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have different functionalities and are not fully connected to the nodes in the neighboring layers.

30 Red neuronal fuzzy Propuesta por Kwak y Lee (‘94) Cinco capas n m l k
X1 X2 Xm . L1 Input var. L2 Input var’s term L3 Rule L4 Output var. I11 I12 I13 I21 I22 Im1 Im2 R1 R2 R3 Rr n m l k j Wmn Wlm Wkl Wjk Y T1 T2 Tt Cinco capas 1: nodos de entrada 2: terminos linguisticos de las entradas 3: antecedentes de las reglas 4: consecuente de las reglas 5: nodo de salida con la defuzificacion

31 Red neuronal fuzzy Segunda capa (terminos linguisticos de entrada)

32 Red neuronal fuzzy Tercera capa (antecedentes de las reglas)
“IF X1 is I11 and ··· and Xm is Im1 THEN”

33 Red neuronal fuzzy Cuarta capa (consecuentes de las reglas)
“IF consecuent part THEN Y is Tt ” un nodo representa un termino linguistico de la variable de salida.

34 Red neuronal fuzzy Bi es el conjunto fuzzy representado por el nodo ij
Quinta capa (Defuzificacion) Bi es el conjunto fuzzy representado por el nodo ij en la cuarta capa xi es la salida del nodo

35 Red neuronal fuzzy Quinta capa

36 Red neuronal fuzzy Algoritmo de aprendizaje basado en backpropagation
Se encuentran: Los pesos de las conexiones entre las capas 3 y 4 Los parametros en los nodos de las capas 2 y 4

37 Sistema de Inferencia Adaptivo Neuro Difuso (ANFIS)

38 Estructura de la red anfis
Π N y* x1 x2 µ1 µ2 x1 x2

39 Estructura de la red anfis
Layer 1 : Each node in this layer is an input node that just passes external signal to the next layer .

40 Estructura de la red anfis
Layer 2 : Each node in this layer acts as a membership fun , and its output specifies the degree to which the given xi satisfies the parameters in this layer are referred to as precondition parameters.

41 Estructura de la red anfis
Layer 3 : Each node in this layer performs Each node output represents the firing strength of a rule. In fact, other t-norm operators can be used as the node function for the generalized AND function.

42 Estructura de la red anfis
Layer 4 : Each node in this layer calculates the normalized firing strength of a rule

43 Estructura de la red anfis
Layer 5 : Each node j in this layer calculates the weighted consequent value Parameters , and are to be tuned . Parameters in this layer are referred to as consequent parameters.

44 Estructura de la red anfis
Layer 6 : The node in this layer sums all incoming signal to obtain the final inferred result for the whole system .

45 Las reglas en la red anfis
R1 : IF x1 is A11 AND x2 is A21 , THEN y = f1 = ao1+a11x1+a21x2 R2 : IF x1 is A12 AND x2 is A22 , THEN y = f2 = ao2+a12x1+a22x2.

46 Inferencia en la red anfis

47 Aprendizaje en la red anfis

48 Aprendizaje en la red anfis

49 Aprendizaje en la red anfis

50 Aprendizaje en la red anfis
where are the kth training pair , k = 1 , 2 , … P .

51 Aprendizaje en la red anfis
Takagi Sugeno FIS Input partitioning LSE + gradient descent training A1 A2 B1 B2 S / x y w1 w4 w1*z1 w4*z4 Swi*zi Swi z P nonlinear parameters linear fixed least-squares steepest descent Forward pass Backward pass MF parameter (nonlinear) Coefficient parameter (linear)

52 Fuente Kwang-Hyung Lee, Fuzzy Theory,Textbook