Fusion de sistemas fuzzy y redes neuronales Tomado de Kwang H. Lee, Division of Computer Science, KAIST

FS y NNs: metodos complementarios Sistemas fuzzy Facil de representar conocimiento humano: usan terminos linguisticos y reglas if-then no tienen algoritmos de aprendizaje Redes neuronales capacidad de aprendizaje a partir de datos dificultad para la representacion de conocimiento

Tipos de fusion de FS y NNs Concatenacion de NNs y FS Redes neuronales que usan sistemas fuzzy Sistemas fuzzy que usan NNs Modificacion de FS con NNs (sistemas neuro-fuzzy) Construccion de funciones de pertenencia con NNs

Concatenacion de redes neuronales y sistemas fuzzy

Combinacion en paralelo Correccion de las salida de un FS con una NN FS NN +

Combinacion en paralelo: ejemplo Mecanismo de correccion para una lavadora Fuzzy System Clothes mass (3 values) Clothes quality (4 values) Neural Network Electrical conductivity (5 values) Water flow speed Washing time Rinsing time Spinning time Correction values

Combinacion en cascada La salida de un sistema es la entrada del otro sistema NN FS

Combinacion en cascada: ejemplo Ventilador electrico japones Fuzzy System NN Ratio of sensor output estimate (b) cascade combination of NN and FS Value corresponding to distance Fan body Remote controller Center sensor(C) Right sensor (R) Left sensor (L) (a) the angle between remote controller and fan

Redes neuronales que usan sistemas fuzzy

Construccion de NNs con particion fuzzy del espacio de entrada Los metodos en esta categoria usan un FS o una estructura de reglas fuzzy para diseñar la red neuronal En lugar de entrenar una sola NN para todos los datos de entrada-salida, . . . . este modelo construye varias redes

Construccion de NNs con particion fuzzy del espacio de entrada Construye un clasificador fuzzy que agrupa (clusters) los dados de entrada-salida dados en varias clases

Construccion de NNs con particion fuzzy del espacio de entrada Construye una NN por clase NNs sobre las particiones fuzzy If X is C1 Then NN1 NN2 NN3 If X is C2 Then If X is C3 Then

Training NNs for each class Entrena las NNs con los dados I/O en la clase correspondiente C1 C2 C3 Fuzzy partitions NN1 NN2 NN3 Training NNs for each class Input Space If X is … Then C1 If X is … Then C2 If X is … Then C3 NNi If X is Ci Then

Modelo de Takagi y Hayashi Un ejemplo de este modelo fue propuesto por Takagi y Hayashi En este modelo se usa una NN para construir un clasificador fuzzy y se propone un metodo para reducir el numero de reglas o de variables de entrada redundantes El modelo se resume a continuacion

Modelo de Takagi y Hayashi Preparacion de los datos Los datos se dividen en dos grupos: Conjunto de entrenamiento (ntr) : Se usa para construir la NN Conjunto de prueba (nts): Se usa para reducir el # de variables de entrda m

Modelo de Takagi y Hayashi Particion crisp del espacio de entrada Los datos en el conjunto de entrenamiento se agrupan en r clases mediante un metodo de clustering crisp: Cs( s = 1, 2, …, r ) Los datos pertenecientes a un grupo se denotan:

Modelo de Takagi y Hayashi Desarrollo del clasificador fuzzy Se construye un clasificador fuzzy usando una red neuronal, NNmem NNmem se entrena usando los nuevos datos, NNmem cambia las fronteras crisp a fuzzy

Modelo de Takagi y Hayashi Desarrollo de las redes neuronales Se construyen las NNs para cada Cs NNs aproxima a los datos dados que pertenecen a Cs Obteniendose la estructura de reglas fuzzy con redes neuronales

Modelo de Takagi y Hayashi Reduccion de las variables de entrada Se evalua NNs usando el conjunto de prueba (suma de los errores) Se elimina una variable de entrada arbitraria xp Se entrena NNs con los datos sin xp Se evalua el desempeño de la nueva NNsp (suma de los errores) Si , xp puede descartarse Las mismas operaciones se mantienen para las m-1 variables de entrada restante

Modelo de Takagi y Hayashi Las redes neuronales construyen una estructura de reglas fuzzy

Construccion de funciones de pertenencia con redes neuronales

Construccion de funciones de pertenencia con NNs En este metodo se usa una red neuronal para generar unas reglas fuzzy compactas Las reglas fuzzy Se generan hipercubos fuzzy k-dimensionales en el espacio de entrada Se construyen NNs cuyas salidas son los grados que una entrada pertenece a cada regla

Construccion de funciones de pertenencia con NNs Reglas fuzzy sobre hiper-espacios fuzzy C1 C2 C3 Input Space R1: If X is C1 then Y=F1 R2: If X is C2 then Y=F2 R3: If X is C3 then Y=F3 + Neural Network X F1 F2 F3

MFs con NNs: Ejemplo Controlador Hitachi para un rodillo El sistema produce laminas planas de hierro, system making flat plates of iron, acero o aluminio 20 reglas fuzzy con 20 plantillas estandar de perfiles de superficie Una NN produce el grado en que superficie arbitraria pertenece a cada regla

MFs con NNs: Ejemplo NN Controlador Hitachi de un molino If scanned shape is Then control A Then control B Then control C Controlling 20 roles Surface shape time NN

Sistemas fuzzy que usan redes neuronales

Modificacion de FS con NNs En las redes neuronales ordinarias: Los nodos tienen la misma funcionalidad y estan conectados completamente con los nodos de capas vecinas En la representacion de un FS con una estructura de NN feedforward multicapa: Los nodos tienen diferente funcionalidad y no estan conectados completamente con los nodos de capas vecinas In the ordinary neural networks, nodes have the same functionality and are fully connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have different functionalities and are not fully connected to the nodes in the neighboring layers.

Modificacion de FS con NNs Las diferencias surgen del hecho de que: Algunos nodos representan los terminos linguisticos de las variables de entrada Algunos nodos representan los terminos linguisticos de las variables de salida Algunos nodos y conecciones se usan para representar reglas fuzzy In the ordinary neural networks, nodes have the same functionality and are fully connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have different functionalities and are not fully connected to the nodes in the neighboring layers.

Modificacion de FS con NNs Los meritos surgen del hecho de que: Es facil añadir conocimiento experto antes del aprendizaje Tiene capacidad de aprendizaje con backpropagation y otros algoritmos Por lo tanto, la convergencia a un minimo local puede no ser tan serio acomo en el caso de NNs ordinarias In the ordinary neural networks, nodes have the same functionality and are fully connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have different functionalities and are not fully connected to the nodes in the neighboring layers.

Red neuronal fuzzy Propuesta por Kwak y Lee (‘94) Cinco capas n m l k X1 X2 Xm . L1 Input var. L2 Input var’s term L3 Rule L4 Output var. I11 I12 I13 I21 I22 Im1 Im2 R1 R2 R3 Rr n m l k j Wmn Wlm Wkl Wjk Y T1 T2 Tt Cinco capas 1: nodos de entrada 2: terminos linguisticos de las entradas 3: antecedentes de las reglas 4: consecuente de las reglas 5: nodo de salida con la defuzificacion

Red neuronal fuzzy Segunda capa (terminos linguisticos de entrada)

Red neuronal fuzzy Tercera capa (antecedentes de las reglas) “IF X1 is I11 and ··· and Xm is Im1 THEN”

Red neuronal fuzzy Cuarta capa (consecuentes de las reglas) “IF consecuent part THEN Y is Tt ” un nodo representa un termino linguistico de la variable de salida.

Red neuronal fuzzy Bi es el conjunto fuzzy representado por el nodo ij Quinta capa (Defuzificacion) Bi es el conjunto fuzzy representado por el nodo ij en la cuarta capa xi es la salida del nodo

Red neuronal fuzzy Quinta capa

Red neuronal fuzzy Algoritmo de aprendizaje basado en backpropagation Se encuentran: Los pesos de las conexiones entre las capas 3 y 4 Los parametros en los nodos de las capas 2 y 4

Sistema de Inferencia Adaptivo Neuro Difuso (ANFIS)

Estructura de la red anfis Π N y* x1 x2 µ1 µ2 x1 x2

Estructura de la red anfis Layer 1 : Each node in this layer is an input node that just passes external signal to the next layer .

Estructura de la red anfis Layer 2 : Each node in this layer acts as a membership fun. , and its output specifies the degree to which the given xi satisfies the parameters in this layer are referred to as precondition parameters.

Estructura de la red anfis Layer 3 : Each node in this layer performs Each node output represents the firing strength of a rule. In fact, other t-norm operators can be used as the node function for the generalized AND function.

Estructura de la red anfis Layer 4 : Each node in this layer calculates the normalized firing strength of a rule

Estructura de la red anfis Layer 5 : Each node j in this layer calculates the weighted consequent value Parameters , and are to be tuned . Parameters in this layer are referred to as consequent parameters.

Estructura de la red anfis Layer 6 : The node in this layer sums all incoming signal to obtain the final inferred result for the whole system .

Las reglas en la red anfis R1 : IF x1 is A11 AND x2 is A21 , THEN y = f1 = ao1+a11x1+a21x2 R2 : IF x1 is A12 AND x2 is A22 , THEN y = f2 = ao2+a12x1+a22x2.

Inferencia en la red anfis

Aprendizaje en la red anfis

Aprendizaje en la red anfis

Aprendizaje en la red anfis

Aprendizaje en la red anfis where are the kth training pair , k = 1 , 2 , … P .

Aprendizaje en la red anfis Takagi Sugeno FIS Input partitioning LSE + gradient descent training A1 A2 B1 B2 S / x y w1 w4 w1*z1 w4*z4 Swi*zi Swi z P nonlinear parameters linear fixed least-squares steepest descent Forward pass Backward pass MF parameter (nonlinear) Coefficient parameter (linear)

Fuente Kwang-Hyung Lee, Fuzzy Theory,Textbook http://if.kaist.ac.kr/lecture/cs670/2001/index.html