Computacion inteligente 13/04/2017 Computacion inteligente Fuzzy Clustering

Contenido Clustering Fuzzy de las c-medias El algoritmo 13/04/2017 Contenido Clustering Fuzzy de las c-medias El algoritmo Parametros del algoritmo Ejemplos de aplicación

Clustering Algorithms 13/04/2017 Clustering Algorithms

Clustering Fuzzy de las c-medias 13/04/2017 Clustering Fuzzy de las c-medias

El algoritmo de clustering 13/04/2017 El algoritmo de clustering El clustering c-means es un proceso de optimizacion. Dada la matriz Z, encontrar: el numero de clusters K, La matriz de particion U, la matriz de prototipos V, basado en, la minimizacion de una funcion objetivo, (Dunn, 1974; Bezdek, 1981):

El proceso de optimizacion 13/04/2017 El proceso de optimizacion Minimizar: Sujeto a las restricciones impuestas a la matriz U.

Optimizacion: condiciones sobre U 13/04/2017 Optimizacion: condiciones sobre U Los elementos de U fuzzy satisfacen

13/04/2017 Medida de la distancia La norma de la distancia es distinta para cada direccion La matriz A es comun a todos los clusters

Medida de las Distancia 13/04/2017 Medida de las Distancia Norma euclidiana Norma del producto interno

Diferentes medidas de la distancias 13/04/2017 Diferentes medidas de la distancias La norma influye en el criterio de agrupamiento

Optimizacion: la funcion objetivo 13/04/2017 Optimizacion: la funcion objetivo Definiendo Hacer cero los gradientes de J con respecto a U, V, y : Multiplicadores de Lagrange

El algoritmo FCM (fuzzy c-means) 13/04/2017 El algoritmo FCM (fuzzy c-means) Se puede demostrar que, si m>1

13/04/2017 El algoritmo

Pasos del algoritmo c-means 13/04/2017 Pasos del algoritmo c-means After King, 2000 After King, 2000

El algoritmo FCM (fuzzy c-means) 13/04/2017 El algoritmo FCM (fuzzy c-means) Paso 1: inicializacion Escoger el numero de clusters c < N Escoger el exponente m, Escoger la matriz A, Selccionar la tolerancia para terminar la iteracion Inicializar la matriz de particion U aleatoriamente.

El algoritmo FCM (fuzzy c-means) 13/04/2017 El algoritmo FCM (fuzzy c-means) Paso 2:calcular los prototipos Paso 3:calcular las distancias

El algoritmo FCM (fuzzy c-means) 13/04/2017 El algoritmo FCM (fuzzy c-means) Paso 4: actualizar la matriz de particion Paso 5: verificar

Parametros del algoritmo 13/04/2017 Parametros del algoritmo

Validacion del numero de clusters 13/04/2017 Validacion del numero de clusters ¿Cómo determinar el numero apropiado de clusters? Coeficiente de particion, F maximizar Entropia de la particion, H minimizar Exponente de proporcion, P maximizar [Babuska] Validity measures are scalar indices that assess the goodness of the obtained partition. Clustering algorithms generally aim at locating well-separated and compact clusters. When the number of clusters is chosen equal to the number of groups that actually exist in the data, it can be expected that the clus-tering algorithm will identify them correctly. When this is not the case, misclassifications appear, and the clusters are not likely to be well separated and compact. Hence, most cluster validity measures are designed to quantify the separation and the compactness of the clusters. However, as Bezdek (1981) points out, the concept of cluster validity is open to interpretation and can be formulated in different ways. Consequently, many validity measures have been introduced in the literature. Estas medidas se calculan despues de completar el clustering

Validacion: coeficiente de particion 13/04/2017 Validacion: coeficiente de particion F=1 es crisp F=1/c significa que cada observacion tiene grado de pertenencia igual a 1/c a cada cluster

Validacion: entropia de la particion 13/04/2017 Validacion: entropia de la particion H=0 es crisp H=ln(c) significa que cada observacion tiene grado de pertenencia igual a 1/c a cada cluster

Validacion: exponente de proporcion 13/04/2017 Validacion: exponente de proporcion P= is crisp P=0 significa que cada observacion tiene grado de pertenencia igual a cada cluster

Xie-Beni index (1991) Minimizar 13/04/2017 This index can be interpreted as the ratio of the total within-group variance and the separation of the cluster centers.

El Parametro de Fuzificacion m 13/04/2017 El Parametro de Fuzificacion m Influye significativamente en la fuzificacion de la particion resultante m=1 particion hard m →∞, particion completamente fuzzy m=2 valor tipico Fuzziness Parameter. The weighting exponent m is a rather important parameter as well, because it significantly influences the fuzziness of the resulting partition. As m approaches one from above, the partition becomes hard (muik∈{0 ,1 }) and vi are ordinary means of the clusters. As m →∞, the partition becomes completely fuzzy (muik =1 /c ) and the cluster means are all equal to the mean of Z . These limit properties of (4.6) are independent of the optimization method used (Pal and Bezdek, 1995). Usually, m =2 is initially chosen. Estas propiedades son independientes del metodo de optimizacion

Medidas de las Distancias: la matriz A 13/04/2017 Medidas de las Distancias: la matriz A Teniendo en cuenta las varianzas en las diferentes direcciones A choice for A is a diagonal matrix that accounts for different variances in the directions of the coordinate axes of Z :

Medidas de las Distancias: la matriz A 13/04/2017 Medidas de las Distancias: la matriz A Teniendo en cuenta la matriz de covarianza Norma de Mahalanobis A choice for A is a diagonal matrix that accounts for different variances in the directions of the coordinate axes of Z :

Diferentes medidas de la distancias 13/04/2017 Diferentes medidas de la distancias The norm influences the clustering criterion by changing the measure of dissimilarity. The Euclidean norm induces hyperspherical clusters (surfaces of constant membership are hyperspheres). Both the diagonal and the Mahalanobis norm generate hyperellipsoidal clusters. With the diagonal norm, the axes of the hyperellipsoids are parallel to the coordinate axes, while with the Mahalanobis norm the orientation of the hyperellipsoid is arbitrary, as shown in Figure La norma influye en el criterio de agrupamiento

Algoritmo de Gustafson-Kessel (1979) 13/04/2017 Algoritmo de Gustafson-Kessel (1979) La norma de la distancia es distinta para cada cluster Cada cluster tiene su propia matriz Ai ALGORITMO DE GUSTAFSON-KESSEL Gustafson and Kessel (Gustafson and Kessel, 1979) extended the standard fuzzy c-means algorithm by employing an adaptive distance norm, in order to detect clusters of different geometrical shapes in one data set. Each cluster has its own norm-inducing matrix Ai ,

Algoritmo de Gustafson-Kessel 13/04/2017 Algoritmo de Gustafson-Kessel

Ejemplos de aplicacion 13/04/2017 Ejemplos de aplicacion

Extraccion de las reglas por clustering: Modelo 13/04/2017 Extraccion de las reglas por clustering: Modelo After Babuska Fuzzy clustering is applied to discover regions in the product space of the input and output variables in which the system can be approximated locally by simple, such as linear submodels (Babuska, 1998). The number of clusters c determines the number of rules in the fuzzy model obtained.

Extraccion de las reglas por clustering: Modelo inverso 13/04/2017 Extraccion de las reglas por clustering: Modelo inverso After Babuska

Fuentes Robert Babuska. Course Fuzzy and Neural Control, 2001/2002. 13/04/2017 Fuentes Robert Babuska. Course Fuzzy and Neural Control, 2001/2002. Kevin M. Passino, Stephen Yurkovich, Fuzzy Control. Addison Wesley Longman, Inc. 1998 Jonathan R. King, New Applications of Fuzzy Logic. University of East Anglia, Norwich England. PHD thesis, december 2000