Computacion inteligente

Presentación del tema: "Computacion inteligente"— Transcripción de la presentación:

1 Computacion inteligente
13/04/2017 Computacion inteligente Fuzzy Clustering

2 Contenido Clustering Fuzzy de las c-medias El algoritmo
13/04/2017 Contenido Clustering Fuzzy de las c-medias El algoritmo Parametros del algoritmo Ejemplos de aplicación

3 Clustering Algorithms
13/04/2017 Clustering Algorithms

4 Clustering Fuzzy de las c-medias
13/04/2017 Clustering Fuzzy de las c-medias

5 El algoritmo de clustering
13/04/2017 El algoritmo de clustering El clustering c-means es un proceso de optimizacion. Dada la matriz Z, encontrar: el numero de clusters K, La matriz de particion U, la matriz de prototipos V, basado en, la minimizacion de una funcion objetivo, (Dunn, 1974; Bezdek, 1981):

6 El proceso de optimizacion
13/04/2017 El proceso de optimizacion Minimizar: Sujeto a las restricciones impuestas a la matriz U.

7 Optimizacion: condiciones sobre U
13/04/2017 Optimizacion: condiciones sobre U Los elementos de U fuzzy satisfacen

8 13/04/2017 Medida de la distancia La norma de la distancia es distinta para cada direccion La matriz A es comun a todos los clusters

9 Medida de las Distancia
13/04/2017 Medida de las Distancia Norma euclidiana Norma del producto interno

10 Diferentes medidas de la distancias
13/04/2017 Diferentes medidas de la distancias La norma influye en el criterio de agrupamiento

11 Optimizacion: la funcion objetivo
13/04/2017 Optimizacion: la funcion objetivo Definiendo Hacer cero los gradientes de J con respecto a U, V, y : Multiplicadores de Lagrange

12 El algoritmo FCM (fuzzy c-means)
13/04/2017 El algoritmo FCM (fuzzy c-means) Se puede demostrar que, si m>1

13 13/04/2017 El algoritmo

14 Pasos del algoritmo c-means
13/04/2017 Pasos del algoritmo c-means After King, 2000 After King, 2000

15 El algoritmo FCM (fuzzy c-means)
13/04/2017 El algoritmo FCM (fuzzy c-means) Paso 1: inicializacion Escoger el numero de clusters c < N Escoger el exponente m, Escoger la matriz A, Selccionar la tolerancia para terminar la iteracion Inicializar la matriz de particion U aleatoriamente.

16 El algoritmo FCM (fuzzy c-means)
13/04/2017 El algoritmo FCM (fuzzy c-means) Paso 2:calcular los prototipos Paso 3:calcular las distancias

17 El algoritmo FCM (fuzzy c-means)
13/04/2017 El algoritmo FCM (fuzzy c-means) Paso 4: actualizar la matriz de particion Paso 5: verificar

18 Parametros del algoritmo
13/04/2017 Parametros del algoritmo

19 Validacion del numero de clusters
13/04/2017 Validacion del numero de clusters ¿Cómo determinar el numero apropiado de clusters? Coeficiente de particion, F maximizar Entropia de la particion, H minimizar Exponente de proporcion, P maximizar [Babuska] Validity measures are scalar indices that assess the goodness of the obtained partition. Clustering algorithms generally aim at locating well-separated and compact clusters. When the number of clusters is chosen equal to the number of groups that actually exist in the data, it can be expected that the clus-tering algorithm will identify them correctly. When this is not the case, misclassifications appear, and the clusters are not likely to be well separated and compact. Hence, most cluster validity measures are designed to quantify the separation and the compactness of the clusters. However, as Bezdek (1981) points out, the concept of cluster validity is open to interpretation and can be formulated in different ways. Consequently, many validity measures have been introduced in the literature. Estas medidas se calculan despues de completar el clustering

20 Validacion: coeficiente de particion
13/04/2017 Validacion: coeficiente de particion F=1 es crisp F=1/c significa que cada observacion tiene grado de pertenencia igual a 1/c a cada cluster

21 Validacion: entropia de la particion
13/04/2017 Validacion: entropia de la particion H=0 es crisp H=ln(c) significa que cada observacion tiene grado de pertenencia igual a 1/c a cada cluster

22 Validacion: exponente de proporcion
13/04/2017 Validacion: exponente de proporcion P= is crisp P=0 significa que cada observacion tiene grado de pertenencia igual a cada cluster

23 Xie-Beni index (1991) Minimizar 13/04/2017
This index can be interpreted as the ratio of the total within-group variance and the separation of the cluster centers.

24 El Parametro de Fuzificacion m
13/04/2017 El Parametro de Fuzificacion m Influye significativamente en la fuzificacion de la particion resultante m=1 particion hard m →∞, particion completamente fuzzy m=2 valor tipico Fuzziness Parameter. The weighting exponent m is a rather important parameter as well, because it significantly influences the fuzziness of the resulting partition. As m approaches one from above, the partition becomes hard (muik∈{0 ,1 }) and vi are ordinary means of the clusters. As m →∞, the partition becomes completely fuzzy (muik =1 /c ) and the cluster means are all equal to the mean of Z . These limit properties of (4.6) are independent of the optimization method used (Pal and Bezdek, 1995). Usually, m =2 is initially chosen. Estas propiedades son independientes del metodo de optimizacion

25 Medidas de las Distancias: la matriz A
13/04/2017 Medidas de las Distancias: la matriz A Teniendo en cuenta las varianzas en las diferentes direcciones A choice for A is a diagonal matrix that accounts for different variances in the directions of the coordinate axes of Z :

26 Medidas de las Distancias: la matriz A
13/04/2017 Medidas de las Distancias: la matriz A Teniendo en cuenta la matriz de covarianza Norma de Mahalanobis A choice for A is a diagonal matrix that accounts for different variances in the directions of the coordinate axes of Z :

27 Diferentes medidas de la distancias
13/04/2017 Diferentes medidas de la distancias The norm influences the clustering criterion by changing the measure of dissimilarity. The Euclidean norm induces hyperspherical clusters (surfaces of constant membership are hyperspheres). Both the diagonal and the Mahalanobis norm generate hyperellipsoidal clusters. With the diagonal norm, the axes of the hyperellipsoids are parallel to the coordinate axes, while with the Mahalanobis norm the orientation of the hyperellipsoid is arbitrary, as shown in Figure La norma influye en el criterio de agrupamiento

28 Algoritmo de Gustafson-Kessel (1979)
13/04/2017 Algoritmo de Gustafson-Kessel (1979) La norma de la distancia es distinta para cada cluster Cada cluster tiene su propia matriz Ai ALGORITMO DE GUSTAFSON-KESSEL Gustafson and Kessel (Gustafson and Kessel, 1979) extended the standard fuzzy c-means algorithm by employing an adaptive distance norm, in order to detect clusters of different geometrical shapes in one data set. Each cluster has its own norm-inducing matrix Ai ,

29 Algoritmo de Gustafson-Kessel
13/04/2017 Algoritmo de Gustafson-Kessel

30 Ejemplos de aplicacion
13/04/2017 Ejemplos de aplicacion

31 Extraccion de las reglas por clustering: Modelo
13/04/2017 Extraccion de las reglas por clustering: Modelo After Babuska Fuzzy clustering is applied to discover regions in the product space of the input and output variables in which the system can be approximated locally by simple, such as linear submodels (Babuska, 1998). The number of clusters c determines the number of rules in the fuzzy model obtained.

32 Extraccion de las reglas por clustering: Modelo inverso
13/04/2017 Extraccion de las reglas por clustering: Modelo inverso After Babuska

33 Fuentes Robert Babuska. Course Fuzzy and Neural Control, 2001/2002.
13/04/2017 Fuentes Robert Babuska. Course Fuzzy and Neural Control, 2001/2002. Kevin M. Passino, Stephen Yurkovich, Fuzzy Control. Addison Wesley Longman, Inc. 1998 Jonathan R. King, New Applications of Fuzzy Logic. University of East Anglia, Norwich England. PHD thesis, december 2000