Computacion inteligente Clustering Fuzzy. 2 Contenido  Conceptos basicos  Tipos de clustering  Tipos de Clusters  La tarea del clustering  Nociones.

Presentación del tema: "Computacion inteligente Clustering Fuzzy. 2 Contenido  Conceptos basicos  Tipos de clustering  Tipos de Clusters  La tarea del clustering  Nociones."— Transcripción de la presentación:

1 Computacion inteligente Clustering Fuzzy

2 2 Contenido  Conceptos basicos  Tipos de clustering  Tipos de Clusters  La tarea del clustering  Nociones basicas en el clustering particional  Clustering Fuzzy de las c-medias  El algoritmo  Parametros del algoritmo  Algoritmo de Gustafson-Kessel  Validacion de los clusters  Ejemplo de aplicación

3 Conceptos basicos

4 4 ¿ Que es el clustering?  Hallar grupos de objectos tales que los objectos en un grupo sean similares (o relacionados) a otros y diferentes (o no relacionados) a los objectos en otros grupos Las distancias Inter-grupo son grandes Las distancias Intra-grupo son cortas

5 5 Ejemplo de unos datos SpeciesFat (%)Proteins (%) Horse Donkey Mule Camel Llama Zebra Sheep Buffalo Fox Pig Rabbit Rat Deer Reindeer Whale 1.0 1.4 1.8 3.4 3.2 4.8 6.4 7.9 5.9 5.1 13.1 12.6 19.7 20.3 21.2 2.6 1.7 2.0 3.5 3.9 3.0 5.6 5.9 7.4 6.6 7.1 12.3 9.2 10.4 11.1 Composicion de la leche en algunos mamiferos

6 6 Ejemplo de datos agrupados Composicion de la leche en mamiferos Fat (%) Proteins (%) Classes

7 7 ¿ Que es el clustering?  En los datos de entrenamiento no se da a priori pertenencia a ninguna clase.  Es decir, es un metodo de exploracion de los datos Pattern Feature space Buscamos patrones o una estructura en los datos de interes

8 8 ¿ Que es el clustering?  Una forma de aprendizaje no supervisado No se tienen ejemplos de cómo deben ser agrupados Clustering = agrupamiento Pattern Feature space

9 9 Representacion de los patrones  ¿Que caracteristicas usar? Normalmente, ninguna guia teorica que sugiera los patrones apropiados y las caracteristicas a usar en una situacion especifica El usuario generalmente debe proporcionar esta guia Un analisis cuidadoso de las caracteristicas disponibles puede conducir a mejores resultados

10 10 Representacion de los patrones  ¿Que caracteristicas usar? Normalmente, ninguna guia teorica que sugiera los patrones apropiados y las caracteristicas usar en una situacion especifica El usuario generalmente debe proporcionar esta guia Un analisis cuidadoso de las caracteristicas disponibles puede conducir a mejores resultados

11 11 Representacion de los patrones  Dos agrupamientos para unos mismos datos Agrupamiento por colorAgrupamiento por forma

12 12 La nocion de grupo puede ser ambigua ¿Cuantos grupos? Cuatro ClustersDos Clusters Seis Clusters

13 Tipos de Clustering

14 14 Tipos de Clustering Clustering jerarquico  Un conjunto de clusters anidados organizados como un arbol jerarquico con un cluster unico arriba, agrupando todos los datos, y clusters con un solo elemento abajo

15 15 Tipos de Clustering Clustering particional  Una division de los datos en subconjuntos (clusters) en una particion en un unico nivel (no anidado) Puntos originalesClustering particional

16 16 Otras distinciones entre agrupamientos  Fuzzy versus no-fuzzy En el clustering fuzzy, un dato pertenece a cada grupo con algun valor de pertenencia entre 0 y 1 El valor de las funciones de pertenencia debe sumar 1

17 17 Otras distinciones entre agrupamientos  Exclusivo versus no-exclusivo En un clustering no-exclusivo los datos pueden pertencer a multiples clusters.  Parcial versus completo En algunos casos, solo deseamos agrupar algunos de los datos

18 Tipos de clusters

19 19 Tipos de clusters  Grupos bien-separados  Grupos basados en un centro  Grupos por contiguidad  Grupos basados en la densidad de los datos  Por una propiedad o conceptuales  Descritos por una funcion objectivo

20 20 Tipos de clusters: bien separados  Clusters bien-separados: 3 clusters bienseparados

21 21 Tipos de clusters: basados en un centro  basados en un centro  El centro del cluster es a menudo un centroide, el promedio de todos los datos en el grupo, o una mediana, el dato mas “ representativo ” del grupo 4 clusters basados en un centro

22 22 Tipos de clusters: basados en un centro  basados en un centro  La representacion del centroide trabaja bien si los clusters forman una hiper-esfera.  Si los clusters presentan una elongacion o tienen otra forma, los centroides posiblemente no son suficientes 4 clusters basados en el centro

23 23 Tipos de clusters: c lusters contiguos  Clusters contiguos (el vecino mas cercano o transitivos)  Un cluster es un conjunto de puntos tal que un punto en un cluster esta mas cercano (o es mas similar) a uno u otros puntos dentro del cluster que a cualquiera en otro cluster. 8 clusters contiguos

24 24 Tipos de clusters: basados en la densidad  Basados en la densidad  Un cluster es una region densa de puntos, separado por regiones de menor densidad de otras de mayor densidad.  Usados cuando los clusters son irregulares o entrelazados, y cuando existe ruido o datos extra ñ os. 6 clusters basados en la densidad

25 25 Tipos de clusters: conceptuales  Clusters conceptuales  Clusters que comparten alguna propiedad en comun o representan un concepto particular 2 Circulos traslapados

26 26 Definidos por una funcion objectivo  Clusters definidos por una funcion objectivo Clusters que minimizan o maximizan una funcion objectivo. Se evalua cada conjunto de clusters potencial usando una funcion objetivo

27 27 Definidos por una funcion objectivo  Clusters definidos por una funcion objectivo Puede tener objectivos globales o locales.  Los algoritmos de clustering jerarquico tipicamente tienen objectives locales  Los algoritmos particionales tipicamente tienen objectivos globales

28 La tarea del clustering

29 29 Componentes del Clustering  Representacion de los datos Numero, tipo, y escala de las caracteristicas disponibles para el algoritmo Numero de clases y datos disponibles  Definicion de la medida de proximidad Definida para pares de datos Medidas de distancia y similaridades conceptuales

30 30 La tarea del clustering  Introducir una medida de la distancia, D, (o una medida de la similaridad o proximidad) entre las muestras o patrones.

31 31 Las funciones de distancia  Existen numerosas funciones de distancia para Diferentes tipos de datos  Datos numericos  Datos simbolicos Diferentes aplicaciones Los pesos asociados a variables diferentes se basan en la semantica de los datos o en la aplicacion

32 32 Calidad del agrupamiento  Un buen metodo de clustering producira clusters de alta calidad con Alta similaridad intra-clase Baja similaridad inter-clase  La calidad de un agrupamiento depende de la medida de la similaridad usada por el metodo, y de su implementacion

33 Nociones basicas en el clustering particional

34  El conjunto de datos Los datos son observaciones de algun proceso fisico. Cada observacion consiste de n variables medidas Agrupadas en vectores columna El conjunto de datos

35  El conjunto de N observaciones en una matriz  Columnas = observaciones  Filas = caracteristicas

36 El conjunto de datos  Por ejemplo: canicas de distinto color: Columnas = observaciones Filas = caracteristicas Agrupamiento por color

37 Clusters  Un cluster es un grupo de objetos que son mas similares que otros que son miembros de otros clusters Similaridad = distancia(espacios metricos)

38 Prototipos  Prototipo: referente del cluster. Con respecto al prototipo se hace la medida de la distancia Grupos basados en el centroide

39 Prototipos  Usualmente los prototipos no se conocen de antemano  Pueden ser: Subespacios funciones

40 Metodos de hacer clustering  Según el tipo de subconjuntos Hard clustering: subconjuntos clasicos Fuzzy clustering: la pertenencia a un cluster tiene grados

41 Particion HARD  Una particion HARD de Z es una familia de subconjuntos A i con las siguientes propiedades

42 La matriz de la particion  En terminos de las funciones de pertenencia Fila i = funciones de pertenencia al conjunto Ai de Z

43 La matriz de la particion  Por ejemplo: canicas de distinto color: Agrupamiento por color

44 Condiciones de la matriz U  Los elementos de U deben satisfacer

45 El espacio de particionamiento Hard  El cojunto de todas las posibles matrices de particion para Z  es el espacio de particionamiento

46 Ejemplo: Un conjunto de datos en R2  Dos clusters Dos elementos extraños

47 Ejemplo: Un conjunto de datos en R2  Una posible particion Hard z 5 y z 6 se han asigando a A 1

48 Particion fuzzy  Una particion fuzzy de Z es una familia de subconjuntos A i con las siguientes propiedades

49 La matriz de la particion fuzzy  En terminos de las funciones de pertenencia Fila i = funciones de pertenencia al conjunto Ai de Z

50 Condiciones de la matriz U fuzzy  Los elementos de U fuzzy satisfacen

51 Espacio de particionamiento fuzzy  El cojunto de todas las posibles matrices de particion para Z

52 Ejemplo: Una posible particion fuzzy  Particion restringida z 5 y z 6 se han asigando por igual a A 1 y A 2

53 Particion posibilistica  Los elementos de U posibilistica satisfacen

54 Ejemplo: Una particion posibilistica  Particion no restringida La suma total del grado de pertencia de z 5 y z 6 a A 1 y A 2 no es igual a uno

55 55 Fuentes  Robert Babuska. Course Fuzzy and Neural Control, 2001/2002.  Kevin M. Passino, Stephen Yurkovich, Fuzzy Control. Addison Wesley Longman, Inc. 1998  Jonathan R. King, New Applications of Fuzzy Logic. University of East Anglia, Norwich England. PHD thesis, december 2000  Otras...