Computacion inteligente Introduccion a la Clasificacion.

Presentación del tema: "Computacion inteligente Introduccion a la Clasificacion."— Transcripción de la presentación:

1 Computacion inteligente Introduccion a la Clasificacion

2 Mar 2009 2 Contenido Introduccion Fases y modelos Vectores y espacios de caracteristicas Fronteras de decision Separabilidad lineal Clasificadores lineales El clasificador del vecino mas cercano El clasificador de los K vecinos mas proximos Precision de la clasificacion Evaluacion de la clasificacion

3 El clasificador del vecino mas cercano

4 Mar 2009 4 Notacion  Vector de caracteristicas x ( i ) es el i-esimo vector de los datos de entrenamiento  en MATLAB podria ser la i-esima columna de una matriz de d x N  Etiqueta de las clases c ( i ) es la clase del i-esimo vector de caracteristicas  en general, c ( i ) puede tomar m valores diferentes, (Ej., c = 1, c = 2,...)

5 Mar 2009 5 Notacion  Datos de entrenamiento ejemplos con valores de las clases para aprendizaje. Usados para construir el clasificador  Datos de prueba Nuevos datos, no usados en el proceso de entrenamiento, para evaluar que tan bien se comporta el clasificador

6 Mar 2009 6 Notacion  Datos de entrenamiento Dtrain = {[ x (1), c (1)], [ x (2), c (2)], ……, [ x ( N ), c ( N )]} N pares de vectores de caracteristicas con sus clases  Datos de prueba Dtest = {[ x (1), c (1)], [ x (2), c (2)], ……, [ x ( M ), c ( M )]} M pares de vectores de caracteristicas con sus clases

7 Mar 2009 7 El clasificador del vecino mas cercano Sea y un nuevo vector de caracteristicas cuya clase se desconoce. Queremos clasificarlo.  Un nuevo dato...

8 Mar 2009 8 El clasificador del vecino mas cercano 1. y es un nuevo vector de caracteristicas cuya clase se desconoce 2. Buscar en Dtrain el vector de caracteristicas mas cercano a y Sea este “vector mas cercano” x ( j ) 3. Clasificar y en la misma clase de x ( j ), Esto es, se asigna a y la clase c ( j )

9 Mar 2009 9 El clasificador del vecino mas cercano Band 1 Nuevo dato

10 Mar 2009 10 El clasificador del vecino mas cercano Pertenece a la clase “verde”

11 Mar 2009 11 Tarea del clasificador  Consiste en introducir una medida de distancia D, (o una medida de disimilaridad o lejania) entre dos patrones.

12 Mar 2009 12 Definicion de distancia  ¿Como se determina el vector “mas cercano x ”? Es necesario definir una distancia Distancia euclidea Producto interno

13 Mar 2009 13 Funciones de distancia  Existen numerosas funciones de distancia Tipos diferentes de datos  Datos numericos  Datos nominales Diferentes aplicaciones  Se denota la distancia con: donde x i y x j son datos (vectores) d(x i,x j )

14 Mar 2009 14 Espacios metricos  Espacio metrico: El par ( X,d ) donde X es un conjunto y d es una funcion de distancia, tal que para x, y en X : Separacion Desigualdad triangular Simetria

15 Mar 2009 15 Funciones de distancia  Las funciones mas comunes son  Distancia Euclidea  Distancia de Manhatan Son casos especiales de la distancia de Minkowski

16 Mar 2009 16 Funciones de distancia  Las funciones mas comunes son  Distancia Chebychev  Distancia de Minkowski Son casos especiales de la distancia de Minkowski

17 Mar 2009 17 Distancia de Minkowski, L p Q C d(Q,C)d(Q,C) p = 1 Manhattan (Rectilinear, City Block) p = 2 Euclidean p =  Max (Supremum, “sup”) Distancia entre dos señales

18 Mar 2009 18 Funciones de distancia  Distancia Euclidea pesada Q es una matriz diagonal

19 Mar 2009 19 Distancia de Mahalanobis Q es una matriz cuadrada definida positiva  Distancia de Mahalanobis

20  ¿Como se determinan los vectores “mas cercanos a x ”?  Es necesario definir una distancia  Tipicamente la distancia Euclidea Mar 2009 20 Clasificador del vecino mas cercano Analogo al razonamiento en los humanos “basado en la memoria” Nota: esto produce un “diagrama de Voronoi” en el espacio de caracteristicas  Cada punto “posee” una celda que lo rodea  La frontera de la celda son poligonos

21 Mar 2009 21 Interpretacion geometrica del vecino mas proximo 1 1 1 2 2 2 Feature 1 Feature 2

22 Mar 2009 22 Regiones para los vecinos mas proximos 1 1 1 2 2 2 Feature 1 Feature 2 cada dato define una “celda” del espacio mas cercano. Todos los puntos de la celda son asignados a su clase

23 Mar 2009 23 Fronteras de decision 1 1 1 2 2 2 Feature 1 Feature 2 Frontera de decision total = union de las fronteras donde las clases son diferentes a cada lado

24 Mar 2009 24 ¿Como se clasifica un nuevo dato? 1 1 1 2 2 2 Feature 1 Feature 2 ?

25 Mar 2009 25 Fronteras de decision locales 1 1 1 2 2 2 Feature 1 Feature 2 ? ¿Frontera? Puntos que son equidistantes entre los puntos de las clases 1 y 2 Note: localmente la frontera es (1) lineal (distancia Euclidea) (2) a mitad entre los 2 puntos de las clases (3) en angulo recto con el conector

26 Mar 2009 26 Encontrar la frontera de decision 1 1 1 2 2 2 Feature 1 Feature 2 ?

27 Mar 2009 27 Encontrar la frontera de decision 1 1 1 2 2 2 Feature 1 Feature 2 ?

28 Mar 2009 28 Encontrar la frontera de decision 1 1 1 2 2 2 Feature 1 Feature 2 ?

29 Mar 2009 29 Frontera total = lineal a trozos 1 1 1 2 2 2 Feature 1 Feature 2 ? Region de decision Para la Clase 1 Region de decision para la Clase 2

30 Mar 2009 30 Interpretacion geometrica del kNN 1 1 1 2 2 2 Feature 1 Feature 2 ? Pocos puntos de datos

31 Mar 2009 31 Mas datos 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 Feature 1 Feature 2

32 Mar 2009 32 Fronteras de decision mas complejas 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 Feature 1 Feature 2 En general: El clasificador produce fronteras de decision lineales a trozos

33 El clasificador de los K vecinos mas proximos

34 Mar 2009 34 El clasificador de los K vecinos mas proximos  Hallar en Dtrain los k vecinos mas cercanos a y

35 Mar 2009 35 El clasificador de los K vecinos mas proximos  Hallar en Dtrain los k vecinos mas cercanos a y Ordenar los vectores de acuerdo a la distnacia Euclidea seleccionar los k vectores con la distancia mas pequeña a y

36 Mar 2009 36 El clasificador de los K vecinos mas proximos  Hallar en Dtrain los k vecinos mas cercanos a y Ordenar los vectores de acuerdo a la distnacia Euclidea seleccionar los k vectores con la distancia mas pequeña a y  Clasificacion El ordenamiento produce k vectores y un conjunto de k clases Tomar la clase que es la mas comun en este conjunto (“votar”) Clasificar a y como perteneciente a esta clase

37 Mar 2009 37 El clasificador de los K vecinos mas proximos Band 1 ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ □ ■ ■ Class 1Class 2 Class 3 Band 2 K=1 Nuevo dato

38 Mar 2009 38 El clasificador de los K vecinos mas proximos Pertenece a la clase “verde” K=1

39 Mar 2009 39 El clasificador de los K vecinos mas proximos Nuevo dato K=7

40 Mar 2009 40 El clasificador de los K vecinos mas proximos Pertenece a la clase “azul” K=7

41 Mar 2009 41 El clasificador de los K vecinos mas proximos  Consideraciones teoreticas Si se incrementa k  Se promedia entre mas vecinos  La frontera de decision efectiva es mas “suave” Se se incrementa N,  El valor optimos de k tiende a aumentar en proporcion a logN

42 Mar 2009 42 El clasificador de los K vecinos mas proximos  Notas: El clasificador usa los k vectores mas cercanos de Dtrain para “votar” por la clase de y El clasificador del vecino mas cercano es un caso especial con k=1 El “entrenamiento” es trivial,  Simplemente se usa Dtrain como una “tabla” cuando se quiere clasificar el nuevo vector

43 Mar 2009 43 El clasificador de los K vecinos mas proximos  Extension del clasificador de los vecinos mas proximos Distancias pesadas  Si algunas caracteristicas son mas importantes  Si algunas caracteristicas son irrelevantes Tecnicas de busca rapida (indexado) para hallar los k vecinos mas cercanos en el espacio d-dimensional

44 Ejercicio  Implementar una funcion que calcule la distancia entre dos vectores de caracteristicas x y y La funcion tiene como parametro el tipo de distancia  Implementar una funcion que encuentre el vector fila de una matriz A mas cercano a un vector dado x Mar 2009 44

45 Precision de la clasificacion

46 Evaluacion de la clasificacion

47 Mar 2009 47 Precision de la clasificacion  Digamos: Tenemos N vectores de caracteristicas Conocemos la clase correcta para cada vector  Se mide que tan preciso es el clasificador por el numero de vectores de caracterisiticas que clasifica correctamente  Importancia: False Positives True Positives False Negatives Actual Predicted Una clasificacion no es completa hasta que se halla evaluado su precision

48 Evaluacion del desempeño Mar 2009 48 PREDICTED CLASS ACTUAL CLASS Class=YesClass=No Class=Yes TP (true positive) FN (false negative) Class=No FP (false positive) TN (true negative) False Positives True Positives False Negatives Actual Predicted La matriz de confusion Tambien llamada matriz de error o tabla de contingencia

49 Mar 2009 49 Matriz de Confusion Reference: es la clase verdadera a la que pertenecen los datos

50 Evaluacion del desempeño  Medida mas usada: Mar 2009 50 PREDICTED CLASS ACTUAL CLASS Class=YesClass=No Class=Yes TP (true positive) FN (false negative) Class=No FP (false positive) TN (true negative)

51 Limitacion de la precision  Considere el problema de 2 clases: Numero de ejemplos de la Clase 0 = 9990 Numero de ejemplos de la Clase 1 = 10  Si el modelo predice que todos son de la clase 0, la precision es 9990/10000 = 99.9 % La precision es falsa porque el modelo no detecta ninguno de los ejemplos de la class 1 Mar 2009 51

52 Mar 2009 52 Otra medida de la precision Donde: o ( i ) = salida del clasificador para el vector x ( i ) c ( i ) = clase verdadera del vector x ( i )

53 Mar 2009 53 Medidas descriptivas a partir de la matriz de confusion  Omision (exclusion): Elementos de la columna fuera de la diagonal  16 elements de la clase 2 fueron omitidos  Commision (inclusion): Elementos de la fila fuera de la diagonal  20 de la clase 4 fueron incluidos en la clase 2

54 Medidas descriptivas a partir de la matriz de confusion Mar 2009 54  Precision total Es la suma de los datos clasificados correctamente dividido por el numero total de muestras

55 Medidas descriptivas a partir de la matriz de confusion Mar 2009 55  Precision en productor Indica que tan bien son clasificados los datos del conjunto de entrenamiento pertenecientes a la clase dada

56 Medidas descriptivas a partir de la matriz de confusion Mar 2009 56  Precision en el usuario Indica la probabilidad de que un dato clasificado en una clase dada realmente pertenezca a esa clase

57 Generalizacion y memoria

58 Medida del desempeño  En realidad, estamos interesados es en la capacidad predictiva del modelo: es decir en la precision del clasificador sobre nuevos datos Mas en que tanto tiempo toma para clasificar o la construccion del modelo, etc.  Exsiten entonces dos medidas de la precision training accuracy = precision en los datos de entrenamiento test accuracy = precision sobre datos de prueba, nuevos datos no usados en el entrenamiento Mar 2009 58

59 Mar 2009 59 Examples of Training and Test Data  Speech Recognition Training data  words recorded and labeled in a laboratory Test data  words recorded from new speakers, new locations  Zipcode Recognition Training data  zipcodes manually selected, scanned, labeled Test data  actual letters being scanned in a post office  Credit Scoring Training data  historical database of loan applications with payment history or decision at that time Test data  you

60 Mar 2009 60 Precision sobre los datos de prueba  Sea Dtest un conjunto de nuevos datos, no usados en el proceso de entrenamiento: pero se asume que Dtest es generado por el mismo “mecanismo” con que se genero Dtrain : Normalmente estamos interesados en la precision de prueba. Desafortunadamente la precision de prueba es a menudo menor en promedio que la precision de entrenamiento

61 Mar 2009 61 Memorizacion versus Generalizacion  Memorizacion versus Generalizacion Mejor precicion de entrenamiento  “memorizacion” de los datos de entrenamiento Mejor precicion de prueba  “generalizacion” a nuevos datos En general, deseamos que el clasificador se comporte bien con nuevos datos, La precision de prueba es una buena estimacion de la capacidad de generalizacion

62 Mar 2009 62 Precision de prueba y generalizacion  ¿Por qué la precision de entrenamiento es suficiente? La precision de entrenamiento es optimista un clasificador como el del vecino mas cercano puede construir fronteras que siempre separan todos los datos de entrenamiento, pero las cuales no separan nuevos datos  ¿cual es la precision de entrenamiento del kNN, k = 1? Un clasificador flexible puede “sobre ajustar” (overfitting) los datos de entrenamiento  Solo memoriza los datos de entrenamiento, pero no aprende la relacion general entre x y C

63 Mar 2009 63 Ejemplo: El fenomeno del overfitting X Y

64 Mar 2009 64 Un modelo complejo X Y Y = polinomio de orden alto en X

65 Mar 2009 65 El modelo verdadero (mas simple) X Y Y = a X + b + e

66 Mar 2009 66 Como el overfitting afecta la prediccion Error de prediccion Complejidad del modelo Error sobre los datos de entrenamiento

67 Mar 2009 67 Como el overfitting afecta la prediccion Predictive Error Model Complexity Error on Training Data Error on Test Data

68 Mar 2009 68 Como el overfitting afecta la prediccion Predictive Error Model Complexity Error on Training Data Error on Test Data Ideal Range for Model Complexity Overfitting Underfitting

69 Mar 2009 69 Sources  Padhraic Smyth, ICS 175a Slides, Department of Computer Science. University of California, Irvine Spring 2005  Desheng Liu, GIS and Remote Sensing in Public Health. Dept. of Environmental Science, Policy & Management. University of California, Berkeley. March 1, 2005  Martin Hagan, Neural Network Design Demonstrations. PWS Publishing Company. 1994  J-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani, Slides for Ch. 5 of “Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence”, First Edition, Prentice Hall, 1997.