Computacion inteligente Introduccion a la Clasificacion

Mar Contenido Introduccion Fases y modelos Vectores y espacios de caracteristicas Fronteras de decision Separabilidad lineal Clasificadores lineales El clasificador del vecino mas cercano El clasificador de los K vecinos mas proximos Precision de la clasificacion Evaluacion de la clasificacion

El clasificador del vecino mas cercano

Mar Notacion  Vector de caracteristicas x ( i ) es el i-esimo vector de los datos de entrenamiento  en MATLAB podria ser la i-esima columna de una matriz de d x N  Etiqueta de las clases c ( i ) es la clase del i-esimo vector de caracteristicas  en general, c ( i ) puede tomar m valores diferentes, (Ej., c = 1, c = 2,...)

Mar Notacion  Datos de entrenamiento ejemplos con valores de las clases para aprendizaje. Usados para construir el clasificador  Datos de prueba Nuevos datos, no usados en el proceso de entrenamiento, para evaluar que tan bien se comporta el clasificador

Mar Notacion  Datos de entrenamiento Dtrain = {[ x (1), c (1)], [ x (2), c (2)], ……, [ x ( N ), c ( N )]} N pares de vectores de caracteristicas con sus clases  Datos de prueba Dtest = {[ x (1), c (1)], [ x (2), c (2)], ……, [ x ( M ), c ( M )]} M pares de vectores de caracteristicas con sus clases

Mar El clasificador del vecino mas cercano Sea y un nuevo vector de caracteristicas cuya clase se desconoce. Queremos clasificarlo.  Un nuevo dato...

Mar El clasificador del vecino mas cercano 1. y es un nuevo vector de caracteristicas cuya clase se desconoce 2. Buscar en Dtrain el vector de caracteristicas mas cercano a y Sea este “vector mas cercano” x ( j ) 3. Clasificar y en la misma clase de x ( j ), Esto es, se asigna a y la clase c ( j )

Mar El clasificador del vecino mas cercano Band 1 Nuevo dato

Mar El clasificador del vecino mas cercano Pertenece a la clase “verde”

Mar Tarea del clasificador  Consiste en introducir una medida de distancia D, (o una medida de disimilaridad o lejania) entre dos patrones.

Mar Definicion de distancia  ¿Como se determina el vector “mas cercano x ”? Es necesario definir una distancia Distancia euclidea Producto interno

Mar Funciones de distancia  Existen numerosas funciones de distancia Tipos diferentes de datos  Datos numericos  Datos nominales Diferentes aplicaciones  Se denota la distancia con: donde x i y x j son datos (vectores) d(x i,x j )

Mar Espacios metricos  Espacio metrico: El par ( X,d ) donde X es un conjunto y d es una funcion de distancia, tal que para x, y en X : Separacion Desigualdad triangular Simetria

Mar Funciones de distancia  Las funciones mas comunes son  Distancia Euclidea  Distancia de Manhatan Son casos especiales de la distancia de Minkowski

Mar Funciones de distancia  Las funciones mas comunes son  Distancia Chebychev  Distancia de Minkowski Son casos especiales de la distancia de Minkowski

Mar Distancia de Minkowski, L p Q C d(Q,C)d(Q,C) p = 1 Manhattan (Rectilinear, City Block) p = 2 Euclidean p =  Max (Supremum, “sup”) Distancia entre dos señales

Mar Funciones de distancia  Distancia Euclidea pesada Q es una matriz diagonal

Mar Distancia de Mahalanobis Q es una matriz cuadrada definida positiva  Distancia de Mahalanobis

 ¿Como se determinan los vectores “mas cercanos a x ”?  Es necesario definir una distancia  Tipicamente la distancia Euclidea Mar Clasificador del vecino mas cercano Analogo al razonamiento en los humanos “basado en la memoria” Nota: esto produce un “diagrama de Voronoi” en el espacio de caracteristicas  Cada punto “posee” una celda que lo rodea  La frontera de la celda son poligonos

Mar Interpretacion geometrica del vecino mas proximo Feature 1 Feature 2

Mar Regiones para los vecinos mas proximos Feature 1 Feature 2 cada dato define una “celda” del espacio mas cercano. Todos los puntos de la celda son asignados a su clase

Mar Fronteras de decision Feature 1 Feature 2 Frontera de decision total = union de las fronteras donde las clases son diferentes a cada lado

Mar ¿Como se clasifica un nuevo dato? Feature 1 Feature 2 ?

Mar Fronteras de decision locales Feature 1 Feature 2 ? ¿Frontera? Puntos que son equidistantes entre los puntos de las clases 1 y 2 Note: localmente la frontera es (1) lineal (distancia Euclidea) (2) a mitad entre los 2 puntos de las clases (3) en angulo recto con el conector

Mar Encontrar la frontera de decision Feature 1 Feature 2 ?

Mar Encontrar la frontera de decision Feature 1 Feature 2 ?

Mar Encontrar la frontera de decision Feature 1 Feature 2 ?

Mar Frontera total = lineal a trozos Feature 1 Feature 2 ? Region de decision Para la Clase 1 Region de decision para la Clase 2

Mar Interpretacion geometrica del kNN Feature 1 Feature 2 ? Pocos puntos de datos

Mar Mas datos Feature 1 Feature 2

Mar Fronteras de decision mas complejas Feature 1 Feature 2 En general: El clasificador produce fronteras de decision lineales a trozos

El clasificador de los K vecinos mas proximos

Mar El clasificador de los K vecinos mas proximos  Hallar en Dtrain los k vecinos mas cercanos a y

Mar El clasificador de los K vecinos mas proximos  Hallar en Dtrain los k vecinos mas cercanos a y Ordenar los vectores de acuerdo a la distnacia Euclidea seleccionar los k vectores con la distancia mas pequeña a y

Mar El clasificador de los K vecinos mas proximos  Hallar en Dtrain los k vecinos mas cercanos a y Ordenar los vectores de acuerdo a la distnacia Euclidea seleccionar los k vectores con la distancia mas pequeña a y  Clasificacion El ordenamiento produce k vectores y un conjunto de k clases Tomar la clase que es la mas comun en este conjunto (“votar”) Clasificar a y como perteneciente a esta clase

Mar El clasificador de los K vecinos mas proximos Band 1 ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ □ ■ ■ Class 1Class 2 Class 3 Band 2 K=1 Nuevo dato

Mar El clasificador de los K vecinos mas proximos Pertenece a la clase “verde” K=1

Mar El clasificador de los K vecinos mas proximos Nuevo dato K=7

Mar El clasificador de los K vecinos mas proximos Pertenece a la clase “azul” K=7

Mar El clasificador de los K vecinos mas proximos  Consideraciones teoreticas Si se incrementa k  Se promedia entre mas vecinos  La frontera de decision efectiva es mas “suave” Se se incrementa N,  El valor optimos de k tiende a aumentar en proporcion a logN

Mar El clasificador de los K vecinos mas proximos  Notas: El clasificador usa los k vectores mas cercanos de Dtrain para “votar” por la clase de y El clasificador del vecino mas cercano es un caso especial con k=1 El “entrenamiento” es trivial,  Simplemente se usa Dtrain como una “tabla” cuando se quiere clasificar el nuevo vector

Mar El clasificador de los K vecinos mas proximos  Extension del clasificador de los vecinos mas proximos Distancias pesadas  Si algunas caracteristicas son mas importantes  Si algunas caracteristicas son irrelevantes Tecnicas de busca rapida (indexado) para hallar los k vecinos mas cercanos en el espacio d-dimensional

Ejercicio  Implementar una funcion que calcule la distancia entre dos vectores de caracteristicas x y y La funcion tiene como parametro el tipo de distancia  Implementar una funcion que encuentre el vector fila de una matriz A mas cercano a un vector dado x Mar

Precision de la clasificacion

Evaluacion de la clasificacion

Mar Precision de la clasificacion  Digamos: Tenemos N vectores de caracteristicas Conocemos la clase correcta para cada vector  Se mide que tan preciso es el clasificador por el numero de vectores de caracterisiticas que clasifica correctamente  Importancia: False Positives True Positives False Negatives Actual Predicted Una clasificacion no es completa hasta que se halla evaluado su precision

Evaluacion del desempeño Mar PREDICTED CLASS ACTUAL CLASS Class=YesClass=No Class=Yes TP (true positive) FN (false negative) Class=No FP (false positive) TN (true negative) False Positives True Positives False Negatives Actual Predicted La matriz de confusion Tambien llamada matriz de error o tabla de contingencia

Mar Matriz de Confusion Reference: es la clase verdadera a la que pertenecen los datos

Evaluacion del desempeño  Medida mas usada: Mar PREDICTED CLASS ACTUAL CLASS Class=YesClass=No Class=Yes TP (true positive) FN (false negative) Class=No FP (false positive) TN (true negative)

Limitacion de la precision  Considere el problema de 2 clases: Numero de ejemplos de la Clase 0 = 9990 Numero de ejemplos de la Clase 1 = 10  Si el modelo predice que todos son de la clase 0, la precision es 9990/10000 = 99.9 % La precision es falsa porque el modelo no detecta ninguno de los ejemplos de la class 1 Mar

Mar Otra medida de la precision Donde: o ( i ) = salida del clasificador para el vector x ( i ) c ( i ) = clase verdadera del vector x ( i )

Mar Medidas descriptivas a partir de la matriz de confusion  Omision (exclusion): Elementos de la columna fuera de la diagonal  16 elements de la clase 2 fueron omitidos  Commision (inclusion): Elementos de la fila fuera de la diagonal  20 de la clase 4 fueron incluidos en la clase 2

Medidas descriptivas a partir de la matriz de confusion Mar  Precision total Es la suma de los datos clasificados correctamente dividido por el numero total de muestras

Medidas descriptivas a partir de la matriz de confusion Mar  Precision en productor Indica que tan bien son clasificados los datos del conjunto de entrenamiento pertenecientes a la clase dada

Medidas descriptivas a partir de la matriz de confusion Mar  Precision en el usuario Indica la probabilidad de que un dato clasificado en una clase dada realmente pertenezca a esa clase

Generalizacion y memoria

Medida del desempeño  En realidad, estamos interesados es en la capacidad predictiva del modelo: es decir en la precision del clasificador sobre nuevos datos Mas en que tanto tiempo toma para clasificar o la construccion del modelo, etc.  Exsiten entonces dos medidas de la precision training accuracy = precision en los datos de entrenamiento test accuracy = precision sobre datos de prueba, nuevos datos no usados en el entrenamiento Mar

Mar Examples of Training and Test Data  Speech Recognition Training data  words recorded and labeled in a laboratory Test data  words recorded from new speakers, new locations  Zipcode Recognition Training data  zipcodes manually selected, scanned, labeled Test data  actual letters being scanned in a post office  Credit Scoring Training data  historical database of loan applications with payment history or decision at that time Test data  you

Mar Precision sobre los datos de prueba  Sea Dtest un conjunto de nuevos datos, no usados en el proceso de entrenamiento: pero se asume que Dtest es generado por el mismo “mecanismo” con que se genero Dtrain : Normalmente estamos interesados en la precision de prueba. Desafortunadamente la precision de prueba es a menudo menor en promedio que la precision de entrenamiento

Mar Memorizacion versus Generalizacion  Memorizacion versus Generalizacion Mejor precicion de entrenamiento  “memorizacion” de los datos de entrenamiento Mejor precicion de prueba  “generalizacion” a nuevos datos En general, deseamos que el clasificador se comporte bien con nuevos datos, La precision de prueba es una buena estimacion de la capacidad de generalizacion

Mar Precision de prueba y generalizacion  ¿Por qué la precision de entrenamiento es suficiente? La precision de entrenamiento es optimista un clasificador como el del vecino mas cercano puede construir fronteras que siempre separan todos los datos de entrenamiento, pero las cuales no separan nuevos datos  ¿cual es la precision de entrenamiento del kNN, k = 1? Un clasificador flexible puede “sobre ajustar” (overfitting) los datos de entrenamiento  Solo memoriza los datos de entrenamiento, pero no aprende la relacion general entre x y C

Mar Ejemplo: El fenomeno del overfitting X Y

Mar Un modelo complejo X Y Y = polinomio de orden alto en X

Mar El modelo verdadero (mas simple) X Y Y = a X + b + e

Mar Como el overfitting afecta la prediccion Error de prediccion Complejidad del modelo Error sobre los datos de entrenamiento

Mar Como el overfitting afecta la prediccion Predictive Error Model Complexity Error on Training Data Error on Test Data

Mar Como el overfitting afecta la prediccion Predictive Error Model Complexity Error on Training Data Error on Test Data Ideal Range for Model Complexity Overfitting Underfitting

Mar Sources  Padhraic Smyth, ICS 175a Slides, Department of Computer Science. University of California, Irvine Spring 2005  Desheng Liu, GIS and Remote Sensing in Public Health. Dept. of Environmental Science, Policy & Management. University of California, Berkeley. March 1, 2005  Martin Hagan, Neural Network Design Demonstrations. PWS Publishing Company  J-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani, Slides for Ch. 5 of “Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence”, First Edition, Prentice Hall, 1997.