Clasificación Supervisada

Presentación del tema: "Clasificación Supervisada"— Transcripción de la presentación:

1 Clasificación Supervisada
Santiago González Tortosa

2 Contenidos Introducción Algoritmos de clasificación supervisada
KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out 0.632 Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación Supervisada

3 Introducción Tipos de variables o atributos: Clasificación
El problema general se basa en clasificar N individuos (instancias) procedentes de una muestra, en función de una serie de n variables (atributos) (X1, X2,...,Xn). Tipos de variables o atributos: Discretos: son aquellos para los que se dan, de modo inherente, separaciones entre valores observables sucesivos. Ejemplos: medios de transporte, tipologías de enfermedad, etc. Continuos: Su propiedad nos indica que 2 cualesquiera valores observables, hay otro valor observable. Toma valores a lo largo de un espacio continuo. Ejemplos: longitudes, pesos, etc. Clasificación Supervisada

4 Introducción Ejemplo variable discreta variables o atributos
instancias o individuos variable continua Clasificación Supervisada

5 Introducción Discretización de variables continuas
Divide el rango de atributos continuos en Intervalos Almacena solo las etiquetas de los intervalos Importante para reglas de asociación y clasificación, algunos algoritmos solo aceptan datos discretos. Clasificación Supervisada

6 Introducción Discretización por igual amplitud
Clasificación Supervisada

7 Introducción Discretización por igual frecuencia
Clasificación Supervisada

8 Introducción Dos criterios de clasificación: Clasificación supervisada
Clasificación no supervisada (siguiente tema) Clasificación Supervisada

9 Introducción Clasificación Supervisada
Se parte de un conjunto de M clases conocido a priori. Estas clases deben caracterizarse en función del conjunto de variables (atributos) mediante la medición de las mismas en individuos. Cada individuo debe pertenecer, al menos, a una clase. A partir de un conjunto de individuos con clase asignada (conjunto de entrenamiento) se debe estimar las clases de los individuos de otro conjunto (conjunto de test) Clasificación Supervisada

10 Introducción Clasificación Supervisada Clasificación Supervisada

11 Introducción Clasificación Supervisada Tasa de acierto: (a+d)/Suma
Tasa de error: (c+b)/Suma Verdaderos positivos (sensibilidad): a/a+c Verdaderos negativos (especificidad): d/b+d Falsos positivos: b/a+c Falsos negativos: c/b+d Clasificación Supervisada

12 Introducción Ejemplo Tasa de acierto: 4/6 Tasa de error: 2/6
Verdaderos pos: 2/3 Verdaderos neg: 2/3 Falsos pos: 1/3 Falsos neg:1/3 Clasificación Supervisada

13 Contenidos Introducción Algoritmos de clasificación supervisada
KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out 0.632 Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación Supervisada

14 Algoritmos de clasificación supervisada

15 Algoritmos de clasificación supervisada
Algoritmos lazy El aprendizaje del conjunto de aprendizaje se realiza a la vez que se estima las clases del conjunto de test. Algoritmos probabilísticos Uso de la probabilidad y estadística para el aprendizaje y estimación de clases. Nuevo concepto: probabilidad de que un individuo pertenezca a una clase u otra. Arboles de decisión Representación del conocimiento y relación de los atributos y la clase usando arboles (binarios o no). Redes neuronales Uso del concepto de neurona artificial (simula la neurona del cerebro) Se entrena una red de neuronas interconectadas con los individuos para cada clase. Con esto, al presentarle un individuo nuevo en sus entradas, la red dará como resultado la clase a la cual pertenece. Clasificación Supervisada

16 Algoritmos de clasificación supervisada
Algoritmos presentados en clase: Algoritmo lazy: KNN (K Nearest Neighbour) Algoritmo probabilístico: Naive Bayes Árbol de decisión: ID3 (Induction Decision Trees) Objetivo común: Obtener y estimar las clases del conjunto de test de individuos Obtener la menor tasa de error en las clases estimadas Clasificación Supervisada

17 KNN Idea: basarse en los K individuos “más cercanos” al individuo al que se desea obtener su clase. Es necesario calcular la distancia entre individuos para saber cuales son más cercanos (euclidea, manhattan, etc.) Variables iniciales necesarias: Numero de vecinos: K Calculo de distancia: d(x,y) Conjunto de datos de aprendizaje Individuo del conjunto de test Clasificación Supervisada

18 KNN Distancia euclidea Distancia Manhattan
Muy parecida a la distancia euclidea Diferencia: eliminando de la ecuación la raiz cuadrada y sustituyendo el cuadrado de cada valor (pi-qi) por su valor absoluto. Clasificación Supervisada

19 KNN Ejemplo representado con K = 3, dos atributos y distancia euclidea
Clasificación Supervisada

20 KNN Pseudocódigo del algoritmo Clasificación Supervisada

21 Naive Bayes Teorema de Bayes
Siendo D los datos y H la hipótesis, ambos discretos: p(H | I ) se denomina probabilidad prior y representa el nivel de confianza en la hipótesis sin utilizar los datos p(D | H, I ) se denomina verosimilitud y representa lo verosímiles que son los datos si la hipótesis es cierta La verosimilitud sirve para transformar la probabilidad prior en posterior: p(H | D, I ) se denomina probabilidad posterior y representa el nivel de confianza en la hipótesis a la luz de los datos p(D| I ) se denomina evidencia y en muchas aplicaciones solo cumple una función de normalización, pues no depende de H Clasificación Supervisada

22 Naive Bayes Ejemplo: Un taxi golpea a una persona de noche y huye. En la ciudad operan don compañías de taxis: la verde y la azul. El 85% de los taxis de la ciudad son verdes y el 15% restante, azules. Una testigo identifica el taxi como azul. El jurado estima la fiabilidad de la testigo en un 80%. ¿Cuál es la probabilidad de que el taxi del accidente fuera azul? Clasificación Supervisada

23 Naive Bayes Las probabilidades a priori sin disponer del testimonio de la testigo son: P(H=verde) = 0.85 P(H=azul) = 0.15 Buscamos la probabilidad a posteriori de que la compañía sea azul, conociendo la identificación de la testigo: ¿¿P(H=verde|D=azul)?? Clasificación Supervisada

24 Naive Bayes La verosimilitud es fácil de calcular:
P(D = azul | H = verde) = 0.20 P(D = azul | H = azul) = 0.80 El dato de que disponemos es que la testigo afirma que la compañía responsable es la azul. Este dato es más verosímil cuando aceptamos la hipótesis de que la compañía azul es responsable (80% frente a 20%). Si nuestro criterio fuera optimizar la verosimilitud, concluiríamos que la compañía responsable es la azul. Clasificación Supervisada

25 Naive Bayes Concluimos:
P(H=verde|D=azul) = P(D=azul|H=verde) x P(H=verde) / P(D=azul) P(D=azul) = P(D=azul|H=azul) x P(H=azul) + P(D=azul|H=verde)x P(H=verde) P(D=azul) = 0.2 x x 0.15 = = 0.29 P(H=verde|D=azul) = 0.2 x 0.85 / 0.29 = 0.59 Clasificación Supervisada

26 Naive Bayes El método conocido como Naive Bayes aproxima el valor de la verosimilitud suponiendo que los atributos son independientes: La aproximación es distinta, puesto que no se fija la hipótesis: Clasificación Supervisada

27 Naive Bayes Cuando las hipótesis son varias: Clasificación Supervisada

28 ID3 Objetivo: Construir un árbol de decisión que explique cada instancia de la secuencia de entrada de la manera más compacta posible a partir de una tabla de inducción. Crear un árbol de decisión como un método para aproximar una función objetivo de valores discretos, que es resistente al ruido en los datos y que es capaz de hallar o aprender de una disyunción de expresiones. El resultado puede expresarse como un conjunto de reglas Si-entonces. Intenta encontrar el árbol más sencillo que separa mejor los ejemplos. Es recursivo. Utiliza la ganancia para decidir que atributo es mejor en cada iteración del algoritmo. Clasificación Supervisada

29 Clasificación Supervisada

30 ID3 El atributo mas discriminativo es aquel que tiene más ganancia:
G (C,Attr1) = E (C) - ∑ P(C|Attr1=Vi) * E (Attr1) donde E (Attr1) = - ∑ P(Attr1=Vi ) * log2(P(Attr1=Vi )) = = - ∑ P(Attr1=Vi ) * ln(P(Attr1=Vi )) / ln(2) Clasificación Supervisada

31 ID3 Ejemplo Clasificación Supervisada

32 ID3 Ganancia(AdministrarTratamiento,Gota) = G(AT,G)
G(AT,G) = E(AT) – P(G=Si) x E(G=Si) – P(G=No) x E(G=No) E(G=Si) = - P(AT=Si|G=Si) * log2(P(AT=Si|G=Si)) - P(AT=No|G=Si) * log2(P(AT=No|G=Si)) = = - 3/7 * log2 (3/7) – 4/7 * log2 (4/7) = 0.985 E(G=No) = - P(AT=Si|G=No) * log2(P(AT=Si|G=No)) - P(AT=No|G=No) * log2(P(AT=No|G=No)) = - 6/7 * log2 (6/7) – 1/7 * log2 (1/7) = 0.592 E(AT)=- P(AT=Si)* log2(P(AT=Si)) - P(AT=No)* log2(P(AT=No)) = = - 9/14 * log2(9/14) - 5/14 * log2(5/14) = 0.940 P(AT,G) = 0.94 – P(G=Si) x – P(G=No) x = = 0.94 – (7/14) x – (7/14) x = 0.151 Clasificación Supervisada

33 ID3 Que atributo tiene mayor ganancia?? Clasificación Supervisada

34 ID3 Una vez seleccionado el atributo “Presión Arterial”:
Clasificación Supervisada

35 ID3 Después de varias iteraciones, el árbol resultante sería:
Clasificación Supervisada

36 Contenidos Introducción Algoritmos de clasificación supervisada
KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out 0.632 Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación Supervisada

37 Métodos de Validación Para poder validar los resultados obtenidos en el aprendizaje de algoritmos de clasificación supervisada, es necesario disponer de mecanismos y medidas de validación. Métodos de validación: Resustitución Hold-out Leave one out N fold cross-validation 0.632 Bootstrap Clasificación Supervisada

38 Métodos de Validación Resustitución Clasificación Supervisada

39 Métodos de Validación Hold-out Clasificación Supervisada

40 Métodos de Validación N-fold cross validation
Clasificación Supervisada

41 Métodos de Validación Leave-one-out
N-cross fold validation cuando N = dim(Datos) Clasificación Supervisada

42 Métodos de Validación 0.632 Bootstrap Clasificación Supervisada

43 Contenidos Introducción Algoritmos de clasificación supervisada
KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out 0.632 Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación Supervisada

44 Medidas de Validación Las medidas de validación nos cuantifica como de bueno es el algoritmo de clasificación frente a los datos, utilizando un método de validación. Calibración y Discriminación Medidas: PBC o Accuracy Brier Score Log Likelihood AURC Hosmer Lemeshow Clasificación Supervisada

45 Medidas de Validación Calibración Discriminación
Estima la distancia entre los valores observados (reales) y los predichos. Valores continuos [0,∞) Discriminación Estima la probabilidad de clasificación. Valores continuos [0,1] En una clasificación, se desea tener la menor calibración posible y la mayor discriminación posible Clasificación Supervisada

46 Medidas de Validación Ejemplo de Calibración y Discriminación:
Clase real: 1 Clase estimada: 0.6 Discriminación: 1 (maxima) suponiendo que Si Cestimada > 0.5 entonces Cestimada = 1 Calibración: 0.4 (1-0.6) Clasificación Supervisada

47 Medidas de Validación Brier Score
Medida de calibración para un clasificador que asigne, para cada patrón, probabilidades a posteriori a cada valor de la clase. Cuanto menor valor de Brier, mejor clasificador (más seguro en predicciones) Clasificación Supervisada

48 Medidas de Validación Log Likelihood
Función de Máxima verosimilitud (negativa) Se utiliza para estimar coeficientes de un modelo de “regresión logística” Calcula la calibración del clasificador. Tiene cierta relación con la discriminación. Cuanto mayor log likehood, menor calibración. Clasificación Supervisada

49 Medidas de Validación AURC (Area Under ROC Curve)
Calcula discriminación del clasificador Comportamiento de clasificación independientemente del error. Cuanto mayor AURC, mejor discrimina el clasificador TPR: Ciertos positivos FPR: Falsos positivos Clasificación Supervisada

50 Medidas de Validación Ejemplo AURC Clasificación Supervisada

51 Medidas de Validación Hosmer Lemeshow
Dividir la muestra en X grupos del mismo número de individuos Comparativa entre clase real y predicha Yj es la suma de los valores 1 de cada grupo Pj es la media de los valores predichos en cada grupo Clasificación Supervisada

52 Medidas de Validación Hosmer Lemeshow VS Log Likelihood
Aparentemente distintos Resultados empíricamente iguales Por tanto, utilizaremos el Log Likelihood Clasificación Supervisada

53 Contenidos Introducción Algoritmos de clasificación supervisada
KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out 0.632 Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación Supervisada

54 Mecanismos filter Mecanismo para filtrar y eliminar cierta información del conjunto de datos inicial, con el fin de eliminar posible ruido del mismo Mejora la clasificación supervisada ¿Qué se necesita previamente? Conjunto de datos de aprendizaje/test Criterio de evaluación de información Clasificación Supervisada

55 Mecanismos filter Uso de mecanismos filter: Ranking de atributos
Evalua cada uno de los atributos según un criterio específico, indicado previamente Se realiza un ranking con todos los atributos evaluados, ordenados de mayor a menor. Se seleccionan los X mejores atributos, eliminando aquellos atributos que generan mas ruido en el conjunto de datos Clasificación Supervisada

56 Contenidos Introducción Algoritmos de clasificación supervisada
KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out 0.632 Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación Supervisada

57 Mecanismos wrapper Mecanismo iterativo consistente en la modificación de distintas características que influyen directamente en la clasificación, con el fin de mejorar la estimación de clases. Trata de mejorar la medida de validación Posibilidad de usar algoritmos de optimización ¿Qué se necesita previamente? Conjunto de datos de aprendizaje/test Seleccionar un algoritmo de aprendizaje supervisado Seleccionar una técnica de validación Seleccionar una medida de validación Decidir que característica se desea modificar Clasificación Supervisada

58 Mecanismos wrapper Usos de mecanismos wrapper: Selección de variables o atributos (Feature Subset Selection) Seleccionar aquellas variables importantes en el aprendizaje supervisado En cada iteración se seleccionan distintos atributos, y se realizan aprendizaje y validación (dependiendo de las técnicas y medidas seleccionadas) Nos quedamos con aquella selección de atributos que obtenga la mejor medida de validación. Clasificación Supervisada

59 Mecanismos wrapper Algoritmos de optimización
aquellos que permiten optimizar una función objetivo de forma iterativa, a partir de ciertos parámetros de entrada. Algoritmos típicos: Métodos estocásticos Simulated Annealing, etc. Métodos heurísticos Tabu search, etc. Métodos evolutivos Algoritmos genéticos, EDAs, etc. Clasificación Supervisada

60 Contenidos Introducción Algoritmos de clasificación supervisada
KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out 0.632 Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación Supervisada

61 Referencias Han, J., Kamber, M.; Data Mining: Concepts and Techniques Morgan Kaufman Publishers; 2000 Hernández-Orallo J y otros; Introducción a la Minería de datos Pearson Education; 2004 Ian H. Witten, Eibe Frank; Data Mining: Practical Machine Learning Tools and Techniques Morgan Kaufmann; 2005 Mitchell, T.; Machine Learning McGraw-Hill Science/Engineering/Math; 1997 Soukup, T.; Visual Data Mining: Techniques and Tools for Data Visualization and Mining John Wiley & Sons; 2002 David L. Olson and Yong Shi; Introduction to Business Data Mining Mc-Graw-Hill; 2005 Clasificación Supervisada

62 Clasificación Supervisada
Santiago González Tortosa