La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Santiago González Tortosa. Introducción Introducción Clasificación Supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de.

Presentaciones similares


Presentación del tema: "Santiago González Tortosa. Introducción Introducción Clasificación Supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de."— Transcripción de la presentación:

1 Santiago González Tortosa

2 Introducción Introducción Clasificación Supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación SupervisadaPágina 2

3 Clasificación El problema general se basa en clasificar N individuos (instancias) procedentes de una muestra, en función de una serie de n variables (atributos) (X 1, X 2,...,X n ). Tipos de variables o atributos: Discretos Discretos: son aquellos para los que se dan, de modo inherente, separaciones entre valores observables sucesivos. Ejemplos: medios de transporte, tipologías de enfermedad, etc. Continuos Continuos: Su propiedad nos indica que 2 cualesquiera valores observables, hay otro valor observable. Toma valores a lo largo de un espacio continuo. Ejemplos: longitudes, pesos, etc. Clasificación SupervisadaPágina 3

4 Ejemplo Clasificación SupervisadaPágina 4 instancias o individuos variables o atributos variable continua variable discreta

5 Discretización de variables continuas Divide el rango de atributos continuos en Intervalos Almacena solo las etiquetas de los intervalos Importante para reglas de asociación y clasificación, algunos algoritmos solo aceptan datos discretos. Clasificación SupervisadaPágina 5

6 Discretización por igual amplitud Clasificación SupervisadaPágina 6

7 Discretización por igual frecuencia Clasificación SupervisadaPágina 7

8 Dos criterios de clasificación: Clasificación supervisada Clasificación no supervisada (siguiente tema) Clasificación SupervisadaPágina 8

9 Clasificación Supervisada Se parte de un conjunto de M clases conocido a priori. Estas clases deben caracterizarse en función del conjunto de variables (atributos) mediante la medición de las mismas en individuos. Cada individuo debe pertenecer, al menos, a una clase. A partir de un conjunto de individuos con clase asignada (conjunto de entrenamiento) se debe estimar las clases de los individuos de otro conjunto (conjunto de test) Clasificación SupervisadaPágina 9

10 Clasificación Supervisada Página 10

11 Clasificación Supervisada Tasa de acierto: (a+d)/Suma Tasa de error: (c+b)/Suma Verdaderos positivos (sensibilidad): a/a+c Verdaderos negativos (especificidad): d/b+d Falsos positivos: b/a+c Falsos negativos: c/b+d Clasificación SupervisadaPágina 11

12 Ejemplo Tasa de acierto: 4/6 Tasa de error: 2/6 Verdaderos pos: 2/3 Verdaderos neg: 2/3 Falsos pos: 1/3 Falsos neg:1/3 Clasificación SupervisadaPágina 12

13 Introducción Clasificación Supervisada Algoritmos de clasificación supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación SupervisadaPágina 13

14 Clasificación SupervisadaPágina 14

15 Algoritmos lazy El aprendizaje del conjunto de aprendizaje se realiza a la vez que se estima las clases del conjunto de test. Algoritmos probabilísticos Uso de la probabilidad y estadística para el aprendizaje y estimación de clases. Nuevo concepto: probabilidad de que un individuo pertenezca a una clase u otra. Arboles de decisión Representación del conocimiento y relación de los atributos y la clase usando arboles (binarios o no). Redes neuronales Uso del concepto de neurona artificial (simula la neurona del cerebro) Se entrena una red de neuronas interconectadas con los individuos para cada clase. Con esto, al presentarle un individuo nuevo en sus entradas, la red dará como resultado la clase a la cual pertenece. Clasificación SupervisadaPágina 15

16 Algoritmos presentados en clase: Algoritmo lazy: KNN (K Nearest Neighbour) Algoritmo probabilístico: Naive Bayes Árbol de decisión: ID3 (Induction Decision Trees) Objetivo común: Obtener y estimar las clases del conjunto de test de individuos Obtener la menor tasa de error en las clases estimadas Clasificación SupervisadaPágina 16

17 Idea: basarse en los K individuos más cercanos al individuo al que se desea obtener su clase. Es necesario calcular la distancia entre individuos para saber cuales son más cercanos (euclidea, manhattan, etc.) Variables iniciales necesarias: Numero de vecinos: K Calculo de distancia: d(x,y) Conjunto de datos de aprendizaje Individuo del conjunto de test Clasificación SupervisadaPágina 17

18 Distancia euclidea Distancia Manhattan Muy parecida a la distancia euclidea Diferencia: eliminando de la ecuación la raiz cuadrada y sustituyendo el cuadrado de cada valor (p i -q i ) por su valor absoluto. Clasificación SupervisadaPágina 18

19 Ejemplo representado con K = 3, dos atributos y distancia euclidea Clasificación SupervisadaPágina 19

20 Pseudocódigo del algoritmo Clasificación SupervisadaPágina 20

21 Teorema de Bayes Siendo D los datos y H la hipótesis, ambos discretos: p(H | I ) se denomina probabilidad prior y representa el nivel de confianza en la hipótesis sin utilizar los datos p(D | H, I ) se denomina verosimilitud y representa lo verosímiles que son los datos si la hipótesis es cierta La verosimilitud sirve para transformar la probabilidad prior en posterior: p(H | D, I ) se denomina probabilidad posterior y representa el nivel de confianza en la hipótesis a la luz de los datos p(D| I ) se denomina evidencia y en muchas aplicaciones solo cumple una función de normalización, pues no depende de H Clasificación SupervisadaPágina 21

22 Ejemplo: Un taxi golpea a una persona de noche y huye. En la ciudad operan don compañías de taxis: la verde y la azul. El 85% de los taxis de la ciudad son verdes y el 15% restante, azules. Una testigo identifica el taxi como azul. El jurado estima la fiabilidad de la testigo en un 80%. ¿Cuál es la probabilidad de que el taxi del accidente fuera azul? Clasificación SupervisadaPágina 22

23 Las probabilidades a priori sin disponer del testimonio de la testigo son: P(H=verde) = 0.85 P(H=azul) = 0.15 Buscamos la probabilidad a posteriori de que la compañía sea azul, conociendo la identificación de la testigo: ¿¿P(H=verde|D=azul)?? Clasificación SupervisadaPágina 23

24 La verosimilitud es fácil de calcular: P(D = azul | H = verde) = 0.20 P(D = azul | H = azul) = 0.80 El dato de que disponemos es que la testigo afirma que la compañía responsable es la azul. Este dato es más verosímil cuando aceptamos la hipótesis de que la compañía azul es responsable (80% frente a 20%). Si nuestro criterio fuera optimizar la verosimilitud, concluiríamos que la compañía responsable es la azul. Clasificación SupervisadaPágina 24

25 Concluimos: P(H=verde|D=azul) = P(D=azul|H=verde) x P(H=verde) / P(D=azul) P(D=azul) = P(D=azul|H=azul) x P(H=azul) + P(D=azul|H=verde)x P(H=verde) P(D=azul) = 0.2 x x 0.15 = = 0.29 P(H=verde|D=azul) = 0.2 x 0.85 / 0.29 = 0.59 Clasificación SupervisadaPágina 25

26 El método conocido como Naive Bayes aproxima el valor de la verosimilitud suponiendo que los atributos son independientes: La aproximación es distinta, puesto que no se fija la hipótesis: Clasificación SupervisadaPágina 26

27 Cuando las hipótesis son varias: Clasificación SupervisadaPágina 27

28 Objetivo: Construir un árbol de decisión que explique cada instancia de la secuencia de entrada de la manera más compacta posible a partir de una tabla de inducción. Crear un árbol de decisión como un método para aproximar una función objetivo de valores discretos, que es resistente al ruido en los datos y que es capaz de hallar o aprender de una disyunción de expresiones. El resultado puede expresarse como un conjunto de reglas Si-entonces. Intenta encontrar el árbol más sencillo que separa mejor los ejemplos. Es recursivo. Utiliza la ganancia para decidir que atributo es mejor en cada iteración del algoritmo. Clasificación SupervisadaPágina 28

29 Clasificación SupervisadaPágina 29

30 El atributo mas discriminativo es aquel que tiene más ganancia: G (C,Attr 1 ) = E (C) - P(C|Attr 1 =V i ) * E (Attr 1 ) donde E (Attr 1 ) = - P(Attr 1 =V i ) * log 2 (P(Attr 1 =V i )) = = - P(Attr 1 =V i ) * ln(P(Attr 1 =V i )) / ln(2) Clasificación SupervisadaPágina 30

31 Ejemplo Clasificación SupervisadaPágina 31

32 Ganancia(AdministrarTratamiento,Gota) = G(AT,G) G(AT,G) = E(AT) – P(G=Si) x E(G=Si) – P(G=No) x E(G=No) E(G=Si) = - P(AT=Si|G=Si) * log 2 (P(AT=Si|G=Si)) - P(AT=No|G=Si) * log 2 (P(AT=No|G=Si)) = = - 3/7 * log 2 (3/7) – 4/7 * log 2 (4/7) = E(G=No) = - P(AT=Si|G=No) * log 2 (P(AT=Si|G=No)) - P(AT=No|G=No) * log 2 (P(AT=No|G=No)) = - 6/7 * log 2 (6/7) – 1/7 * log 2 (1/7) = E(AT)=- P(AT=Si)* log 2 (P(AT=Si)) - P(AT=No)* log 2 (P(AT=No)) = = - 9/14 * log 2 (9/14) - 5/14 * log 2 (5/14) = P(AT,G) = 0.94 – P(G=Si) x – P(G=No) x = = 0.94 – (7/14) x – (7/14) x = Clasificación SupervisadaPágina 32

33 Que atributo tiene mayor ganancia?? Clasificación SupervisadaPágina 33

34 Una vez seleccionado el atributo Presión Arterial: Clasificación SupervisadaPágina 34

35 Después de varias iteraciones, el árbol resultante sería: Clasificación SupervisadaPágina 35

36 Introducción Clasificación Supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de Validación Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación SupervisadaPágina 36

37 Para poder validar los resultados obtenidos en el aprendizaje de algoritmos de clasificación supervisada, es necesario disponer de mecanismos y medidas de validación. Métodos de validación: Resustitución Hold-out Leave one out N fold cross-validation Bootstrap Clasificación SupervisadaPágina 37

38 Resustitución Clasificación SupervisadaPágina 38

39 Hold-out Clasificación SupervisadaPágina 39

40 N-fold cross validation Clasificación SupervisadaPágina 40

41 Leave-one-out N-cross fold validation cuando N = dim(Datos) Clasificación SupervisadaPágina 41

42 0.632 Bootstrap Clasificación SupervisadaPágina 42

43 Introducción Clasificación Supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out Bootstrap Medidas de Validación Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Clasificación SupervisadaPágina 43

44 Las medidas de validación nos cuantifica como de bueno es el algoritmo de clasificación frente a los datos, utilizando un método de validación. Calibración y Discriminación Medidas: PBC o Accuracy Brier Score Log Likelihood AURC Hosmer Lemeshow Clasificación SupervisadaPágina 44

45 Calibración Estima la distancia entre los valores observados (reales) y los predichos. Valores continuos [0,) Discriminación Estima la probabilidad de clasificación. Valores continuos [0,1] En una clasificación, se desea tener la menor calibración posible y la mayor discriminación posible Clasificación SupervisadaPágina 45

46 Ejemplo de Calibración y Discriminación: Clase real: 1 Clase estimada: 0.6 Discriminación: 1 (maxima) suponiendo que Si C estimada > 0.5 entonces C estimada = 1 Calibración: 0.4 (1-0.6) Clasificación SupervisadaPágina 46

47 Brier Score Medida de calibración para un clasificador que asigne, para cada patrón, probabilidades a posteriori a cada valor de la clase. Cuanto menor valor de Brier, mejor clasificador (más seguro en predicciones) Clasificación SupervisadaPágina 47

48 Log Likelihood Función de Máxima verosimilitud (negativa) Se utiliza para estimar coeficientes de un modelo de regresión logística Calcula la calibración del clasificador. Tiene cierta relación con la discriminación. Cuanto mayor log likehood, menor calibración. Clasificación SupervisadaPágina 48

49 AURC (Area Under ROC Curve) Calcula discriminación del clasificador Comportamiento de clasificación independientemente del error. Cuanto mayor AURC, mejor discrimina el clasificador Clasificación SupervisadaPágina 49 TPR: Ciertos positivos FPR: Falsos positivos

50 Ejemplo AURC Clasificación SupervisadaPágina 50

51 Hosmer Lemeshow Dividir la muestra en X grupos del mismo número de individuos Comparativa entre clase real y predicha Yj es la suma de los valores 1 de cada grupo Pj es la media de los valores predichos en cada grupo Clasificación SupervisadaPágina 51

52 VS Hosmer Lemeshow VS Log Likelihood Aparentemente distintos Resultados empíricamente iguales Por tanto, utilizaremos el Log Likelihood Clasificación SupervisadaPágina 52

53 Introducción Clasificación Supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos filter Mecanismos wrapper Referencias Clasificación SupervisadaPágina 53

54 Mecanismo para filtrar y eliminar cierta información del conjunto de datos inicial, con el fin de eliminar posible ruido del mismo Mejora la clasificación supervisada ¿Qué se necesita previamente? Conjunto de datos de aprendizaje/test Criterio de evaluación de información Clasificación SupervisadaPágina 54

55 Uso de mecanismos filter: Ranking de atributos Evalua cada uno de los atributos según un criterio específico, indicado previamente Se realiza un ranking con todos los atributos evaluados, ordenados de mayor a menor. Se seleccionan los X mejores atributos, eliminando aquellos atributos que generan mas ruido en el conjunto de datos Clasificación SupervisadaPágina 55

56 Introducción Clasificación Supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Mecanismos wrapper Referencias Clasificación SupervisadaPágina 56

57 Mecanismo iterativo consistente en la modificación de distintas características que influyen directamente en la clasificación, con el fin de mejorar la estimación de clases. Trata de mejorar la medida de validación Posibilidad de usar algoritmos de optimización ¿Qué se necesita previamente? Conjunto de datos de aprendizaje/test Seleccionar un algoritmo de aprendizaje supervisado Seleccionar una técnica de validación Seleccionar una medida de validación Decidir que característica se desea modificar Clasificación SupervisadaPágina 57

58 Usos de mecanismos wrapper: Selección de variables o atributos (Feature Subset Selection) Seleccionar aquellas variables importantes en el aprendizaje supervisado En cada iteración se seleccionan distintos atributos, y se realizan aprendizaje y validación (dependiendo de las técnicas y medidas seleccionadas) Nos quedamos con aquella selección de atributos que obtenga la mejor medida de validación. Clasificación SupervisadaPágina 58

59 Algoritmos de optimización aquellos que permiten optimizar una función objetivo de forma iterativa, a partir de ciertos parámetros de entrada. Algoritmos típicos: Métodos estocásticos Simulated Annealing, etc. Métodos heurísticos Tabu search, etc. Métodos evolutivos Algoritmos genéticos, EDAs, etc. Clasificación SupervisadaPágina 59

60 Introducción Clasificación Supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de Validación Resustitución Hold-out N fold cross-validation Leave one out Bootstrap Medidas de Validación Brier Score Log Likelihood AURC Hosmer Lemeshow Mecanismos filter Mecanismos wrapper Referencias Referencias Clasificación SupervisadaPágina 60

61 Han, J., Kamber, M.; Data Mining: Concepts and Techniques Morgan Kaufman Publishers; 2000 Hernández-Orallo J y otros; Introducción a la Minería de datos Pearson Education; 2004 Ian H. Witten, Eibe Frank; Data Mining: Practical Machine Learning Tools and Techniques Morgan Kaufmann; 2005 Mitchell, T.; Machine Learning McGraw-Hill Science/Engineering/Math; 1997 Soukup, T.; Visual Data Mining: Techniques and Tools for Data Visualization and Mining John Wiley & Sons; 2002 David L. Olson and Yong Shi; Introduction to Business Data Mining Mc-Graw-Hill; 2005 Clasificación SupervisadaPágina 61

62 Santiago González Tortosa


Descargar ppt "Santiago González Tortosa. Introducción Introducción Clasificación Supervisada Algoritmos de clasificación supervisada KNN Naive Bayes ID3 Métodos de."

Presentaciones similares


Anuncios Google