Algoritmos de Minería w Las ideas sencillas, frecuentemente funcionan bien w Un atributo hace todo (1-Rule) w Estructura lógica capturada en un árbol de.

Presentación del tema: "Algoritmos de Minería w Las ideas sencillas, frecuentemente funcionan bien w Un atributo hace todo (1-Rule) w Estructura lógica capturada en un árbol de."— Transcripción de la presentación:

1 Algoritmos de Minería w Las ideas sencillas, frecuentemente funcionan bien w Un atributo hace todo (1-Rule) w Estructura lógica capturada en un árbol de decisión (ID3) w Todos los atributos contribuyen w Reglas independientes

2 Reglas de clasificación Antecedente consecuente w Antecedente: precondiciones, son la serie de pruebas que se realizan sobre los atributos. w Consecuente: conclusión, da la clase o clases que aplican a las instancias cubiertas por la regla

3 Modelado Estadístico w Todos los atributos contribuyen w Los atributos se consideran: Iguales en importancia Independientes w Se toma en cuenta la frecuencia del par atributo-valor por clase w No realista, ¡pero funciona!

4 Modelado estadístico w Está basado en la regla de probabilidad condicional de Bayes w Si se tiene una hipótesis H, y una evidencia E entonces: w P[H|E] = P[E|H] P[H]/ P[E] H : Play=Yes E : Combinación de valores del nuevo día

5 Naive Bayes P[H|E] = P[E 1 |H] P[E 2 |H] P[E 3 |H] P[E 4 |H] P[H] P[E] Los números encontrados se convierten en probabilidades normalizandolos de forma que sumen 1 P[H 1 |E] = P[E 1 |H]... P[E n |H] P[H] P[E|H 1 ] +... +P[E|H m ]

6 Ejemplo

7 Frecuencias Probabilidades Observadas Probabilidad a Priori

8 Ejemplo

9 w Nuevo día OutlookTemp Humidity Windy play SunnyCool High True ? Pos. Yes = 2/9 x 3/9 x 3/9 x 3/9 x 9/14 = 0.0053 Pos. No = 3/5 x 1/5 x 4/5 x 3/5 x 5/14 = 0.0206 Prob. Yes = 0.0053 = 20.5 % 0.0053 + 0.0206 Prob. No = 0.0206 = 79.5 % 0.0053 + 0.0206

10 Ejercicio Lentes de Contacto EliminandoEliminando 3 instancias3 instancias

11

12

13

14 Ej 1) w Pos B = (2/4) (2/4) (4/4) (0)(4/21) = 0 w Pos D = (2/3) (1/3) (0) (0) (3/21) = 0 w Pos N = (3/14)(7/14)(6/14)(11/14)(14/21)= 0.024 Pr = 100% Ej 2) w Pos B = (2/4) (2/4) (0) (1)(4/21) = 0 w Pos D = (0) (2/3) (3/4) (1) (3/21) = 0 w Pos N = (5/14)(7/14)(8/14)(3/14)(14/21) = 0.0145 Pr=100% Ej 3) w Pos B = (0/14).... = 0 w Pos D = (1/3) (1/3) (0).... = 0 w Pos N = (6/14)(7/14)(6/14)(3/14)(14/21)= 0.0131 Pr = 100%

15 Problemas w Valores de un atributo que no se presentan w La probabilidad de la clase dado que el atributo tiene el valor ausente sería cero causando que todo el término sea cero. w La corrección es agregar uno a cada valor y compensar. (Estimador de Laplace MF. P) 2/9, 3/9, 4/9 cambian por 3/12, 4/12, 5/12

16 Problemas w Valores Faltantes Nueva instancia: se omite Conj. Entrenamiento: no cuenta w Atributos numéricos Se supone que tienen una distribución de probabilidad Normal o Gaussiana Se calcula la media x y la desviación estándar

17 Atributos Numéricos

18 Ejemplo

19 OutlookTemp Hum Windy Play Sunny66 90 True ?

20 Ejemplo Pos. Yes = 2/9 x 0.034 x 0.0221 x 3/9 x 9/14 = 0.000036 Pos. No = 3/5 x 0.0279 x 0.038 x 3/5 x 5/14 = 0.000136 Prob. Yes = 0.000036 = 20.9 % 0.000036 + 0.000136 Prob. No = 0.000136 = 79.1 % 0.000036 + 0.000136

21 Inferencia de Reglas w Algoritmo de cobertura w Considerar cada clase buscando la forma de cubrir todas las instancias en la clase, y al mismo tiempo excluir a las instancias que no pertenecen a la clase. w Es llamado de cobertura porque en cada etapa se identifica una regla que cubre la mayoría de las instancias.

22 Método PRISM w Para cada clase se busca construir las reglas (agregando términos), que cubran todas las instancias de esa clase. w Al agregar un termino, suponga que la nueva regla cubre un total de t instancias, de las cuales p son ejemplos de la clase y t-p están en otras clases (errores de la regla). w Escoger el término que maximiza p/t

23 b a a a a aa b bb b bb b x y b a a a a a a b bb b b b b b b b y 1.2 b a a a a a a b bb b b b b b b b 2.6 1.2 x > 1.2 ? b Y > 2.6 ? ba no yes Espacio de instancias Regla hasta el momento Regla después de añadir un nuevo término

24 Método PRISM Para cada clase C Inicializar E con el conjunto de instancias Mientras E contenga instancias de la clase C Crear la regla R: ? C Hasta que R sea perfecta (o más atributos) haz: Para cada atributo A no mencionado en R, y valor v Considerar agregar A=v en el lado Izquierdo de R Seleccionar A y v que maximicen la precisión p/t (si existen iguales escoger el de mayor p) Agregar A=v a R Eliminar las instancias cubiertas por R de E

25

26 Ejemplo: Lentes Si ? Hard w Ag = young2/80.25 = pre-presbyopic1/80.125 = presbyopic1/80.125 w SP = myope3/120.25 = hypermetrope1/120.083 w AS = no0/120 = yes4/120.333 w TP = reduced0/120 = normal4/120.333 Si (AS=Yes) Hard

27 Si (AS = Yes) & ? Hard w Ag = young2/40.5 = pre-presbyopic1/40. 25 = presbyopic1/40. 25 w SP = myope3/60.5 = hypermetrope1/60.016 w TP = reduced0/60 = normal4/60.66 Si (AS=Yes)&(TP=Normal) Hard

28 Si (AS = Yes) &(TP=Normal) & ? Hard w Ag = young2/21 = pre-presbyopic1/20.5 = presbyopic1/40.5 w SP = myope3/31 = hypermetrope1/30.33 Si (AS=Yes)&(TP=Normal)&(SP=Myope) Hard

29

30 Reglas para RL=Hard w If (AS = Yes) & (TP = Normal) & (SP = Myope) HARD w If (AG = Young) & (AS = Yes) & (TP = Normal) HARD