Algoritmos de Minería w Las ideas sencillas, frecuentemente funcionan bien w Un atributo hace todo (1-Rule) w Estructura lógica capturada en un árbol de decisión (ID3) w Todos los atributos contribuyen w Reglas independientes

Reglas de clasificación Antecedente consecuente w Antecedente: precondiciones, son la serie de pruebas que se realizan sobre los atributos. w Consecuente: conclusión, da la clase o clases que aplican a las instancias cubiertas por la regla

Modelado Estadístico w Todos los atributos contribuyen w Los atributos se consideran: Iguales en importancia Independientes w Se toma en cuenta la frecuencia del par atributo-valor por clase w No realista, ¡pero funciona!

Modelado estadístico w Está basado en la regla de probabilidad condicional de Bayes w Si se tiene una hipótesis H, y una evidencia E entonces: w P[H|E] = P[E|H] P[H]/ P[E] H : Play=Yes E : Combinación de valores del nuevo día

Naive Bayes P[H|E] = P[E 1 |H] P[E 2 |H] P[E 3 |H] P[E 4 |H] P[H] P[E] Los números encontrados se convierten en probabilidades normalizandolos de forma que sumen 1 P[H 1 |E] = P[E 1 |H]... P[E n |H] P[H] P[E|H 1 ] P[E|H m ]

Ejemplo

Frecuencias Probabilidades Observadas Probabilidad a Priori

Ejemplo

w Nuevo día OutlookTemp Humidity Windy play SunnyCool High True ? Pos. Yes = 2/9 x 3/9 x 3/9 x 3/9 x 9/14 = Pos. No = 3/5 x 1/5 x 4/5 x 3/5 x 5/14 = Prob. Yes = = 20.5 % Prob. No = = 79.5 %

Ejercicio Lentes de Contacto EliminandoEliminando 3 instancias3 instancias

Ej 1) w Pos B = (2/4) (2/4) (4/4) (0)(4/21) = 0 w Pos D = (2/3) (1/3) (0) (0) (3/21) = 0 w Pos N = (3/14)(7/14)(6/14)(11/14)(14/21)= Pr = 100% Ej 2) w Pos B = (2/4) (2/4) (0) (1)(4/21) = 0 w Pos D = (0) (2/3) (3/4) (1) (3/21) = 0 w Pos N = (5/14)(7/14)(8/14)(3/14)(14/21) = Pr=100% Ej 3) w Pos B = (0/14).... = 0 w Pos D = (1/3) (1/3) (0).... = 0 w Pos N = (6/14)(7/14)(6/14)(3/14)(14/21)= Pr = 100%

Problemas w Valores de un atributo que no se presentan w La probabilidad de la clase dado que el atributo tiene el valor ausente sería cero causando que todo el término sea cero. w La corrección es agregar uno a cada valor y compensar. (Estimador de Laplace MF. P) 2/9, 3/9, 4/9 cambian por 3/12, 4/12, 5/12

Problemas w Valores Faltantes Nueva instancia: se omite Conj. Entrenamiento: no cuenta w Atributos numéricos Se supone que tienen una distribución de probabilidad Normal o Gaussiana Se calcula la media x y la desviación estándar

Atributos Numéricos

Ejemplo

OutlookTemp Hum Windy Play Sunny66 90 True ?

Ejemplo Pos. Yes = 2/9 x x x 3/9 x 9/14 = Pos. No = 3/5 x x x 3/5 x 5/14 = Prob. Yes = = 20.9 % Prob. No = = 79.1 %

Inferencia de Reglas w Algoritmo de cobertura w Considerar cada clase buscando la forma de cubrir todas las instancias en la clase, y al mismo tiempo excluir a las instancias que no pertenecen a la clase. w Es llamado de cobertura porque en cada etapa se identifica una regla que cubre la mayoría de las instancias.

Método PRISM w Para cada clase se busca construir las reglas (agregando términos), que cubran todas las instancias de esa clase. w Al agregar un termino, suponga que la nueva regla cubre un total de t instancias, de las cuales p son ejemplos de la clase y t-p están en otras clases (errores de la regla). w Escoger el término que maximiza p/t

b a a a a aa b bb b bb b x y b a a a a a a b bb b b b b b b b y 1.2 b a a a a a a b bb b b b b b b b x > 1.2 ? b Y > 2.6 ? ba no yes Espacio de instancias Regla hasta el momento Regla después de añadir un nuevo término

Método PRISM Para cada clase C Inicializar E con el conjunto de instancias Mientras E contenga instancias de la clase C Crear la regla R: ? C Hasta que R sea perfecta (o más atributos) haz: Para cada atributo A no mencionado en R, y valor v Considerar agregar A=v en el lado Izquierdo de R Seleccionar A y v que maximicen la precisión p/t (si existen iguales escoger el de mayor p) Agregar A=v a R Eliminar las instancias cubiertas por R de E

Ejemplo: Lentes Si ? Hard w Ag = young2/80.25 = pre-presbyopic1/ = presbyopic1/ w SP = myope3/ = hypermetrope1/ w AS = no0/120 = yes4/ w TP = reduced0/120 = normal4/ Si (AS=Yes) Hard

Si (AS = Yes) & ? Hard w Ag = young2/40.5 = pre-presbyopic1/ = presbyopic1/ w SP = myope3/60.5 = hypermetrope1/ w TP = reduced0/60 = normal4/60.66 Si (AS=Yes)&(TP=Normal) Hard

Si (AS = Yes) &(TP=Normal) & ? Hard w Ag = young2/21 = pre-presbyopic1/20.5 = presbyopic1/40.5 w SP = myope3/31 = hypermetrope1/30.33 Si (AS=Yes)&(TP=Normal)&(SP=Myope) Hard

Reglas para RL=Hard w If (AS = Yes) & (TP = Normal) & (SP = Myope) HARD w If (AG = Young) & (AS = Yes) & (TP = Normal) HARD