Software Association Rules

Presentación del tema: "Software Association Rules"— Transcripción de la presentación:

1 Software Association Rules
3/24/2017 Maestria en Data Mining

2 Maestria en Data Mining
Agenda Weka R Apriori 3/24/2017 Maestria en Data Mining

3 Maestria en Data Mining
Weka Tiene implementados 3 algoritmos vinculados a Association Rules Apriori Tertius Predictive Apriori Los dos últimos son de tipo “predictivo” 3/24/2017 Maestria en Data Mining

4 Weka –Parámetros Apriori
Car: indica que se trata de “clasification association rule”, funciona en conjunto con classindex que indica cual es la variable a predecir Tiene un rango para el min support y el parámetro ”Delta” indica en cuanto se baja el min support en una iteración si no se alcanza el numero deseado de reglas significance level : Apriori usa un test de chi-cuadrado para determinar si la relación entre X e Y es estadisticamente significativa. Se rechazan aquellos casos en los que la probabilidad de chi-cuadrado sea menor que la establecida en este parámetro 3/24/2017 Maestria en Data Mining

5 Maestria en Data Mining
Weka –Metric Type Indica la métrica que se va a utilizar para ordenar los resultados. Además de la confianza están leverage (L -> R) Pr(L,R) - Pr(L).Pr(R). Mide la diferencia que hay entre los casos cubiertos por el itemset y la que se debería haber esperado si los sucesos eran independientes Lift (L -> R) (P(LR)/(P(L)*P(R)) Conviction (L -> R) (1 − sup(R))/(1 − confidence(L -> R)) Mide las veces que A ocurre sin B 3/24/2017 Maestria en Data Mining

6 Maestria en Data Mining
Weka –Varios Para poder procesar los datos referidos a las clásicas compras del supermercado es necesario que los datos tengan el formato de una matriz, donde las filas representan las compras y las columnas los productos. En las columnas correspondientes a los productos que se encuentran en una transaccion debe aparecer un 1 (TRUE) y si bien la documentacion dice que en los demás debe haber un 0 ( FALSE) la heurísitca demuestra que es necesario colocar un “?” En la versión no permite utilizar atributos numéricos para reglas de asociación generalizadas , pero eso esta resuelto en al versión 3.5.7 3/24/2017 Maestria en Data Mining

7 Maestria en Data Mining
Agenda Weka R Apriori 3/24/2017 Maestria en Data Mining

8 Maestria en Data Mining
Es necesario instalar los packages Arules Matrix ( necesario para ejecutar el anterior) En el servidor de ftp estan las versiones que se pueden usar con el software del laboratorio. Sino pueden instalarlo directamente desde internet En el archivo arules.pdf está el help correspondiente al package Una vez instalados antes de usarlos hay que cargarlos 3/24/2017 Maestria en Data Mining

9 Maestria en Data Mining
Tiene implementados 2 algoritmos de association rules Apriori Eclat 3/24/2017 Maestria en Data Mining

10 Maestria en Data Mining
Pueden encontrar detalles sobre la implementación de estos algoritmos en R en : “Introduction to arules Mining Association Rules and Frequent Item Sets”, Michael Hahsler and Bettina Grün and Kurt Hornik ( arules_paper.pdf) “Efficient Implementations of Apriori and Eclat”, Christian Borgelt ( fimi_03.pdf) El algoritmo ECLAT está descripto en : “Scalable Algorithms for Association Mining”, Mohammed J. Zaki ( k0372.pdf) 3/24/2017 Maestria en Data Mining

11 Maestria en Data Mining
Parámetros Apriori recibe 4 parámetros : Datos Parámetros de ejecución del algoritmo ( confianza, y muchos más) Apariencia: restricciones en las reglas que son generadas por apriori ( por ejemplo que atributos quiero que aparezcan del lado izquierdo, derecho., etc.) Control : impactan sobre la forma de ejecución del algoritmo ( por ejemplo maximizar memoria o velocidad, etc) Eclat recibe 3 parámetros : Parámetros de ejecución del algoritmo Control 3/24/2017 Maestria en Data Mining

12 Parámetros de ejecución
Comunes a ambos algoritmos Support: minlen: mínimo número de items por itemset maxlen: máximo número de items por itemset target: Tipo de asociación a buscar "frequent itemsets" "maximally frequent itemsets" "closed frequent itemsets" "rules" (Sólo Apriori) ext: variable boolena indicando si se va a dar informacion adicional sobre las medidas de calidad 3/24/2017 Maestria en Data Mining

13 Maestria en Data Mining
Parámetros Apriori Confidence smax: valor para el máximo soporte ( default 1) arem: indicador de medidas adicionales de calidad a utilizar (default: "none“) "none“: "diff": absolute confidence difference "quot": difference of confidence quotient to 1 "aimp": absolute difference of improvement to 1 "info": information difference to prior "chi2": normalized chi^2 measure aval: indicador boolenao para establecer si se desea mostrar las medidas adicionales de calidad. arem. minval: mínimo valor para la medida adicional establecida(default: 0.1) originalSupport: indicador boolenao para establecer si se desea calcular el soporte de la forma tradicional o sólo utilizando la parte izquierda de las reglas 3/24/2017 Maestria en Data Mining

14 Maestria en Data Mining
Parámetros Eclat tidLists: indicador booleano para establecer si se desea mostrar el conjunto de transacciones en las que aparece cada itemset(transaction IDs) (default: FALSE) 3/24/2017 Maestria en Data Mining

15 Maestria en Data Mining
Parámetros de Control Son parámetros referidos a la forma de ejecución del algoritmo. Por ejemplo tree: a logical indicating whether to organize transactions as a prefix tree (default: TRUE) heap: a logical indicating whether to use heapsort instead of quicksort to sort the transactions (default: TRUE) memopt: a logical indicating whether to minimize memory usage instead of maximize speed (default: FALSE) load: a logical indicating whether to load transactions into memory (default: TRUE) 3/24/2017 Maestria en Data Mining

16 Parámetros de Apariencia
Aplican sólo al a priori Se refieren a los criterios que deben cumplir las reglas que están buscando. Por ejemplo appearance = list(rhs = c("income=small", "income=large"), default="lhs“), indica que para la parte derecha de la regla tiene que aparecer la variable income con los valores small o large y que para la parte izquierda no hay restricciones. 3/24/2017 Maestria en Data Mining

17 Algunos Comandos útiles
Para ver las transacciones inspect(basket) Para obtener información de resumen de las transacciones ( cuantas son, cuantos items, etc) Summary(basket) Para convertir del formato de transacciones a un formato de matriz j <- as(basket, "matrix") 3/24/2017 Maestria en Data Mining

18 Maestria en Data Mining
Agenda Weka R Apriori 3/24/2017 Maestria en Data Mining

19 Maestria en Data Mining
Apriori Es un ejecutable que se corre desde línea de comandos El autor es Christian Borgelt ( que es el mismo que hizo la implementación del apriori en el R) La página es De ahí se puede bajar y está el help 3/24/2017 Maestria en Data Mining

20 Software Association Rules
Muchas gracias! 3/24/2017 Maestria en Data Mining