Intelligent Databases and Information Systems research group Department of Computer Science and Artificial Intelligence E.T.S Ingeniería Informática – Universidad de Granada (Spain) Fundamentos de Minería de Datos Introducción al Data Mining Fernando Berzal

1 Extracción de patrones (“conocimiento”) en grandes cantidades de datos ¿Qué es la minería de datos? Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

2 Extracción de patrones (“conocimiento”) en grandes cantidades de datos Requisitos n No trivial n Implícito n Previamente desconocido n Potencialmente útil ¿Qué es la minería de datos? Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

3 ¿Qué es la minería de datos? Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía “Data rich, Information poor” Conocimiento (patrones interesantes)

4 Extracción de conocimiento en bases de datos KDD (Knowledge Discovery in Databases) Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

5 Extracción de conocimiento en bases de datos n Limpieza de datos (eliminación de ruido e inconsistencias) n Integración de datos (combinación de múltiples fuentes de datos) n Reducción/Selección de datos (identificación de datos relevantes para el problema) n Transformación de datos (preparación de los datos para su análisis) n Minería de datos (técnicas de extracción de patrones y medidas de interés) n Presentación de resultados (técnicas de visualización y de representación del conocimiento) KDD (Knowledge Discovery in Databases) Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

6 Extracción de conocimiento en bases de datos KDD (Knowledge Discovery in Databases) Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

7 Carácter multidisciplinar Data Mining Bases de datos Estadística IA Visualización Aprendizaje Representación del conocimiento Evaluación de resultados Resumen de datos Presentación de resultados Gestión de grandes cantidades de datos Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

8 En función de su propósito general: Técnicas descriptivas Técnicas predictivas También se pueden clasificar atendiendo a n el tipo de datos que hay que analizar n el tipo de “conocimiento” que se obtiene n el tipo de herramienta que utiliza n el dominio de aplicación Clasificación de técnicas Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

9 n Bases de datos relacionales n Bases de datos multidimensionales (DW) n Bases de datos transaccionales n Series temporales, secuencias y data streams n Datos estructurados (grafos, redes sociales) n Datos espaciales y espaciotemporales n Textos e hipertextos (p.ej. Web) n Bases de datos multimedia (p.ej. imágenes) Fuentes de datos Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

10 Caracterización o resumen Discriminación o contraste Patrones frecuentes, asociaciones y correlaciones Clasificación y predicción Detección de agrupamientos (clustering) Detección de anomalías (outliers) Análisis de tendencias (series temporales) Técnicas de Data Mining Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

11 Un resultado es interesante si… n es comprensible (por seres humanos) n es válido con cierto grado de certeza n es potencialmente útil n es novedoso o sirve para validar una hipótesis El interés de los resultados se puede evaluar n objetivamente (criterios estadísticos) n subjetivamente (perspectiva del usuario) Evaluación de resultados Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

12 Una tarea de minería de datos puede describirse en términos de… n Datos relevantes (lo que hay que analizar) n Tipo de conocimiento (lo que se desea obtener) n Conocimiento previo (background knowledge, para guiar el proceso) n Medidas de interés (para evaluar los resultados obtenidos) n Técnicas de representación (para representar los resultados obtenidos) Sistemas de Data Mining Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

13 Sistemas de Data Mining Arquitectura típica Limpieza, integración, selección y transformación de datos Base de datos o Data Warehouse Motor de minería de datos Evaluación de patrones Interfaz de usuario DB DW WWW … Base de conocimiento Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

14 Temas de investigación n n Técnicas eficientes de minería de datos n n Escalabilidad n n Técnicas incrementales n n Algoritmos paralelos n n Incorporación de conocimiento previo n n Evaluación de resultados (interés) n n Interacción con el usuario n n Técnicas interactivas (a distintos niveles de abstracción) n n Técnicas de presentación y visualización de resultados n n Análisis de “nuevos” tipos de datos n n Estructuras complejas (grafos, redes sociales) n n Bases de datos heterogéneas… Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

15 Bibliografía: Libros de texto Jiawei Han & Micheline Kamber: “Data Mining: Concepts and Techniques” Morgan Kaufmann, 2006, ISBN Pang-Ning Tan, Michael Steinbach & Vipin Kumar: “Introduction to Data Mining” Addison-Wesley, 2006, ISBN Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía

16 Bibliografía: Investigación REVISTAS ACM Transactions on KDD ACM Transactions on KDD IEEE Transactions on Knowledge and Data Engineering IEEE Transactions on Knowledge and Data Engineering Data Mining and Knowledge Discovery (DMKD) Data Mining and Knowledge Discovery (DMKD) ACM SIGKDD Explorations ACM SIGKDD Explorations Data & Knowledge Engineering (DKE) Data & Knowledge Engineering (DKE)CONGRESOS KDD (ACM SIGKDD International Conference on KDD) KDD (ACM SIGKDD International Conference on KDD) ICDM (IEEE International Conference on Data Mining) ICDM (IEEE International Conference on Data Mining) SDM (SIAM Data Mining Conference) SDM (SIAM Data Mining Conference) PKDD (Principles and Practices of KDD) PKDD (Principles and Practices of KDD) SIGMOD (Management of Data) SIGMOD (Management of Data) CIKM (Information and Knowledge Management) CIKM (Information and Knowledge Management) WEB: Definición Técnicas de Data Mining Evaluación de resultados Sistemas de Data Mining Temas de investigación Bibliografía