La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Curso de Minería de datos Luis Pelayo Guerra Velasco José María Peña Sánchez Víctor Robles Forcada Facultad de Informática, UPM Mayo de 2008.

Presentaciones similares


Presentación del tema: "Curso de Minería de datos Luis Pelayo Guerra Velasco José María Peña Sánchez Víctor Robles Forcada Facultad de Informática, UPM Mayo de 2008."— Transcripción de la presentación:

1 Curso de Minería de datos Luis Pelayo Guerra Velasco José María Peña Sánchez Víctor Robles Forcada Facultad de Informática, UPM Mayo de 2008

2 Índice Introducción Preprocesado Modelos descriptivos Modelos predictivos Validación

3 Índice Introducción Preprocesado Modelos descriptivos Modelos predictivos Validación

4 Aproximación Una visión simplificada de la minería de datos Los modelos son el producto de la minería de datos......y dan soporte a las estrategias de decisión que se tomen ModelosMinería de datosDatos

5 Datos y Modelos => Conocimiento Los datos se obtienen de: Bases de datos (relacionales, espaciales, temporales, documentales, multimedia, etc) World Wide Web Modelos descriptivos: identifican patrones que explican o resumen los datos Reglas de asociación: expresan patrones de comportamiento en los datos Clustering: agrupación de casos homogéneos Modelos predictivos: estiman valores de variables de interés (a predecir) a partir de valores de otras variables (predictoras) Regresión: Variable a predecir continua Clasificación supervisada: Variable a predecir discreta

6 Definiciones Data Mining (Minería de datos) Proceso de extraer conocimiento util y comprensible, previamente desconocido, desde grandes cantidades de datos almacenados en distintos formatos (Witten and Frank, 2000) Knowledge Discovery in Databases - KDD (Descubrimiento de Conocimiento en Bases de Datos) Proceso no trivial de identificar patrones válidos, novedosos, potencialmente útiles y, en última instancia, comprensibles, a partir de los datos (Fayyad y col. 1996)

7 Estadística vs Minería de datos

8 OLAP vs Minería de datos OLAP (On Line Analytical Processing) o FASMI (Fast Analysis of Shared Multidimensional Information)

9 Aplicaciones Financieras Comercio Seguros Educación Medicina Bioinformática Otras áreas

10 Ejemplo (I) Agente comercial: ¿Debo conceder una hipoteca a un cliente? Datos: Modelo generado: Minería de datos If Defaulter-accounts > 0 then Returns-credit = no If Defaulter-accounts = 0 and [(Salary > 2500) or (Credit-p > 10)] then Returns-credit = yes

11 Ejemplo (II) Supermercado: ¿Cuándo los clientes compran huevos, también compran aceite? Datos: Modelo generado: Minería de datos Eggs -> Oil: Confianza = 75%, Soporte = 37%

12 Ejemplo (III) Gestión de personal de una empresa: ¿Qué clases de empleados hay contratados? Datos: Modelo generado: Minería de datos Grupo 1: Sin niños y en una casa alquilada. Bajo número de uniones. Muchos días enfermos Grupo 2: Sin niños y con coche. Alto número de uniones. Pocos días enfermos. Más mujeres y en una casa alquilada Grupo 3: Con niños, casados y con coche. Más hombres y normalmente propietarios de casa. Bajo número de uniones

13 Ejemplo (IV) Tienda de TV: ¿Cuántas televisiones planas se venderán el próximo mes? Datos: Modelo generado: Minería de datos Modelo lineal: número de televisiones para el próximo mes V(month)flatTV = 0.62 V(Month-1)flat-TV V(Month-2)flat-TV V(Month-1)DVD-Recorder – 0.05

14 CRISP-DM

15 KDD La minería de datos se encuadra dentro de un proceso mucho mayor conocido como KDD (Knowledge Discovery from Databases) Fases del proceso iterativo e interactivo 1.Integración y recopilación de datos 2.Selección, limpieza y transformación 3.Minería de datos 4.Evaluación e interpretación 5.Difusión y uso

16 KDD – Knowledge Discovery in Databases

17 Fase 1 Integración y recopilación de datos Decisiones estratégicas basadas en el análisis, la planificación y la predicción: datos en varios departamentos Cada fuente de datos distintos formatos de registro, diferentes grados de agregación, diferentes claves primarias,.... Integración de múltiples bases de datos: almacenes de datos (data warehousing) Almacén de datos aconsejable cuando el volumen de información es grande. No estrictamente necesario (archivos de texto, hojas de cálculo,...)

18 Fase 2 Selección, limpieza y transformación Calidad del conocimiento descubierto depende (además del algoritmo de minería) de la calidad de los datos analizados Presencia de datos que no se ajustan al comportamiento general de los datos (outliers) Presencia de datos perdidos (missing values) Selección de variables relevantes (feature subset selection) Selección de casos aleatoria en bases de datos de tamaño ingente Construcción de nuevas variables que faciliten el proceso de minería de datos Discretización de variables continuas

19 Fase 3 Minería de datos Modelos descriptivos Reglas de asociación Clustering Modelos predictivos Regresión: regresión lineal, regresión logística Clasificación supervisada: clasificadores Bayesianos, redes neuronales, árboles de clasificación, inducción de reglas, K- NN, combinación de clasificadores

20 Fase 4 Evaluación e interpretación Técnicas de evaluación: validación simple (training + test), validación cruzada con k-fold, bootstrap Reglas de asociación: cobertura (soporte), confianza Clustering: variabilidad intra y entre Regresión: error cuadrático medio Clasificación supervisada: porcentaje de bien clasificados, matriz de confusión, análisis ROC Modelos precisos, comprensibles (inteligibles) e interesantes (útiles y novedosos)

21 Fase 5 Difusión y uso Difusión: necesario distribuir, comunicar a los posibles usuarios, integrarlo en el know-how de la organización Medir la evolución del modelo a lo largo del tiempo (patrones tipo pueden cambiar) Modelo debe cada cierto tiempo de ser: Reevaluado Reentrenado Reconstruido

22 Herramientas Weka, Clementine, etc. Knime. KoNstanz Information MinEr Flujo de datos utilizando nodos Conexión con otras aplicaciones Ampliación de nodos

23 Knime

24 Índice Introducción Preprocesado Modelos descriptivos Modelos predictivos Validación

25 Datos La parte más importante de la minería de datos, son precisamente, los datos Además de su obtención, uno de los pasos más importantes es el preprocesado Diversas técnicas según la necesidad

26 Obtención de datos en Knime

27 Representación de datos en Knime

28 Missing values Es posible que los métodos a utilizar no traten bien los campos con valores faltantes (missing values) Hay que detectarlos y tratarlos Ignorar, eliminar columna, filtrar fila, reemplazar el valor, etc.

29 Missing values en Knime

30 Discretización Consiste en la conversión de un valor numérico en un valor nominal ordenado que representa un intervalo En ciertas técnicas de clasificación es necesario que todos los datos sean discretos

31 Discretización en Knime

32 Numerización Es el proceso inverso a la discretización Pasar valores nominales a numéricos Es menos común Hay dos tipos: Numerización 1 a n Numerización 1 a 1

33 Numerización en Knime

34 Índice Introducción Preprocesado Modelos descriptivos Modelos predictivos Validación

35 Tareas descriptivas Agrupamiento (clustering) Correlaciones y factorizaciones Reglas de asociación Dependencias funcionales Detección de valores e instancias anómalas

36 Tabla de métodos

37 Clasificación no supervisada Datos: parte de un conjunto de datos u objetos cada uno caracterizado por varias variables Se trata de obtener grupos de objetos

38 Clustering Dados unos datos sin etiquetar, el objetivo es encontrar grupos naturales de instancias a) Particional b) Jerárquico

39 Tipos de clustering Clustering particional Partición de los objetos en grupos o clusters. Todos los objetos pertenecen a alguno de los k clusters, los cuales son disjuntos. Problema => elección de k Clustering ascendente jerárquico Crear un dendograma, es decir, crear un conjunto de agrupaciones anidadas hasta construir un árbol jerárquico

40 K-medias Método más utilizado de clustering particional La idea es situar los prototipos o centros en el espacio, de forma que los datos pertenecientes al mismo prototipo tengan características similares Los datos se asignan a cada centro según la menor distancia, normalmente usando la distancia euclídea Una vez introducidos todos los datos, se desplazan los prototipos hasta el centro de masas de su nuevo conjunto, esto se repite hasta que no se desplazan más.

41 K-medias en Knime

42 Jerárquico Dependiendo de la manera de construir el árbol: Aglomerativos: hojas -> raíz Divisivos: raíz -> hojas Dependiendo de cómo se calcule la distancia de enlace entre grupos: Enlace simple Enlace completo Enlace en la media

43 Clustering jerárquico en Knime

44 Índice Introducción Preprocesado Modelos descriptivos Modelos predictivos Validación

45 Tareas predictivas Clasificación Clasificación suave Estimación de probabilidad de clasificación Categorización Preferencia o priorización Regresión

46 Tabla de métodos

47 Clasificación supervisada Datos: N objetos con n+1 variables (n predictoras + clase) Inducir automaticamente un modelo clasificatorio

48 Paradigmas de clasificación supervisada Arboles de clasificacion (Quinlan, 1986; Breiman y col. 1984) Clasificadores k–NN (Covert y Hart, 1967; Dasarathy, 1991) Regresion logística (Hosmer y Lemeshow, 1989) Métodos Bayesianos (Mitchell, 1997) Sistemas clasificadores (Holland, 1975) Redes neuronales (McCulloch y Pitts, 1943) Inducción de reglas (Clark y Nibblet, 1989; Cohen, 1995; Holte, 1993) Máquinas de soporte vectorial (Cristianini y Shawe–Taylor, 2000) Análisis discriminante (Fisher, 1936)

49 Árboles de clasificación Método más facil de utilizar y de entender Conjunto de condiciones organizadas en una estructura jerárquica Las opciones posibles a partir de una condición son excluyentes ID3, C4.5, C5.0, CART, etc.

50 Métodos bayesianos Basados en la teoría de la probabilidad (teorema de Bayes) Naïve Bayes es el clasificador principal Uso de redes bayesianas Se usan en tareas descriptivas y predictivas

51 Clasificadores k-NN Se asigna la clase mayoritaria entre los k vecinos más proximos Se utiliza una función distancia Problema: Establecer un valor de k adecuado Cuando se asigna la clase del ejemplo más próximo solamente, es 1-NN

52 Clasificación en Knime

53 Índice Introducción Preprocesado Modelos descriptivos Modelos predictivos Validación

54 Tipos de validación Validación interna Es en la que se aprende, clasifica y valida con los datos de un mismo conjunto Validación externa Se aprende un modelo con un conjunto de datos, y se valida con unos datos que no han sido empleados en el aprendizaje

55 Hold-out Separar los datos disponibles en dos subconjuntos de datos: training set (para aprender un modelo) y test set (el resto de los datos) Se calcula la accuracy sobre el test set para estimar el error del modelo obtenido con el training set

56 K-fold-Cross-Validation Se particiona aleatoriamente en k subconjuntos el conjunto de datos disponible. Para cada uno de los subconjuntos obtenidos, se utilizará de test set para evaluar el modelo obtenido con el resto de subconjuntos Se realiza la media de las evaluaciones realizadas para obtener el resultado final

57 Leave one out Se deja una instancia de los datos como test set y se aprende con el resto del conjunto Este proceso se repite para cada instancia Se obtiene el resultado final realizando la media de todas las ejecuciones

58 0.632 Bootstrap Se divide en dos partes Se aprende y se valida con el mismo conjunto de datos N iteraciones de: Se seleccionan con reemplazo el mismo número de instancias que se tengan del conjunto de datos inicial Se utiliza el conjunto de datos creado como training set y se evalua con el conjunto formado por las instancias que no han sido seleccionadas en el paso anterior Se obtiene la media de las N iteraciones Resultado final: e = 0.632xE resubstitution xE iteraciones

59 Validación en Knime

60 Bootstrap en Knime


Descargar ppt "Curso de Minería de datos Luis Pelayo Guerra Velasco José María Peña Sánchez Víctor Robles Forcada Facultad de Informática, UPM Mayo de 2008."

Presentaciones similares


Anuncios Google