La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Selección de Características INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto Díaz error del clasificador número de características número.

Presentaciones similares


Presentación del tema: "Selección de Características INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto Díaz error del clasificador número de características número."— Transcripción de la presentación:

1 Selección de Características INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto Díaz error del clasificador número de características número de ejemplos

2 Mapa Conceptual – Minería de Datos Data Objetivo Data Pre-procesada Data Transformada Patrones Fuentes de datosPre-procesamiento Exploración y transformación Reconocimiento de Patrones Evaluación e Interpretación Data cruda DHW DBMS Texto Evaluación y Entendimiento Muestreo y Selección Muestreo Selección Limpieza de Datos Limpieza de datos Datos que no existen Datos no clasificados Identificación de extremos Eliminación de Ruido Transformación de Datos Reducción de Dimensionalidad Creación de Características Normalización de Datos Variables Correlacionadas Discretización Reportes y VisualizaciónModelado Descripción Clasificación Regresión Agrupamiento Asociación Secuenciación Detección de Desviación

3 3/39 Tabla de Contenido Introducción 4Introducción Pre-procesamiento9Pre-procesamiento Reducción de Datos26Reducción de Datos Selección de Instancias36Selección de Instancias Selección de Características40Selección de Características Ejemplo –Planteamiento del Problema49Planteamiento del Problema –Procedimiento de solución53Procedimiento de solución –Algoritmos58Algoritmos –Fuentes de Datos64Fuentes de Datos –Diseño de Experimentos66Diseño de Experimentos –Resultados Experimentales68Resultados Experimentales

4 4/39 INTRODUCCION

5 5/39 Proceso de la Minería de Datos

6 6/39 Proceso de Minería de Datos Pre-procesamiento. Problemas de pre-procesamiento como un problema de búsqueda Minería de Datos. Aprendizaje/extracción de conocimiento como problemas de optimización y búsqueda

7 7/39 Preparación y pre-procesamiento de datos

8 8/39 Preparación de Datos El propósito fundamental de la preparación de los datos es la manipulación y transformación de los datos sin refinar para que la información contenida en el conjunto de datos pueda ser descubierta o estar accesible de forma más fácil.

9 9/39 PRE-PROCESAMIENTO

10 10/39 Importancia Los datos reales pueden ser impuros, pueden conducir a la extracción de patrones/reglas poco útiles. Esto se puede deber a: –Datos Incompletos: falta de valores de atributos, –Datos con Ruido –Datos inconsistentes (incluyendo discrepancias)

11 11/39 Importancia La preparación de datos puede generar un conjunto de datos más pequeño que el original, lo cual puede mejorar la eficiencia del proceso de Minería de Datos. Esta actuación incluye: –Selección relevante de datos: Eliminando registros duplicados Eliminando anomalías, –Reducción de Datos: Selección de características muestreo o selección de instancias Discretización.

12 12/39 Importancia La preparación de datos genera datos de calidad, los cuales pueden conducir a patrones/reglas de calidad. Por ejemplo, se puede: –Recuperar información incompleta. –Eliminar outliers –Resolver conflictos,

13 13/39 Importancia Datos de baja calidad puede llevar a modelos de minería de datos de baja calidad. Decisiones de calidad deben ser basadas en datos de calidad. La preparación de datos (limpieza, transformación, ….) puede llevar la mayor parte del tiempo de trabajo en una aplicación de minería de datos (90%).

14 14/39 ¿Qué incluye la Preparación de Datos? Engloba a todas aquellas técnicas de análisis de datos que permite mejorar la calidad de un conjunto de datos de modo que las técnicas de extracción de conocimiento / minería de datos puedan obtener mayor y mejor información (mejor porcentaje de clasificación, reglas con más completitud, etc.)

15 15/39 ¿Qué incluye la Preparación de Datos? Es difícil dar una lista exacta de tareas o tópicos. Diferentes autores dan diferentes tareas y clasificaciones. Se pueden incluir las siguientes tareas o tópicos. –Limpieza de datos –Integración de datos –Transformación de datos –Reducción de datos

16 16/39 ¿Qué incluye la Preparación de Datos?

17 17/39 Limpieza de datos Resuelve redundancias consecuencia de la integración Chequea y resuelve problemas de ruido, valores perdidos, elimina outliers, Resuelve inconsistencias/conflictos entre datos

18 18/39 Limpieza de Datos Outliers Son objetos/datos con características que son considerablemente diferentes de la mayoría de los otros datos/objetos del conjunto.

19 19/39 Limpieza de Datos Datos con ruido. Suavizado

20 20/39 Limpieza de Datos Ejemplo de inconsistencias Presencia de discrepancias en datos Edad=42 Fecha de Nacimiento=03/07/1997

21 21/39 Integración de Datos Obtiene los datos de diferentes fuentes de información Resuelve problemas de representación y codificación Integra los datos desde diferentes tablas para crear

22 22/39 Transformación de Datos Los datos son transformados o consolidados de forma apropiada para la extracción de información. Diferentes vías: –Sumarización de datos –Operaciones de agregación, etc. –Aplicación de funciones

23 23/39 Ejemplos de Transformación de Datos Normalización min-max Normalización z-score Normalización por escala decimal donde j es el entero más pequeño tal que max(| v|) < 1

24 24/39 Reducción de Datos Selecciona/extrae datos relevantes para la tarea de la minería de datos/extracción de información. Datos originales Datos Reducidos

25 25/39 Reducción de Datos Diferentes vías para la Reducción de Datos: –Selección de Características –Selección de Instancias –Agrupamiento / Compactación –Discretización

26 26/39 REDUCCION DE DATOS

27 27/39 Reducción de Datos

28 28/39 Selección de Características La SC pretende elegir atributos que sean relevantes para una aplicación y lograr el máximo rendimiento con el mínimo esfuerzo. El resultado de la SC sería: –Menos datos los algoritmos pueden aprender más –rápidamente –Mayor exactitud el clasificador generaliza mejor –Resultados más simples más fácil de entender SC y Transformación (extracción y construcción)

29 29/39 Selección de Características Var 1 Var 5 Var 13

30 Selección de Características La SC se puede considerar como en problema de búsqueda Los Algoritmos Evolutivos y las diferentes meta-heurísticas se han utilizado para este problema.

31 31/39 Proceso

32 32/39 Selección de Instancias La SI pretende elegir los ejemplos que sean relevantes para una aplicación y lograr el máximo rendimiento. El resultado de la SC sería: –Menos datos los algoritmos pueden aprender más rápidamente –Mayor exactitud el clasificador generaliza mejor –Resultados más simples más fácil de entender SI y Transformación (compactación/agrupamiento)

33 33/39 Ejemplos de diferentes tamaños 8000 puntos 2000 puntos 500 puntos

34 34/39 Agrupamiento Compactación mediante el análisis de clusters

35 35/39 Discretización Divide el rango de atributos continuos (numéricos) en intervalos Almacena solo las etiquetas de los intervalos Importante para reglas de asociación y clasificación Ejemplo:

36 36/39 SELECCIÓN DE INSTANCIAS

37 37/39 Selección de Instancias

38 38/39 Muestreo

39 39/39

40 40/39 SELECCIÓN DE CARACTERÍSTICAS

41 41/39 El Problema Se desea clasificar ejemplos de determinados objetos en una de varias categorías o clases preestablecidas. La tarea de clasificación de patrones consiste en construir un mapa de relaciones entre el espacio de características y el conjunto de las clases, de modo de poder reconocer a qué clase corresponde cualquier patrón de entrada representado por un vector de características. En muchos otros problemas de clasificación no se conoce a priori, por falta de una teoría sólida establecida, cuáles son las características relevantes que permiten discriminar entre diversas categorías.

42 42/39 El problema El problema de la selección de características consiste en seleccionar un subconjunto de m características de entre un conjunto original de n características candidatos, bajo algún criterio de desempeño. Hay un total de de tales subconjuntos. El número de posibilidades crece exponencialmente, haciendo impráctica la búsqueda exhaustiva, aun para valores moderados de n.

43 43/39 Maldición de la dimensionalidad error del clasificador número de características número de ejemplos

44 44/39 Objetivos reducir la complejidad del clasificador y su implementación en hardware/software. compresión de información (eliminar características redundantes e irrelevantes). reducir el costo de medición al disminuir el número de características. proveer una mejor clasificación debido a efectos por tamaño finito de la muestra.

45 45/39 Ejemplos de datasets Aplicaciones donde se fusionan datos provenientes de múltiples sensores. Integración de múltiples modelos, donde se juntan los parámetros de diferentes modelos matemáticos para propósitos de clasificación. Por ejemplo, combinación de características de diferentes modelos de textura en imágenes. Aplicaciones de data mining, donde el objetivo es recuperar las relaciones escondidas entre un gran número de características.

46 46/39 Métodos Un método de selección de características típicamente requiere de los siguientes ingredientes: –Generación de subconjuntos, que corresponde a un procedimiento de búsqueda. –Un criterio de evaluación J para comparar subconjuntos de características. –Un criterio de parada, típicamente un umbral de significancia o la dimensión del espacio final de características.

47 47/39 Proceso

48 48/39 Comparación de cuatro técnicas de selección de características envolventes para procesos de clasificación.

49 49/39 PLANTEAMIENTO DEL PROBLEMA

50 50/39 Selección de Características La selección de características se encuentra dentro de la etapa de preparación de datos dentro de un proceso de minería de datos.

51 51/39 Selección de Características Encontrar un subconjunto de características Sm del conjunto inicial de características Sm tal que logren minimizar el error de un clasificador. Se trata de reducir la dimensionalidad de los patrones de entrada Sm. Sm se construye eliminando las variables redundantes o las que no aportan suficiente información al clasificador.

52 52/39 Selección de Características Si se evalua todo el espacio de posibles combi-naciones, el costo computacional es muy alto Si n es la cantidad de características identificadas y m es la cantidad de características deseadas, el número total de posibles subconjuntos a evaluar es: Si n = m; 2 n

53 53/39 PROCEDIMIENTO DE SOLUCION

54 54/39 Proceso de Selección de Características Filtro Envolvente Híbrido e: error del clasificador B. Optima B. Sub-optima B. Aleatoria B. Heurística Clasificador

55 55/39 Generación del Sub-Conjunto Búsqueda exhaustiva Búsqueda secuencial hacia delante. Búsqueda secuencial hacia atrás. Búsqueda Aleatoria (BA). Búsqueda Aleatoria Optimizada (BAO) Búsqueda Mejor Primero (BMP) Búsqueda Genética (BG) Optima Sub-optima Aleatoria Heurística

56 56/39 Evaluación del Sub-Conjunto Filtro. Independientes del algoritmo de aprendizaje. Componente principal, entropía. Envolvente. Usan el mismo algoritmo para escoger el sub- conjunto como para el aprendizaje. Búsqueda Aleatoria, Búsqueda Aleatoria Optimizada, Búsqueda Mejor Primero, Búsqueda Genética. Híbridos. Filtro + Envolvente.

57 57/39 Criterio de Paro ¿Cuándo detener la búsqueda? : error del clasificador

58 58/39 ALGORITMOS

59 59/39 Algoritmos de Búsqueda BUSQUEDA ALEATORIA (BA) Realiza una búsqueda sobre un porcentaje de todo el espacio de sub-conjuntos posibles, seleccionados aleatoriamente. Es una búsqueda de tipo exhaustivo. BUSQUEDA ALEATORIA OPTIMIZADA (BAO) Dado un subconjunto de características, si al quitar una característica. –error sube relevante –error baja irrelevente Se pretende eliminar las irrelevantes.

60 60/39 Algoritmos de Búsqueda BUSQUEDA MEJOR PRIMERO (BMP) Usa un árbol de búsqueda, de tal forma que la característica de mejor evaluación inicial sea la primera en ser considerada como parte del subconjunto óptimo de características. BUSQUEDA GENÉTICA (BG) Hace uso de un algoritmo genético. El objetivo consiste en encontrar el sub-conjunto de características (individuos) óptimas mediante la minimización de una función objetivo (tasa de error del clasificador).

61 61/39 Criterio de Paro Búsqueda Aleatoria (BA) gradiente error < umbral Búsqueda Aleatoria Optimizada (BAO) fracasos consecutivos < umbral Búsqueda Mejor Primero (BMP) error ( l ) < error ( l + k) k = [1, 2, 3, 4, 5] Búsqueda Genética (BG) minimizar el error del clasificador.

62 62/39 Algoritmos de Clasificación Desarrollado por Quinlan. Es un árbol de regresión. Es recursivo, y se basa en la estrategia "divide y vencerás Mejora del ID3. Árbol de Decisión C4.5Naive Bayesian Aprendizaje probabilístico: Incremental: Cada ejemplo puede incrementar / decrementar la probabilidad de que una hipótesis sea correcta. La predicción probabilística predice múltiples hipótesis ponderadas

63 63/39 Algoritmos de Clasificación Presentadas en Vapnik y Chervonenkis. Crea nuevas características linealmente separables. Busca un hiperplano que puede separar el espacio en dos partes Maquinas de Vector Soporte Red de Retropropagación Trabaja con datos continuos o discretos La salida puede ser vector de valores reales o discretos. Aprende por modificación de los pesos. Largo tiempo de entrenamiento Es difícil entender el significado de los pesos.

64 64/39 FUENTES DE DATOS

65 65/39 Datos UCI Repository of Machine Learning Database University of California

66 66/39 DISEÑO DE EXPERIMENTO

67 67/39 Diseño de Experimentos DATOS ALGORITMO DE BUSQUEDA CLASIFICADORES ADULT, BANDS, MUSHROOM Árbol de Decisión C4.5 Naive Bayesian Maquinas de Vector Soporte Red de Retropropagación Búsqueda Aleatoria Búsqueda Aleatoria Optimizada Búsqueda Mejor Primero Búsqueda Genética 48 experimentos K-fold K = 10 Validación cruzada ANOVA Voting

68 68/39 RESULTADOS EXPERIMENTALES

69 69/39 Resultados Experimentales

70 70/39 Tablas de Votación (error) Puntajes en función a la tasa de error promedio del clasificador

71 71/39 Tablas de Votación (reducción) Puntajes en función al porcentaje de reducción promedio de las características de las bases de datos

72 72/39 Conclusión Voting Reducción del error No se puede concluir quién es el peor ( 2BA y 1BG ) No se puede concluir quién es el mejor ( 2 BAO y 1BG ) Reducción de la dimensionalidad. El peor es BAO para la data usada ( 3 BAO ) No se puede concluir quién es el mejor ( 2 BG, 1 BA )

73 73/39 ANOVA: Error t(5%,6)= BANDS ADULT MUSHROOM

74 74/39 ANOVA: Reducción t(5%,6)= BANDS ADULT MUSHROOM

75 75/39 Conclusión ANOVA Reducción del error El peor es el BG para la data usada Los mejores son BAO y BA para la data usada, pero entre los no se de puede concluir una diferencia. Reducción de la dimensionalidad. El peor es el BAO para la data usada Los mejores son BA y BG para la data usada, pero entre los no se de puede concluir una diferencia.

76 76/39 PREGUNTAS


Descargar ppt "Selección de Características INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto Díaz error del clasificador número de características número."

Presentaciones similares


Anuncios Google