La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

DATA MINING MINERIA DE DATOS Gersom Costas. INTRODUCCIÓN Recolección masiva de datos: aumento dimensionalidad y nº observaciones históricos imperfectos.

Presentaciones similares


Presentación del tema: "DATA MINING MINERIA DE DATOS Gersom Costas. INTRODUCCIÓN Recolección masiva de datos: aumento dimensionalidad y nº observaciones históricos imperfectos."— Transcripción de la presentación:

1 DATA MINING MINERIA DE DATOS Gersom Costas

2 INTRODUCCIÓN Recolección masiva de datos: aumento dimensionalidad y nº observaciones históricos imperfectos Análisis de datos es crucial para el negocio Toma decisiones rápidas Dificultad para aplicar técnicas tradicionales Solamente un 5 % de la información es analizada Potentes computadoras con multiprocesadores

3 KDD : Descubrimiento de conocimiento en las bases de datos (Knowledge Discovery in Databases), proceso no trivial de identificar patrones válidos, novedosos, potencialmente útiles y en última instancia comprensibles a partir de los datos. Fayyad et al Data mining: Minería de datos proceso de extraer conocimiento útil y comprensible, previamente desconocido, desde grandes cantidades de datos almacenados en distintos formatos (Witten y Frank, 2000) DEFINICIONES

4 Integración y recopilación Selección, limpieza y transformación DATA MINING Evaluación e interpretación Datos iniciales Almacén de Datos (Data Warehouse) Datos seleccionados Patrones Conocimiento Proceso de KDD Knowledge Discovery from Databases KDD

5 Data Mining : confluencia de múltiples disciplinas Data Mining Sistemas de información Visualización Estadística Aprendizaje automático Otras disciplinas

6 Áreas de aplicación más frecuentes (Cajal et al., 2001). Distribución de las materias (Cajal et al., 2001).

7 Objetivos KDD VERIFICACIÓN DESCUBRIMIENTO DESCRIPCIÓNPREDICCIÓN CLASIFICACIÓNTENDENCIA/ REGRESIÓN SQL OLAP Análisis estadístico Visualización Agrupamiento Reglas de asociación Árboles de decisión Reglas asociación Redes neuronales Métodos bayesianos Árboles de regresión Redes neuronales Series temporales

8 Clasificación: se asignan los registros de datos en categorías predefinidas Algoritmos genéticos. Técnicas de optimización que usan procesos como combinaciones genéticas, mutación y selección natural, Redes neuronales: modelos predecibles no lineales, aprenden a través del entrenamiento. Árboles de decisión: estructura en forma de árbol que representan conjunto de decisiones. 1. SUPERVISADOS: predicen el valor de un atributo de un conjunto de datos conocidos otros atributos. Regresión o estimación: inducir a un modelo de predecir un valor de la clase. Usa árboles de regresión, regresión lineal, redes neuronales. 2. NO SUPERVISADOS: descubren patrones y tendencias en los datos sin tener ningún tipo de conocimiento previo acerca de cuales son los patrones buscados Clustering: agrupa los datos basándose en sus similitudes. Análisis de enlace: determina asociaciones entre registros de datos. Análisis de frecuencia: análisis de registros ordenados en el tiempo. Detecta secuencias CLASIFICACION ALGORITMOS

9 Algunas de las técnicas más comúnmente usadas en Data Mining son: Redes neuronales artificiales: modelos predecibles no-lineales que aprenden a través del entrenamiento y semejan la estructura de una red neuronal biológica. Árboles de decisión: estructuras de forma de árbol que representan conjuntos de decisiones. Incluyen : - Árboles de Clasificación - Árboles de Regresión Algoritmos genéticos: técnicas de optimización que usan procesos tales como combinaciones genéticas, mutaciones y selección natural en un diseño basado en los conceptos de evolución. SVM (Support Vector Machine): técnica que clasificación que se aplica a problemas con dos clases. Regla de inducción: extracción de reglas if-then de datos basados en significado estadístico.

10 Objetivo: Segmentar la población para encontrar grupos homogéneos según una cierta variable de respuesta. Esta técnica permite representar de forma gráfica una serie de reglas sobre la decisión que se debe tomar en la asignación de un determinado elemento a una clase o valor de salida. Los árboles difieren según: -Tipo de la variable de respuesta -Tipos de variables de segmentación -Árboles binarios o n-arios -Criterio de partición -Criterio de parada Árboles de decisión son particiones secuénciales de un conjunto de datos que maximizan las diferencias de la variable independiente ÁRBOLES DE DECISION

11 Los árboles de decisión suelen ser empleados en tareas de clasificación sobre variables de respuesta categóricas (árboles de clasificación), y también, aunque en menor medida, en tareas de predicción sobre variables de respuesta cuantitativas (árboles de regresión). Ej. Acontecimientos relativos al hundimiento del Titanic

12 REGLAS DE ASOCIACION Nos permite predecir patrones de comportamientos futuros sobre ocurrencias simultaneas de valores de variables. Técnica no supervisada Una asociación entre dos atributos ocurre cuando la frecuencia con la que se dan dos o más valores determinados de cada uno conjuntamente es relativamente alta. Las reglas de asociación intentan descubrir asociaciones o conexiones entre objetos. · Ejemplo, en un supermercado se analiza si los pañales y los potitos de bebé se compran conjuntamente. Consecuencia Antecedente 1 Antecedente 2 … Antecedente m.

13 Sistemas de procesamiento de la información cuya estructura y funcionamiento están inspirados en las redes neuronales biológicas. Consisten en un conjunto de elementos simples de procesamiento llamados nodos o neuronas conectadas entre sí por conexiones que tienen un valor numérico modificable llamado peso. Consiste en sumar los valores de las entradas (inputs) que recibe de otras unidades conectadas a ella, neurona aplica una función de activación (usualmente no lineal), enviar activación o salida (output) a las unidades a las que esté conectada. REDES NEURONALES

14 Supervisada :ej. Perceptrón multicapa No supervisada:ej. Mapas autoorganizativos de Kohonen PERCEPTRÓN MULTICAPA : Aprende la asociación que existe entre un conjunto de patrones de entrada y sus salidas correspondientes. REDES NEURONALES Pueden ser utilizadas en problemas de clasificación (la variable de salida es cualitativa) o en predicción (la variable de salida es cuantitativa).

15 MAPAS AUTOORGANIZATIVOS DE KOHONEN Aprendizaje competitivo. Descubrir por si misma rasgos, peculiaridades, correlaciones o categorías que se encuentren en los datos. El objetivo es descubrir características o patrones característicos de entre un conjunto de datos de entrada, pero de forma NO SUPERVISADA. Reflejadas en la estructura topológica de la red REDES NEURONALES

16 Divide un conjunto de datos en grupos de tal forma que los elementos en un grupo sean similares y los elementos en grupos diferentes tengan la menor similitud posible Proceso de aprendizaje no-supervisado CLUSTERING Medida de similitud/disimilitud Función de distancia d (i,j)

17 Algoritmo particional : K-Means Método jerárquico Step 0 Step 1Step 2Step 3Step 4 b d c e a a b d e c d e a b c d e Step 4 Step 3Step 2Step 1Step 0 agglomerative (AGNES) divisive (DIANA) CLUSTERING

18 Se define sobre un espacio de vectores donde el problema es encontrar el hiperplano separador óptimo que mejor discrimine los datos en dos clases Una vez detectado el hiperplano, los ejemplos se pueden clasificar chequeando en qué lado del hiperplano se encuentra SVM (Support Vector Machine) Máquinas de Vectores de soporte


Descargar ppt "DATA MINING MINERIA DE DATOS Gersom Costas. INTRODUCCIÓN Recolección masiva de datos: aumento dimensionalidad y nº observaciones históricos imperfectos."

Presentaciones similares


Anuncios Google