Ana Drozdowskyj Analytical Solutions Product Manager SAS Spain Data Mining:Un proceso para llegar al conocimiento a partir de los datos Ana Drozdowskyj Analytical Solutions Product Manager SAS Spain Copyright © 2000 , SAS Institute Inc. All rights reserved.

Agenda Data Mining en la obtención de conocimiento Introducción Data Mining en la obtención de conocimiento ¿Qué nos aporta SAS ? Casos prácticos Conclusiones

Introducción Data Mining

Introducción

Los datos y “Data Mining” El objetivo: “Knowledge is the only competitive Advantage” Jack Welch, CEO, General Electric

Los datos y “Data Mining” La situación actual: “Computers promised us a Fountain of Wisdom, but delivered us a Flood of Data” Gregory Piatetsky-Shapiro, 1991

¿Necesitan lo mismo todos mis clientes ?

¿Hay realmente diferencias?

Tecnologías involucradas Recordar Tecnologías involucradas Data Warehousing Data Mining Aprender Análisis multidimensional y distribución via aplicaciones web Actuar

Una definición conocida... DATA MINING, Una definición conocida... Data Mining es el proceso de selección, exploración y modelización de grandes volúmenes de datos para descubrir patrones ocultos que aporten un beneficio para la empresa Data Mining turns the member information into Knowledge. SAS has a definition for data mining which is..READ As a process, data mining enables continuous learning and this learning is not in and of itself a goal, it is done to meet defined business objectives.

Data Mining en la obtención de conocimiento Transformar Datos en información Actuar según la información Pregunta de negocio Data Warehouse DBMS Proceso de Data Mining EIS, Business Reporting, OLAP Identificar el problema Medir resultados

Entornos de aplicación de Data Mining Buscar Recuperar Adquirir Fidelizar Rentabilizar Retener CRM- Gestión de las relaciones con los clientes Finanzas: Rentabilidad, Retención, Fraude Investigación : Medicina, Medioambiental

¿Cómo hacer Data Mining ?

Dos caminos al interior de los datos Descriptivo Predictivo

Análisis descriptivo

Análisis predictivo Buscamos características críticas desconocidas ¿Qué perfil tienen mis mejores clientes ? ¿Quién contestará a una promoción? ¿Qué genes diferencian dos tipos de cancer? Usando técnicas específicas: Regresión, árboles de decisión, redes neuronales, cluster , asociaciones y secuencias, Que puedan Generalizarse Aplicar el conocimiento adquirido Evaluar los resultados

Ejemplo: Análisis de campañas y marketing dirigido Optimizar el mailing de catálogos incrementar la tasa de respuesta, estudiar catálogos personalizados Análisis del comportamiento del cliente Usar asociaciones para deducir patrones de compra , usar secuencias para predecir posibles compras futuras

¿Qué nos aporta SAS Institute para Data Mining?

                                                                              Haga click en la imagen para acceder a la página de DMReview El ranking de las 100 mejores empresas de Business Intelligence -incluyendo Customer Relationship Management (CRM) y Data Warehousing- se ha basado en los resultados de una encuesta realizada entre los lectores de la revista y la investigación ha sido llevada a cabo por la empresa Market Perspective vía web. SAS, desde 1997 - año en que se concedieron por primera vez estos premios -, ha sido la única compañía en posicionarse siempre entre las tres primeras del ranking. Según Ron Powell, director editorial de DM Review, "Aparecer en DM Review 100 demuestra el compromiso que la compañía ha adquirido con sus clientes y significa que conoce perfectamente sus necesidades y que está dispuesta a darles respuesta. SAS ha sido seleccionada por nuestros lectores como la empresa líder en soluciones e-Intelligence".

Enterprise Miner Release 4.0 con SAS Release 8e Cliente: Windows 95/98/2000/NT Client Servidor: Win NT Server; Win 2000 MVS OS/390 Unix: AIX, HP-UX, Sun/Solaris, Compaq Tru64 Unix, Intel ABI (incl. MP-RAS) Compaq Tru64 Unix 4.0E Specify the delivery date and that we will be shipping under SAS V8.1. Hold off on discussing V8 advantages until next slide. Indicate that we will be shipping EM on different platforms in waves and that platforms highlighted in yellow are new.

Decisión (BI) Acceso a los datos : DW/DBMS Sample Explore Modify Model Assess Metodología SEMMA Decisión (BI)

Sample Explore Manipulate Model Assess ¿Muestreo? Exploración Visual Reducción Datos Agrupaciones, Subconjuntos Transformaciones Redes Neuronales Arboles Decisión Técnicas Estadísticas Asociaciones Secuencias Comparación Modelos, Nuevas Preguntas 22

Sample ....... ...... ..... ................... Sample (Muestreo) Partición de los datos Training Validación Test

Explore (Exploración) Conocer los datos Tendencias principales Rango de las variables clave Frecuencia de los valores Correlación entre variables Grupos

Nodo Distribution Explorer Al ejecutar el nodo se pueden generar Tablas, incluyendo tablas cruzadas para variables de clasificación y estadísticas descriptivas de las variables contínuas.

Nodo Multiplot Genera automáticamente gráficos de distribución de cada variable. También genera gráficos que ilustran la relación de cada variable con la variable target.

Modify (Modificación) ¿Con qué información trabajar? Experiencia de negocio Transformar variables para la modelización óptima

Construir el modelo que responde a la pregunta planteada Model (Modelización) Construir el modelo que responde a la pregunta planteada Modelos Estadísticos RNs Arboles de decisión Series temporales

Tree View- basado en MSF If you don’t understand the MFC browser, use this slide instead, otherwise skip this slide.

Assess (Validación) Cuál es la mejor técnica? ......... .......... ......... .......... Assessment Assess (Validación) Cuál es la mejor técnica?

Interfaz

Diagramas de flujo del Proceso

Nodo Reporter Genera automáticamente un informe con detalles y resultados del PFD. Los informes son em formato HTML Se pueden leer utilizando cualquier web browser.

Un ejemplo .... SAS Enterprise Miner trabajando para identificar el grupo obejtivo de una campaña de marketing....

¿Qué servicios son relevantes? Cuál es su valor "LTV" Proceso completo para Data Mining SEMMA ¿Qué comprarán? ¿Qué servicios son relevantes? Cuál es su valor "LTV" ¿Quiénes son mis clientes?

Subdividir los datos del cliente para entrenar los modelos y validar los resultados

Explorar los datos para validar las técnicas de muestreo y descubrir nuevos patrones de compra

¿La muestra es representativa de la población?

Segmento “Gasto” alto

Co-linealidad... Co-linelidad...

Modificar datos del cliente para mejorar la capacidad predictiva del modelo

Modelo de clientes para anticipar su próxima acción ¿Qué quieren mis clientes? ¿Qué nuevos clientes debería adquirir? ¿Qué productos y servicios comprarán? Modelo de clientes para anticipar su próxima acción

Resultados del árbol de decisión... Hoja “Pura”

Perfil del cliente ideal

Validar qué modelo predice mejor el comportamiento del cliente frente a la compra Puntuar clientes

Respuesta capturada del Warehouse de clientes Comportamiento del modelo... Respuesta capturada del Warehouse de clientes “Grupos” de clientes

Puntuar Warehouse de clientes

Clasificación de Leucemia agua, usando “Perfil de expresión genética” La leucemia linfoblástica aguda y la leucemia mieloide aguda , presentan síntomatología similar La distinción de los dos cánceres es crítica para un tratamiento eficaz Se uitliza Data Mining para identificar los genes que difrencian claramente los dos cánceres -- asegurando un tratamiento adecuado de los pacientes

Datos para la investigación Fichero de Training : 38 pacientes: 11 AML (Leucemia Mieloide Aguda) 27 ALL (Leucemia Linfoblástica Aguda) - 19 Células B-, 8 Células T Fichero de Test : 34 pacientes: 14 AML 20 ALL - 19 células B, 1 células T Número total de genes en las matrices : 7129

Resultados Note: Golub voting method can only classify two-types disease. * indicates ignoring Golub’s PS values.

Análisis del comportamiento Sample Explore Model Asses Modify

Dell Online CRM Analítico Análisis del camino para mejorar el contenido y la navegación del site Segmentación de clientes Mejora en la gestión de campañas Similarly, we are doing some interesting work with Dell Online, who also has warehoused a great deal of web data. Achieving greater customer understanding and evolving the site based on customer needs are motivating some interesting applications.

R&D sigue trabajando... “Fuzzy Pattern Matching” Text Mining Genomics

Enterprise Miner 4.1 Memory Based Reasoning Idea básica : buscar en una base de datos y permitir “coincidencia inexacta” (k vecinos más próximos) Requiere una definición de similitud para cada variable y una regla de combinación para calcular la distancia MBR = “fuzzy” pattern matching , usado para categorización

Enterprise Miner 4.1 Memory Based Reasoning Aplicaciones: Cualquier B2C, e-business on-line Venta por catálogo Programación de vuelos

Enterprise Miner para texto Text Mining: Descubrir y utilizar el conocimiento que existe en una colección de documentos Permite la entrada de texto, el proceso, la clasificación & generación de clusters Puede gestionar gran número de documentos Conocimiento

Proceso de Text Mining

Investigación del Genoma Entender el genoma humano supondrá una revolución en la forma en que se desarrollan los medicamentos Grande volúmenes de datos - requieren un proceso complejo Colaboración iBiomatics/SAS para proporcionar un “Genomic warehouse” Enterprise Miner para Genomics como un add-on al EM resolviendo la parte analítica

Enterprise Miner para Genomics

Data Mining y otras iniciativas Data Mining y CRM Adquisición, retención y rentabilidad de clientes, venta cruzada, nueva venta, fraude. Data Mining y cálculo sobre Web Scoring On-line de clientes Data Mining y “e” Perfil de clientes, personalización, adaptar entorno al comportamiento del cliente, identificar potencial, incrementar la fidelidad al sitio web Data Mining y Sector Farmacéutico Hallar estructuras químicas, decubrir nuevos medicamentos, investigación de efectos, ventas y marketing Data Mining y Sistemas Capacity planning, detección de intrusos

Conclusiones : ¿Qué nos aporta el Data Mining ? Conocimiento

Conclusiones: SAS Enterprise Miner™ Metodología de implantación GUI para el proceso de DM Todas las técnicas data mining Resultados orientados al experto de negocio Entorno Cliente/Servidor Posibilidad de ampliación de funcionalidad (flexible) Integrado con las tecnologías data warehouse, Web y OLAP