La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Data Transformation Services y Analysis Services.

Presentaciones similares


Presentación del tema: "Data Transformation Services y Analysis Services."— Transcripción de la presentación:

1 Data Transformation Services y Analysis Services

2 Salvador Ramos MVP SQL Server MCP SQL Server Columnista de dotNetManía Mi web:

3 Agenda Tecnologías OLTP vs OLAP Business Intelligence Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

4 Agenda Tecnologías OLTP vs OLAP Business Intelligence Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

5 Tecnologías OLTP vs OLAP OnLine Transaction Processing Sistemas transaccionales, enfocados a gestionar un gran número de transacciones concurrentes Permiten insertar, actualizar, borrar y consultar una pequeña cantidad de registros OnLine Analytical Processing Enfocados al análisis de grandes cantidades de datos Proporcionan respuestas rápidas y complejas

6 Tecnologías OLTP vs OLAP OLTP Orientado a lo operativo (procesos) Predomina la actualización Se accede a pocos registros Datos altamente normalizados Estructura relacional Rápidos tiempos de respuesta. Estructura estática OLAP Orientado a temas Predomina la consulta. Datos históricos Procesos masivos, se accede a muchos registros Datos Denormalizados Estructura multidimensional Respuesta masiva, no inmediata Estructura dinámica, abundantes cambios

7 Agenda Tecnologías OLTP vs OLAP Business Intelligence Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

8 Business Intelligence Conjunto de herramientas y servicios destinado a la gestión eficiente del conocimiento y la información en empresas y organizaciones Nos permite: Convertir los datos en información Tomar mejores decisiones rápidamente Utilizar un método razonable para la gestión empresarial

9 SQL Server 2000 © Fernando G. Guerrero (Solid Quality Learning) SQL Server 2000 Relational Database Engine Analysis Services HTTP Support Replication Reporting Services Full-Text Search *Notification Services Data Transformation Services

10 Solución Microsoft BI Colaboración BI Visualización Análisis Geoespacial Análisis Ventas y Márketing Creación de Sitios B2B y B2C Gestión de Proyectos Análisis de datos

11 Agenda Tecnologías OLTP vs OLAP Business Intelligence Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

12 Componentes Herramientas de análisis y reporting ERP CRM ETL ETL OLTP Area intermedia Area presentación Acceso a datos

13 Datawarehouse Almacén de datos procedentes de los sistemas OLTP. Repositorio colectivo Almacén de datos centralizado Datos organizados en grupos temáticos Los datos son: Consistentes Depurados Históricos (no volátiles) Suministra datos rápida y eficientemente Datamarts

14 DTS herramienta ETL Conjunto de servicios para ETL Modelo de objetos e interfaces gráficos Pueden ser utilizados desde entornos de desarrollo que soporten COM Incluyen asistentes que facilitan las tareas Diseñador de paquetes

15 DTS herramienta ETL Permiten operar con los datos: Importación Exportación Transporte Transformación Los datos pueden proceder de Cualquier fuente Ole Db Cualquier fuente ODBC Ficheros planos

16 Herramientas de DTS Asistente para la importación o exportación Diseñador DTS DTSRun DTSRunUI (interfaz gráfica) SQLAgent

17 El diseñador de paquetes

18 Conexiones Proveedor OLE DB para SQL Server Data Link Controlador ODBC para Oracle (MS) dBase 5 Microsoft Access Archivo HTML (origen) Microsoft Excel Paradox 5.x

19 El diseñador de paquetes Conexiones Archivo de texto (origen) Archivo de texto (destino) Otras conexiones

20 El diseñador de paquetes Tareas Transformar datos Consulta controlada por datos Inserción masiva Ejecutar SQL Copia de objetos de SQL Server Transferencia de base de datos Transferencia de mensajes de error Transferencia de Inicios de sesión Transferencia de trabajos Transferencia de proced. almacenados

21 El diseñador de paquetes Tareas Secuencia de comandos ActiveX Propiedades dinámicas Ejecutar paquete Ejecutar proceso (.exe o.bat) FTP Cola de mensajes Enviar correo Procesar Analysis Services Extracción de datos (consultas de predicción)

22 DTS Demo 1 Utilizando los asistentes Utilizando el diseñador de paquetes

23 Diseño de un DW Definir objetivos y requerimientos Revisar los informes actuales Investigar todas las posibles fuentes de información que alimentarán el DW Diseño y modelado Definir las tablas del área intermedia, que alimentarán dimensiones y tablas de hechos Realizar los precálculos necesarios Crear índices y vistas Elegir el esquema más adecuado: Estrella (star) Copo de nieve (snowflacke)

24 Diseño de un DW Estrategia de extracción y transformación Decidir en cada caso si se realizará una extracción completa o incremental Diseño del sistema de extracción incremental Utilizar triggers, replicación u otras técnicas Transformación de los datos Asegurar la validez, integridad y utilidad de los datos Comprobar que todas las claves externas encuentren valores, y evitar claves nulas (ej: sustituirlas por 0 -> Sin familia)

25 Diseño de un DW Demo 2

26 BBDD Multidimensionales Son contenedores de cubos relacionados y objetos que comparten La unidad de almacenamiento es el cubo (en los SGDBR es la tabla)

27 Opciones de almacenamiento MOLAP Almacenamiento en estructura multidimensional de Analysis Services Mayor rapidez de respuesta ROLAP Almacenamiento en base de datos relacional Para grandes volúmenes de datos HOLAP Híbrido Respuesta rápida y gran cantidad de datos en origen

28 Elementos de la base de datos Origenes de datos Cubos Dimensiones compartidas Modelos de minería de datos Funciones de base de datos (seguridad) Sólo autenticación windows

29 Cubos Tabla de Hechos Claves externas Medidas Dimensiones Producto Id Nombre Tamaño … Cliente Id Nombre Provincia … Tiempo Fecha Año Mes Dia … Tabla de Hechos Madrid Sevilla Producto1 Producto2 Producto Barcelona Madrid Sevilla Producto1 Producto2 Producto 3

30 Dimensiones Agregaciones Son sumas precalculadas de los datos para acelerar el tiempo de respuesta Jerarquías y niveles Miembros

31 Tipos de dimensiones Regulares Virtuales (a partir de propiedades) Padre-Hijo o Primario-Secundario Según su ámbito Privadas Compartidas

32 Medidas y Miembros calculados Medidas Conjunto de valores de una columna de la tabla de hechos del cubo Miembros calculados Medidas calculadas mediante una fórmula MDX

33 Tipos de cubos Normales Vinculados Apuntan a un cubo de otro servidor Virtuales Se crean a partir de varios cubos existentes (equivalentes a JOIN en SGDBR)

34 Analysis Manager

35 Analysis Services Demo 3

36 Agenda Tecnologías OLTP vs OLAP Business Intelligence Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

37 Data Mining Uso de métodos automatizados para obtener tendencias y pautas a partir de los datos del DW Se componen de Escenarios (entidades a analizar) Ej: un cliente y sus ventas Atributos (información sobre los escenarios) Ej: edad, número de hijos, total ventas, … Una vez elegidos los escenarios y atributos, procesamos el modelo

38 Data Mining En Analysis Services disponemos de dos proveedores, diseñados para obtener agrupaciones eficazmente Microsoft Decision Trees Arbol de clasificación, con diversas ramificaciones Microsoft Cluster Agrupación de escenarios

39 Data Mining Demo 4

40 Agenda Tecnologías OLTP vs OLAP Business Intelligence Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

41 El lenguaje MDX MultiDimensional eXpressions (Lenguaje de expresiones multidimensionales) Es el equivalente a SQL para bases de datos multidimensionales También tiene una instrucción SELECT SELECT, … FROM WHERE Nos permite crear Miembros calculados y Conjuntos con nombre Dispone de múltiples funciones avanzadas

42 El lenguaje MDX Demo 5

43 Conectividad PivotTable Service (PTS) Es el cliente de los servicios OLAP Proporciona la interfaz para conectarnos desde las aplicaciones ADO MD (ActiveX Data Objects MultiDimensional) ADO MD.Net

44 Herramientas cliente OLAP SQL Server 2000 Reporting Services Microsoft Excel Microsoft Data Analyzer Herramientas desarrolladas por nosotros AddIn para Excel Aplicaciones asp o asp.net Webparts para Sharepoint Herramientas de terceros

45 Microsoft Excel Consultas ad-hoc Para mostrar datos utiliza Tablas dinámicas Gráficos dinámicos Necesita MS Query instalado Se puede publicar en web (OWC)

46 Microsoft Excel Demo 6

47 Microsoft Data Analyzer Herramienta para usuarios Facilita el análisis de datos de negocio Interfaz muy amigable Consultas ad-hoc Formas de visualización Gráfico de barras Gráfico de tarta Datos numéricos

48 Microsoft Data Analyzer Demo 7

49 Agenda Tecnologías OLTP vs OLAP Business Intelligence Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

50 Novedades DTS DTS, ahora Integration Services Se ha reescrito todo el código Servicio windows independiente Incrementa su potencia y funcionalidad Incrementa su rendimiento Nuevo entorno de desarrollo MS Development Evironment Integrados con la plataforma.Net

51 Novedades DTS Nuevo entorno de desarrollo, en vez de crear un paquete DTS, se crean proyectos Data Transformation Project

52 MS Development Environment

53 Ejemplo agregación

54 Novedades Analysis Services Nuevas herramientas 2000 Enterprise Manager Query Analyzer Analysis Manager Report Manager 2005 BI Development Studio (BIDS) Orientado a Soluciones y Proyectos (similar a vs.net) Incluye un Debugger SQL Server Management Studio

55 Novedades Analysis Services Mejoras para el modelado de datos Data Source Views Tenemos una capa más de abstracción Podemos trabajar de forma desconectada Podemos renombrar entidades Intellicube, nos facilita la construcción de cubos el Repository (por defecto en Access), se sustituye por metadatos en XML Deployment Wizard (facil despliegue)

56 Novedades Analysis Services UDM – Unified Dimensional Model Se integran todos los tipos de Data Sources Combina las mejores características de los modelos relacionales y OLAP Querys interactivas con mejor rendimiento Alto rendimiento gracias a Proactive Caching

57 Novedades Analysis Services KPI Framework Nuevos tipos de dimensiones Nuevos algoritmos de Data Mining MDX Scripts (servidor) y MDX Debugging

58 BI Development Studio

59 Preguntas y dudas ???


Descargar ppt "Data Transformation Services y Analysis Services."

Presentaciones similares


Anuncios Google