La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Data Transformation Services y Analysis Services

Presentaciones similares


Presentación del tema: "Data Transformation Services y Analysis Services"— Transcripción de la presentación:

1 Data Transformation Services y Analysis Services
3/24/2017 4:00 PM Data Transformation Services y Analysis Services © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

2 Salvador Ramos MVP SQL Server MCP SQL Server Columnista de dotNetManía
Mi web:

3 Agenda Tecnologías OLTP vs OLAP Business Intelligence
Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

4 Agenda Tecnologías OLTP vs OLAP Business Intelligence
Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

5 Tecnologías OLTP vs OLAP
OnLine Transaction Processing Sistemas transaccionales, enfocados a gestionar un gran número de transacciones concurrentes Permiten insertar, actualizar, borrar y consultar una pequeña cantidad de registros OnLine Analytical Processing Enfocados al análisis de grandes cantidades de datos Proporcionan respuestas rápidas y complejas

6 Tecnologías OLTP vs OLAP
Orientado a lo operativo (procesos) Predomina la actualización Se accede a pocos registros Datos altamente normalizados Estructura relacional Rápidos tiempos de respuesta. Estructura estática OLAP Orientado a temas Predomina la consulta. Datos históricos Procesos masivos, se accede a muchos registros Datos Denormalizados Estructura multidimensional Respuesta masiva, no inmediata Estructura dinámica, abundantes cambios

7 Agenda Tecnologías OLTP vs OLAP Business Intelligence
Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

8 Business Intelligence
3/24/2017 4:00 PM Business Intelligence “Conjunto de herramientas y servicios destinado a la gestión eficiente del conocimiento y la información en empresas y organizaciones” Nos permite: Convertir los datos en información Tomar mejores decisiones rápidamente Utilizar un método razonable para la gestión empresarial © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

9 SQL Server 2000 SQL Server 2000 Data Transformation Services
© Fernando G. Guerrero (Solid Quality Learning) Data Transformation Services Analysis Services Reporting Services SQL Server 2000 Relational Database Engine Full-Text Search *Notification Services Replication HTTP Support

10 Análisis Ventas y Márketing Creación de Sitios B2B y B2C
3/24/2017 4:00 PM Solución Microsoft BI Colaboración BI Visualización Análisis Geoespacial Análisis de datos Gestión de Proyectos Análisis Ventas y Márketing Creación de Sitios B2B y B2C © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

11 Agenda Tecnologías OLTP vs OLAP Business Intelligence
Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

12 Componentes OLTP Area intermedia Area presentación Acceso a datos
3/24/2017 4:00 PM Componentes Herramientas de análisis y reporting ERP CRM ETL ETL OLTP Area intermedia Area presentación Acceso a datos © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

13 3/24/2017 4:00 PM Datawarehouse Almacén de datos procedentes de los sistemas OLTP. Repositorio colectivo Almacén de datos centralizado Datos organizados en grupos temáticos Los datos son: Consistentes Depurados Históricos (no volátiles) Suministra datos rápida y eficientemente Datamarts © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

14 DTS herramienta ETL Conjunto de servicios para ETL
Modelo de objetos e interfaces gráficos Pueden ser utilizados desde entornos de desarrollo que soporten COM Incluyen asistentes que facilitan las tareas Diseñador de paquetes

15 DTS herramienta ETL Permiten operar con los datos:
Importación Exportación Transporte Transformación Los datos pueden proceder de Cualquier fuente Ole Db Cualquier fuente ODBC Ficheros planos

16 Herramientas de DTS Asistente para la importación o exportación
Diseñador DTS DTSRun DTSRunUI (interfaz gráfica) SQLAgent

17 El diseñador de paquetes

18 El diseñador de paquetes
Conexiones Proveedor OLE DB para SQL Server Data Link Controlador ODBC para Oracle (MS) dBase 5 Microsoft Access Archivo HTML (origen) Microsoft Excel Paradox 5.x

19 El diseñador de paquetes
Conexiones Archivo de texto (origen) Archivo de texto (destino) Otras conexiones

20 El diseñador de paquetes
Tareas Transformar datos Consulta controlada por datos Inserción masiva Ejecutar SQL Copia de objetos de SQL Server Transferencia de base de datos Transferencia de mensajes de error Transferencia de Inicios de sesión Transferencia de trabajos Transferencia de proced. almacenados

21 El diseñador de paquetes
Tareas Secuencia de comandos ActiveX Propiedades dinámicas Ejecutar paquete Ejecutar proceso (.exe o .bat) FTP Cola de mensajes Enviar correo Procesar Analysis Services Extracción de datos (consultas de predicción)

22 DTS Demo 1 Utilizando los asistentes
Utilizando el diseñador de paquetes

23 Diseño de un DW Definir objetivos y requerimientos Diseño y modelado
3/24/2017 4:00 PM Diseño de un DW Definir objetivos y requerimientos Revisar los informes actuales Investigar todas las posibles fuentes de información que alimentarán el DW Diseño y modelado Definir las tablas del área intermedia, que alimentarán dimensiones y tablas de hechos Realizar los precálculos necesarios Crear índices y vistas Elegir el esquema más adecuado: Estrella (star) Copo de nieve (snowflacke) © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

24 Diseño de un DW Estrategia de extracción y transformación
Decidir en cada caso si se realizará una extracción completa o incremental Diseño del sistema de extracción incremental Utilizar triggers, replicación u otras técnicas Transformación de los datos Asegurar la validez, integridad y utilidad de los datos Comprobar que todas las claves externas encuentren valores, y evitar claves nulas (ej: sustituirlas por 0 -> ‘Sin familia’)

25 Diseño de un DW Demo 2 3/24/2017 4:00 PM
© Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

26 BBDD Multidimensionales
3/24/2017 4:00 PM BBDD Multidimensionales Son contenedores de cubos relacionados y objetos que comparten La unidad de almacenamiento es el cubo (en los SGDBR es la tabla) © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

27 Opciones de almacenamiento
MOLAP Almacenamiento en estructura multidimensional de Analysis Services Mayor rapidez de respuesta ROLAP Almacenamiento en base de datos relacional Para grandes volúmenes de datos HOLAP Híbrido Respuesta rápida y gran cantidad de datos en origen

28 Elementos de la base de datos
Origenes de datos Cubos Dimensiones compartidas Modelos de minería de datos Funciones de base de datos (seguridad) Sólo autenticación windows

29 Cubos Tabla de Hechos Dimensiones Claves externas Medidas 1998 1998
Producto Id Nombre Tamaño Cliente Provincia Tiempo Fecha Año Mes Dia Tabla de Hechos Tabla de Hechos Claves externas Medidas Dimensiones 1998 2000 1999 Barcelona Madrid Sevilla Producto1 Producto2 Producto 3 1998 2000 1999 Madrid Sevilla Producto1 Producto2 Producto 3

30 Dimensiones Agregaciones Jerarquías y niveles Miembros
Son sumas precalculadas de los datos para acelerar el tiempo de respuesta Jerarquías y niveles Miembros

31 Tipos de dimensiones Regulares Virtuales (a partir de propiedades)
3/24/2017 4:00 PM Tipos de dimensiones Regulares Virtuales (a partir de propiedades) Padre-Hijo o Primario-Secundario Según su ámbito Privadas Compartidas © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

32 Medidas y Miembros calculados
Conjunto de valores de una columna de la tabla de hechos del cubo Miembros calculados Medidas calculadas mediante una fórmula MDX

33 Tipos de cubos Normales Vinculados Virtuales
Apuntan a un cubo de otro servidor Virtuales Se crean a partir de varios cubos existentes (‘equivalentes a JOIN en SGDBR’)

34 Analysis Manager

35 Analysis Services Demo 3 3/24/2017 4:00 PM
© Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

36 Agenda Tecnologías OLTP vs OLAP Business Intelligence
Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

37 Data Mining Uso de métodos automatizados para obtener tendencias y pautas a partir de los datos del DW Se componen de Escenarios (entidades a analizar) Ej: un cliente y sus ventas Atributos (información sobre los escenarios) Ej: edad, número de hijos, total ventas, … Una vez elegidos los escenarios y atributos, procesamos el modelo

38 Data Mining En Analysis Services disponemos de dos proveedores, diseñados para obtener agrupaciones eficazmente Microsoft Decision Trees Arbol de clasificación, con diversas ramificaciones Microsoft Cluster Agrupación de escenarios

39 3/24/2017 4:00 PM Data Mining Demo 4 © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

40 Agenda Tecnologías OLTP vs OLAP Business Intelligence
Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

41 El lenguaje MDX MultiDimensional eXpressions (Lenguaje de expresiones multidimensionales) Es el equivalente a SQL para bases de datos multidimensionales También tiene una instrucción SELECT SELECT <espec-eje>, <espec-eje> … FROM <espec-cubo> WHERE <espec-rebanador> Nos permite crear Miembros calculados y Conjuntos con nombre Dispone de múltiples funciones avanzadas

42 El lenguaje MDX Demo 5 3/24/2017 4:00 PM
© Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

43 Conectividad PivotTable Service (PTS)
Es el cliente de los servicios OLAP Proporciona la interfaz para conectarnos desde las aplicaciones ADO MD (ActiveX Data Objects MultiDimensional) ADO MD .Net

44 Herramientas cliente OLAP
SQL Server 2000 Reporting Services Microsoft Excel Microsoft Data Analyzer Herramientas desarrolladas por nosotros AddIn para Excel Aplicaciones asp o asp.net Webparts para Sharepoint Herramientas de terceros

45 Microsoft Excel Consultas ad-hoc Para mostrar datos utiliza
Tablas dinámicas Gráficos dinámicos Necesita MS Query instalado Se puede publicar en web (OWC)

46 Microsoft Excel Demo 6 3/24/2017 4:00 PM
© Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

47 Microsoft Data Analyzer
Herramienta para usuarios Facilita el análisis de datos de negocio Interfaz muy amigable Consultas ad-hoc Formas de visualización Gráfico de barras Gráfico de tarta Datos numéricos

48 Microsoft Data Analyzer
3/24/2017 4:00 PM Microsoft Data Analyzer Demo 7 © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

49 Agenda Tecnologías OLTP vs OLAP Business Intelligence
Diseño de Datawarehouse y soluciones OLAP Introducción a Data Mining Introducción al lenguaje MDX y herramientras cliente OLAP Novedades de OLAP y DTS en SQL Server 2005

50 Novedades DTS DTS, ahora ‘Integration Services’
Se ha reescrito todo el código Servicio windows independiente Incrementa su potencia y funcionalidad Incrementa su rendimiento Nuevo entorno de desarrollo MS Development Evironment Integrados con la plataforma .Net

51 Novedades DTS Nuevo entorno de desarrollo, en vez de crear un paquete DTS, se crean proyectos ‘Data Transformation Project’

52 MS Development Environment
© Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

53 Ejemplo agregación 3/24/2017 4:00 PM
© Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

54 Novedades Analysis Services
3/24/2017 4:00 PM Novedades Analysis Services Nuevas herramientas 2000 Enterprise Manager Query Analyzer Analysis Manager Report Manager 2005 BI Development Studio (BIDS) Orientado a Soluciones y Proyectos (similar a vs.net) Incluye un Debugger SQL Server Management Studio © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

55 Novedades Analysis Services
3/24/2017 4:00 PM Novedades Analysis Services Mejoras para el modelado de datos Data Source Views Tenemos una capa más de abstracción Podemos trabajar de forma desconectada Podemos renombrar entidades Intellicube, nos facilita la construcción de cubos el Repository (por defecto en Access), se sustituye por metadatos en XML Deployment Wizard (facil despliegue) © Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

56 Novedades Analysis Services
UDM – Unified Dimensional Model Se integran todos los tipos de Data Sources Combina las mejores características de los modelos relacionales y OLAP Querys interactivas con mejor rendimiento Alto rendimiento gracias a Proactive Caching

57 Novedades Analysis Services
KPI Framework Nuevos tipos de dimensiones Nuevos algoritmos de Data Mining MDX Scripts (servidor) y MDX Debugging

58 BI Development Studio

59 Preguntas y dudas ???


Descargar ppt "Data Transformation Services y Analysis Services"

Presentaciones similares


Anuncios Google