Business Intelligence. SQL Server Team Lead PABLO DOVAL.

Presentación del tema: "Business Intelligence. SQL Server Team Lead PABLO DOVAL."— Transcripción de la presentación:

1 Business Intelligence

2 SQL Server Team Lead pablod@plainconcepts.com http://geeks.ms/blogs/palvarez @PabloDoval PABLO DOVAL

3 Business Intelligence, OLAP, OLTP… Data Warehouse, Data Mart, ETL… SSAS, estructuras multidimensionales, cubos… Dashboards, Scorecards, KPIs, Data Mining… Big Data, Hadoop, HDFS, MapReduce, Hive, Pig… Buzzz…

4 S ATURACIÓ N V ENGA, SOLO UN M AP R EDUCE MASSS ZZZZZ ZZZZ …

5 Entender el negocio Identificar y explotar áreas fuertes Identificar áreas de oportunidad Entender las consecuencias de las decisiones Recompensar a la gente que lo esta haciendo bien Educar al personal que no esta cumpliendo tan bien Identificar áreas de crecimiento del negocio Escenario

6 Conjunto de Informes Excel Datos

7 Queremos ofrecer al usuario: – Sus informes de toda la vida.. – Sus clientes de siempre (Excel, etc…) – Y algo que le permita consultar esta información de un modo más flexible y automatizado Escenario

8 Permite el análisis interactivo sobre grandes volúmenes de datos – … y con un gran rendimiento Permite ir explorando la información a diferentes niveles de granularidad No hace falta saber construir informes No afecta al rendimiento del sistema de producción ¿Cuáles son los beneficios?

9 Empezando por lo más básico… Datos Operacionales Controla y ejecuta tareas fundamentales de negocio Inserciones y Actualizaciones frecuentes SQL Server Database Engine OLTP Datos Consolidados Ayuda con la planificación y toma de decisiones Procesos de carga y actualización periódicos SQL Server Analysis Services OLAP

10 Data Warehouse

11 DW / DM Data Warehouse Otros Origenes Oracle/DB2/… SQL Server Limpieza Ventas Producción RRHH Marketing

12 Modelo de Datos: Modelos Altamente Normalizados Modelos en Estrella Modelos de Copo de Nieve Procesos: Procesos de Carga (SSIS) Completa Diferencia Procesos de Limpieza y Calidad (DQS, MDS) Consideraciones: Volumen de Datos Indexación Estrategias de Almacenamiento Estrategias de Backup Seguridad DW / DM

13 DEMO: Data Mart

14 SSAS Multidimensional

15 DW / DM Data Warehouse Ventas Producción RRHH Marketing

16 Estructuras Multidimensionales (Cubos) Buzz: 77785

17 Estructuras Multidimensionales (Cubos) Q1: 348 Q2: 18583 Q3: 58854

18 Estructuras Multidimensionales (Cubos) 0 0 1 1 20 0 0 13658 50355 8 8 663 1395 0 0 16 13 340 4245 7071 Q1Q2Q3 Blog Facebook StackExchange Twitter Youtube

19 0 0 0 0 0 0 0 0 4070 19164 0 0 3 3 3 3 0 0 0 0 2 2 1 1 664 2520 0 0 0 0 0 0 0 0 4070 19164 0 0 3 3 3 3 0 0 0 0 2 2 6 6 159 523 Estructuras Multidimensionales (Cubos) 0 0 0 0 1 1 0 0 1941 6813 4 4 307 299 0 0 0 0 3 3 75 639 556 Q1Q2Q3 Blog Facebook StackExchange Twitter Youtube PC Client Mobile Cluod

20 Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España 08 09 10 11 12 www.google.com www.microsoft.com www.plainconcepts.com geeks.ms www.amazon.com USA España UK Suecia

21 Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España 08 09 10 11 12 www.google.com www.microsoft.com www.plainconcepts.com geeks.ms www.amazon.com USA España UK Suecia

22 Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España 08 09 10 11 12 www.google.com www.microsoft.com www.plainconcepts.com geeks.ms www.amazon.com USA España UK Suecia

23 Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España 08 09 10 11 12 www.google.com www.microsoft.com www.plainconcepts.com geeks.ms www.amazon.com USA España UK Suecia

24 Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España Obtener Buzz y Sentimiento de www.plainconcepts.com en el Año 2012 en España 08 09 10 11 12 www.google.com www.microsoft.com www.plainconcepts.com geeks.ms www.amazon.com USA España UK Suecia Buzz: 1022 Sent: 66% Buzz: 1022 Sent: 66%

25 DEMO: Multidimensional

26 Preparar el DW Modelos DM Procesos de Carga Construir Solución Multidimensional Medidas Dimensiones Cálculos KPIs Seguridad Despliegue HW Diferentes Entornos Consideraciones de Procesado Clientes Excel Reporting Services Performance Point Server Clientes Personalizados (MDX) Ok, me gusta.. ¿Qué necesito?

27 Ejemplo: Escenario de Producción DataMart SSAS Multidimensional (Procesado) SSAS Multidimensional (Lectura) Sincronización Clientes

28 S IMPLICIDA D L AS R ESPUESTAS S IMPLES SUELEN SER LAS M AS I NTELIGENTES. T AMBIÉN SUELEN SER E RRONEAS.

29 SSAS Tabular

30 Conceptos Clave Es OLAP, pero NO multidimensional Curva de aprendizaje mas suave Modelo Tabular: Lenguaje de Expresiones, NO de consultas No sustituye a MDX Orientado a usuarios de EXCEL DAX:

31 DEMO: Tabular

32 DEMO: PowerView

33 C ONFIANZ A P ORQUE ÉL PODRÍA SER EL USUARIO DE TUS CUBOS...

34 Similar a SSAS Multidimensional Ventana de Procesado Procesado Entornos de procesado/lectura Sincronización … ¿y cómo pongo esto en producción?

35 ¿y máquinas? xVelocity (vertipaq) es motor columnar en memoria… – … aunque podemos emplear DirectQuery. Memoria por encima de otras consideraciones.

36 Big Data y Hadoop

37 Volumen: Procesar grandes cantidades de datos Tipo de Datos: Información heterogenea, no siempre estructurada Procesos de naturaleza muy diferente Costes: Muy caro conseguir disponibilidad en cada aplicación Almacenamiento barato Costes de computación muy bajos Estrategias: Búsqueda de garantías: escalado lineal Flexibilidad de Procesos ¡No tirar nada! ¿POR QUÉ?

38 Facebook, Yahoo, ContextWeb. Joost, Last.fm, … Procesado de logs Facebook, Klout Sistemas de Recomendaciones Facebook, AOL, … Data Warehouse New York Times, Eyealike Análisis de video e imágenes Análisis de Fraude Predicción de anomalías Análisis de Textos y Sentimiento Otros Escenarios Algunos Escenarios…

39 SISTEMA TRADICIONAL Excess Data Logs ETL Some Data Data Warehouse

40 ¿Qué NO es Hadoop? Hadoop no es: – Un datawarehouse – Competencia a sistemas OLAP – Sistema Interactivo – Un producto

41 RDMS vs HADOOP

42 ECOSISTEMA HADOOP

43 HDFS

44 MAP-REDUCE

45 Microsoft y Big Data

46 DEMO: Hadoop

47 Q & A

48 ¡MUCHAS GRACIAS!