Business Intelligence

SQL Server Team Lead PABLO DOVAL

Business Intelligence, OLAP, OLTP… Data Warehouse, Data Mart, ETL… SSAS, estructuras multidimensionales, cubos… Dashboards, Scorecards, KPIs, Data Mining… Big Data, Hadoop, HDFS, MapReduce, Hive, Pig… Buzzz…

S ATURACIÓ N V ENGA, SOLO UN M AP R EDUCE MASSS ZZZZZ ZZZZ …

Entender el negocio Identificar y explotar áreas fuertes Identificar áreas de oportunidad Entender las consecuencias de las decisiones Recompensar a la gente que lo esta haciendo bien Educar al personal que no esta cumpliendo tan bien Identificar áreas de crecimiento del negocio Escenario

Conjunto de Informes Excel Datos

Queremos ofrecer al usuario: – Sus informes de toda la vida.. – Sus clientes de siempre (Excel, etc…) – Y algo que le permita consultar esta información de un modo más flexible y automatizado Escenario

Permite el análisis interactivo sobre grandes volúmenes de datos – … y con un gran rendimiento Permite ir explorando la información a diferentes niveles de granularidad No hace falta saber construir informes No afecta al rendimiento del sistema de producción ¿Cuáles son los beneficios?

Empezando por lo más básico… Datos Operacionales Controla y ejecuta tareas fundamentales de negocio Inserciones y Actualizaciones frecuentes SQL Server Database Engine OLTP Datos Consolidados Ayuda con la planificación y toma de decisiones Procesos de carga y actualización periódicos SQL Server Analysis Services OLAP

Data Warehouse

DW / DM Data Warehouse Otros Origenes Oracle/DB2/… SQL Server Limpieza Ventas Producción RRHH Marketing

Modelo de Datos: Modelos Altamente Normalizados Modelos en Estrella Modelos de Copo de Nieve Procesos: Procesos de Carga (SSIS) Completa Diferencia Procesos de Limpieza y Calidad (DQS, MDS) Consideraciones: Volumen de Datos Indexación Estrategias de Almacenamiento Estrategias de Backup Seguridad DW / DM

DEMO: Data Mart

SSAS Multidimensional

DW / DM Data Warehouse Ventas Producción RRHH Marketing

Estructuras Multidimensionales (Cubos) Buzz: 77785

Estructuras Multidimensionales (Cubos) Q1: 348 Q2: Q3: 58854

Estructuras Multidimensionales (Cubos) Q1Q2Q3 Blog Facebook StackExchange Twitter Youtube

Estructuras Multidimensionales (Cubos) Q1Q2Q3 Blog Facebook StackExchange Twitter Youtube PC Client Mobile Cluod

Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de en el Año 2012 en España Obtener Buzz y Sentimiento de en el Año 2012 en España geeks.ms USA España UK Suecia

Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de en el Año 2012 en España Obtener Buzz y Sentimiento de en el Año 2012 en España geeks.ms USA España UK Suecia

Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de en el Año 2012 en España Obtener Buzz y Sentimiento de en el Año 2012 en España geeks.ms USA España UK Suecia

Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de en el Año 2012 en España Obtener Buzz y Sentimiento de en el Año 2012 en España geeks.ms USA España UK Suecia

Estructuras Multidimensionales (Cubos) Obtener Buzz y Sentimiento de en el Año 2012 en España Obtener Buzz y Sentimiento de en el Año 2012 en España geeks.ms USA España UK Suecia Buzz: 1022 Sent: 66% Buzz: 1022 Sent: 66%

DEMO: Multidimensional

Preparar el DW Modelos DM Procesos de Carga Construir Solución Multidimensional Medidas Dimensiones Cálculos KPIs Seguridad Despliegue HW Diferentes Entornos Consideraciones de Procesado Clientes Excel Reporting Services Performance Point Server Clientes Personalizados (MDX) Ok, me gusta.. ¿Qué necesito?

Ejemplo: Escenario de Producción DataMart SSAS Multidimensional (Procesado) SSAS Multidimensional (Lectura) Sincronización Clientes

S IMPLICIDA D L AS R ESPUESTAS S IMPLES SUELEN SER LAS M AS I NTELIGENTES. T AMBIÉN SUELEN SER E RRONEAS.

SSAS Tabular

Conceptos Clave Es OLAP, pero NO multidimensional Curva de aprendizaje mas suave Modelo Tabular: Lenguaje de Expresiones, NO de consultas No sustituye a MDX Orientado a usuarios de EXCEL DAX:

DEMO: Tabular

DEMO: PowerView

C ONFIANZ A P ORQUE ÉL PODRÍA SER EL USUARIO DE TUS CUBOS...

Similar a SSAS Multidimensional Ventana de Procesado Procesado Entornos de procesado/lectura Sincronización … ¿y cómo pongo esto en producción?

¿y máquinas? xVelocity (vertipaq) es motor columnar en memoria… – … aunque podemos emplear DirectQuery. Memoria por encima de otras consideraciones.

Big Data y Hadoop

Volumen: Procesar grandes cantidades de datos Tipo de Datos: Información heterogenea, no siempre estructurada Procesos de naturaleza muy diferente Costes: Muy caro conseguir disponibilidad en cada aplicación Almacenamiento barato Costes de computación muy bajos Estrategias: Búsqueda de garantías: escalado lineal Flexibilidad de Procesos ¡No tirar nada! ¿POR QUÉ?

Facebook, Yahoo, ContextWeb. Joost, Last.fm, … Procesado de logs Facebook, Klout Sistemas de Recomendaciones Facebook, AOL, … Data Warehouse New York Times, Eyealike Análisis de video e imágenes Análisis de Fraude Predicción de anomalías Análisis de Textos y Sentimiento Otros Escenarios Algunos Escenarios…

SISTEMA TRADICIONAL Excess Data Logs ETL Some Data Data Warehouse

¿Qué NO es Hadoop? Hadoop no es: – Un datawarehouse – Competencia a sistemas OLAP – Sistema Interactivo – Un producto

RDMS vs HADOOP

ECOSISTEMA HADOOP

HDFS

MAP-REDUCE

Microsoft y Big Data

DEMO: Hadoop

Q & A

¡MUCHAS GRACIAS!