SQL Data Warehouse, casos de uso, escalabilidad, cargas de datos

Presentación del tema: "SQL Data Warehouse, casos de uso, escalabilidad, cargas de datos"— Transcripción de la presentación:

1 SQL Data Warehouse, casos de uso, escalabilidad, cargas de datos
Adrian Miranda Cordero SQL Data Warehouse, casos de uso, escalabilidad, cargas de datos

2 Agradecimiento a los patrocinadores
Premium Silver Personal

3 Speaker Administrador de base de datos
Profesor Universitario y de Cursos Oficiales MOC Conferencista en eventos SQL Saturday - Latinoamerica Youtube: Facebook: facebook.com/CloudLatam Linkedin: Blog: Correo:

4 Agenda SQL Data Warehouse Inicios Demo : Provisionamiento
Diseño de tablas / Demo Cargas de Datos / Integración con Polybase / Demo Consideraciones de Administración Protección de los datos

5 Inicios

6 Data Warehouse tradicional
CRM Data Warehouse Visualización Data sources ETL Una única fuente de datos en un único repositorio de datos con todos los datos de una compañía. ERP LOB Con esto no estamos diciendo que el enfoque esté mal, para nada, siempre va a ser un gran enfoque, pero nos tenemos que poner a pensar en la siguiente pregunta. Qué necesito para tener una solución de BI On-Premise? OLTP

7 Tomemos en consideración la cantidad de datos con que se cuenta hoy en día. La variedad de datos que tenemos con que contamos, que no son solo los datos estructurados si no también los datos no estructurados.

8 SQL DW

9 SQL DW Si usted está pensando en Sistemas OLTP
Frecuentes lecturas / escrituras Multiples Select (Ejecutados secuencialmente) Procesamiento fila por fila Recordar mencionar la problemática actual con el tema del manejo de datos y análisis en tiempo real en sistemas transaccionales.

10 SQL DW - MPP Lo que trabajamos hoy en día. Compartimos recursos
SMP – Symmetric Multiprocessing Lo que trabajamos hoy en día. Compartimos recursos CPU Memoria Disco MPP – Massively Parallel Processing Concepto de “Share nothing” SQL DW funciona de la siguente manera, existe un cerebro y está el músculo, o sea los que completan el trabajo. SQL DW viene siendo el cerebro y AZURE SQL Database viene siendo el musculo que hace el trabajo. Cada servidor controla sus recursos y opera de forma separada

11 Con qué está relacionado?
SQL DW - DWU Con qué está relacionado? Recursos como Memoria CPU IOPS Medición de Métricas Scan / Agregation, Cargas, CTAS Pueden ser cargadas en tiempo real (*)

12 A cada tabla se le asignan 60 buckets

13 Ejemplo DWU 100 60 Buckets (Blob Storage) 1-Engine Role 1 2 3 4 5 6 7
1- Worker Nodes 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60

14 Ejemplo DWU 300 60 Buckets (Blob Storage) 1-Engine Role 1 2 3 4 5 6 7
8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 Worker Node

15 DEMO

16 Diseño de Tablas

17 Diseño de Tablas Hash Round Robin
Inserta basado en el valor de una columna que sirve como elemento diferenciador. Se pueden utilizar para Fact tables. Se pueden usar para Summarized tables. Importante, los puntos anteriores son válidos si y solo sí cuentan con una columna que permita agrupar valores en común. Si un Full Scan no tiene un buen rendimiento. Inserta de manera aleatoria. Joins entre tablas que tienen que ir de PK a FK. Ejem: Dimensiones. Si necesitan hacer cargas de muchos datos en un área Stage, sería la mejor configuración. A cada tabla se le asignan 60 buckets

18 Consideraciones para el diseño de tablas
Tablas se crean con Page Compression de forma predeterminada. Round Robin también es el valor predeterminado en la opción de distribución de datos. No hay limite de filas, es determinado por el storage. 1024 columnas por tabla 2 billones de tablas por base de datos Distribución = Round Robin Mencionar que no se soporta Identity, tampoco se soporta PK y FK ni tipos de datos como XML, SQL_Variant, Text, CLR

19 DEMO

20 Preguntas?