La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Reportes Mg. Samuel Oporto Díaz. Mapa del Curso Inteligencia de Negocios Metodología Kimball Planeamiento del Proyecto Modelo del Negocio Modelado Dimensional.

Presentaciones similares


Presentación del tema: "Reportes Mg. Samuel Oporto Díaz. Mapa del Curso Inteligencia de Negocios Metodología Kimball Planeamiento del Proyecto Modelo del Negocio Modelado Dimensional."— Transcripción de la presentación:

1 Reportes Mg. Samuel Oporto Díaz

2 Mapa del Curso Inteligencia de Negocios Metodología Kimball Planeamiento del Proyecto Modelo del Negocio Modelado Dimensional Modelado Físico ETL Reportes Minería de Datos

3 Tabla de Contenido Resúmenes Selección de resúmenes Resúmenes en Oracle

4 Objetivos Explicar porque los resúmenes son usados en el warehouse y listar los beneficios de tablas resumidas. Discutir la configuración de tablas resumen. Describir recomendaciones para seleccionar dimensiones y niveles de resumen. Identificar las restricciones para administrar las tablas resumen.

5 RESÚMENES

6 ¿Que son los Resúmenes? Almacena datos pre resumidos. Son basados en requerimientos de consultas de usuarios. Almacena datos pre resumidos. Son basados en requerimientos de consultas de usuarios. Producto Región Tiempo Resumen de Ventas Ciudad Ventas Estado

7 ¿Porque resumir Datos? Incrementa el tiempo de respuesta de consultas Optimiza la utilización de recursos. Mejora el análisis de procesos. Incrementa el tiempo de respuesta de consultas Optimiza la utilización de recursos. Mejora el análisis de procesos.

8 ¿Porque un modelo de Resúmenes ahora? Diseñar los resúmenes antes de la implementación. Crear los resúmenes. Evaluar el uso de resúmenes y potencialmente revisar la aproximación. Diseñar los resúmenes antes de la implementación. Crear los resúmenes. Evaluar el uso de resúmenes y potencialmente revisar la aproximación.

9 Un ejemplo simple sin resúmenes Tiempo 1095 días Tabla hechos ventas 109,500,000 filas Producto 10,000 producto Almacén 100 almacenes Búsqueda (Scan) Total ventas por año

10 Un ejemplo simple con resúmenes Año 3 años tabla resumen ventas 3,000,000 filas Producto 10,000 productos Almacén 100 almacenes

11 Atributos Jerárquicos - Tablas dimensión Jerarquía Geográfica Jerarquía Mercado Grupo Total Clase Producto Total Región Distrito Store Total Estado Ciudad Store Dimensión Producto: 1 Jerarquía Dimensión Almacén: 2 Jerarquías

12 Resúmenes de N - Caminos 1 - Camino 2 - Camino 3 - Camino Total ventas por año, por ítem, por almacén Total ventas por día, por categoría, por región Total ventas por mes, por categoría, por región T3 T2 T1 P2 S3 S2 S1 Año Mes Día Cat. Ítem Almacén Distrito Región P1 T3 T2 T1 P1 S2 S1 P2 S3 T3 T2 T1 P2 P1 S2 S1 S3

13 Alternativas de diseño Dos aproximaciones fundamentales de diseño para resúmenes: Múltiples tablas hechos resumen (configuración de constelación) Una tabla hechos grande con datos hechos detallados y datos resumidos almacenados en la misma tabla. Dos aproximaciones fundamentales de diseño para resúmenes: Múltiples tablas hechos resumen (configuración de constelación) Una tabla hechos grande con datos hechos detallados y datos resumidos almacenados en la misma tabla.

14 Configuración de Constelación Tablas Dimensión Resumen Hecho Atómico Hecho Resumen

15 Resumen 1-Camino: Distrito Tabla hecho Atómica Tabla Hecho Resumen (por distrito) d P T C S Distrito (almacén) Tabla Dimensión Resumen

16 Resumen 1-Camino: Región Tabla hecho Atómico Tabla Hecho Resumen (por región) P T C S d r Región (almacén) Tabla resumen dimensión

17 Resumen 2-Caminos: Categoría y Distrito Distrito (almacén) tabla dimensión resumen Tabla hecho Atómico Tabla Hecho resumen (por categoría y distrito) c d Categoría (producto) tabla dimensión resumen P T C S

18 Entendiendo las restricciones de Resumen Tamaño restricciones Restricciones de Carga en lote Tamaño restricciones Restricciones de Carga en lote

19 Dimensión Producto Mercado Tiempo Base Level Level2 5 Level3 1 Estimando el tamaño de hecho resumen Creando resúmenes en toda combinación de niveles dentro de los siguientes esquemas:

20 Escogiendo Resúmenes 6 atributos dimensionales con profundidades jerárquicas modestas

21 SELECCIÓN DE RESÚMENES

22 Guía para selección de resúmenes Orden de la clase/análisis agregado Utilización de análisis de patrones. Orden de la clase/análisis agregado Utilización de análisis de patrones.

23 Análisis Orden de la clase/agregado 1.Análisis orden de la clase es desarrollado para determinar el beneficio relativo de pre ordenar la tabla hecho. 2.Análisis agregado es desarrollado para determinar el impacto de adicionar resúmenes para una tabla hechos pre ordenada. 3.La mejor combinación de ordenamiento y resúmenes son seleccionados. 1.Análisis orden de la clase es desarrollado para determinar el beneficio relativo de pre ordenar la tabla hecho. 2.Análisis agregado es desarrollado para determinar el impacto de adicionar resúmenes para una tabla hechos pre ordenada. 3.La mejor combinación de ordenamiento y resúmenes son seleccionados.

24 Paso 1: Fact Table orden de la clase Objetivo: Almacena los datos en un orden de clase que mezcla un acceso de camino primario. Beneficios: Provee datos localmente para consultas a través de un camino de acceso primario. Disminuye la necesidad para resumir. Objetivo: Almacena los datos en un orden de clase que mezcla un acceso de camino primario. Beneficios: Provee datos localmente para consultas a través de un camino de acceso primario. Disminuye la necesidad para resumir.

25 Una tabla de hechos no ordenada Trabajo de carga de Alquileres Hollywood: Los administradores del almacén necesitan alquileres totales para sus almacenes cada día: 3000 I/Os por 3000 filas de productos. Los administradores del Producto necesitan alquileres totales para sus productos cada dia: 150 I/Os por 150 filas de almacén. Total de carga de trabajo: 3150 I/Os Trabajo de carga de Alquileres Hollywood: Los administradores del almacén necesitan alquileres totales para sus almacenes cada día: 3000 I/Os por 3000 filas de productos. Los administradores del Producto necesitan alquileres totales para sus productos cada dia: 150 I/Os por 150 filas de almacén. Total de carga de trabajo: 3150 I/Os

26 Ordenada por Almacén Día / Almacén / Producto Bloque 1Día 1, Store 1, Prod 1, unidades, dólares fila 200Día 1, Store 1, Prod 200, unidades, dólares Bloque 2Día 1, Store 1, Prod 201, unidades, dólares fila 400Día 1, Store 1, Prod 400, unidades, dólares Bloque 15Día 1, Store 1, Prod 2801, unidades, dólares fila 3000Día 1, Store 1, Prod 3000, unidades, dólares Bloque 2250Día 1, Store 150, Prod 2801,unidades, dólares fila Día 1, Store 150, Prod 3000,unidades, dólares

27 Ordenada por Producto Día / Producto / Almacén Bloque 1Día 1, Prod 1, Store 1, units, dólares fila 150Día 1, Prod 1, Store 150, units, dólares fila 151Día 1, Prod 2, Store 1, units, dólares fila 200Día 1, Prod 2, Store 50, units, dólares Bloque 2Día 1, Prod 2, Store 51, units, dólares fila 400Día 1, Prod 3, Store 100, units, dólares Bloque 2250Día 1, Prod 2999, Store 101, units, dólares Día 1, Prod 2999, Store 150, units, dólares Día 1, Prod 3000, Store 1, units, dólares fila Día 1, Prod 3000, Store 150, units, dólares

28 Ordenado versus No ordenado Carga trabajo total para Almacén y Producto: No ordenada = 3,150 I/Os Ordenada por almacén = 165 I/Os Ordenada por producto = 2,251 I/Os Carga trabajo total para Almacén y Producto: No ordenada = 3,150 I/Os Ordenada por almacén = 165 I/Os Ordenada por producto = 2,251 I/Os

29 Paso 2: Considerar inclusión de Resúmenes Datos localmente pueden ser eliminar la necesidad para algunos resúmenes. Tomar dentro de la cuenta: Caminos de acceso Primario Requerimiento de tiempo de respuesta. Requerimiento de Carga Requerimiento de Construcción Desarrolla regla del pulgar: 10/20 Datos localmente pueden ser eliminar la necesidad para algunos resúmenes. Tomar dentro de la cuenta: Caminos de acceso Primario Requerimiento de tiempo de respuesta. Requerimiento de Carga Requerimiento de Construcción Desarrolla regla del pulgar: 10/20

30 Análisis de resúmenes: Desarrollar Criterio Si es ordenada por almacén: 15 I/Os para total almacén (contiguo): Resumen de almacén no necesariamente requerido. 150 I/Os para total producto: Resumen Producto requerido. Si es ordenada por producto: 1 I/O para total producto: Resumen Producto no es requerido. 2,250 I/Os para total almacén: Resumen Almacén requerido. Si es ordenada por almacén: 15 I/Os para total almacén (contiguo): Resumen de almacén no necesariamente requerido. 150 I/Os para total producto: Resumen Producto requerido. Si es ordenada por producto: 1 I/O para total producto: Resumen Producto no es requerido. 2,250 I/Os para total almacén: Resumen Almacén requerido.

31 Análisis de resúmenes Impacto de resúmenes en el tamaño y performance de la tabla hechos Ordenado por almacén con resumen producto: 3,000 total resumen filas por día. 2 I/Os requerido (1 I/O por total de ventas por producto de la tabla hecho resumen; 1 I/O para total ventas por almacén de la tabla hechos base). Ordenada por producto con el resumen de almacén: 150 total de filas resumidas por día. 2 I/Os requerido (1 I/O por total venta por producto de la tabla hecho base; 1 I/O por total venta por almacén de la tabla hecho resumen) Impacto de resúmenes en el tamaño y performance de la tabla hechos Ordenado por almacén con resumen producto: 3,000 total resumen filas por día. 2 I/Os requerido (1 I/O por total de ventas por producto de la tabla hecho resumen; 1 I/O para total ventas por almacén de la tabla hechos base). Ordenada por producto con el resumen de almacén: 150 total de filas resumidas por día. 2 I/Os requerido (1 I/O por total venta por producto de la tabla hecho base; 1 I/O por total venta por almacén de la tabla hecho resumen)

32 Paso 3: Que combinación es la mejor? Ordenada por producto con un resumen de almacén: 2 I/Os y 150 filas agregadas por día. Regla del pulgar: El camino de acceso primario dimensiona con la mas alta cardinalidad es la mejor candidata para el ordenamiento. Ordenada por producto con un resumen de almacén: 2 I/Os y 150 filas agregadas por día. Regla del pulgar: El camino de acceso primario dimensiona con la mas alta cardinalidad es la mejor candidata para el ordenamiento.

33 Resumen de Navegación Uso efectivo de tablas resumen requiere conocimiento de la tabla resumen. Métodos para navegación resumida: Motor de Base de Datos Warehouse. Productos propietarios completamente resumidos. Middleware abierto completamente resumidos. 3GL y soluciones de meta data. Uso efectivo de tablas resumen requiere conocimiento de la tabla resumen. Métodos para navegación resumida: Motor de Base de Datos Warehouse. Productos propietarios completamente resumidos. Middleware abierto completamente resumidos. 3GL y soluciones de meta data. select total_sales... Que resumenes?

34 Administrando datos resumen históricos /1994 Detalle diario últimos 12 meses Datos resumidos mensualmente Datos resumidos Cuatrimestre Datos resumidos anualmente

35 RESÚMENES EN EL ORACLE

36 Administración de resúmenes en Oracle Resúmenes son creados utilizando vistas materializadas (materialized views) y dimensiones. Summary Advisor provee consejo en la creación, retención y borrado de vistas materializadas. Ventas Ventas Regionales Cantidad Productos Ventas Cuatrimestrales

37 CREATE MATERIALIZED VIEW sales_sumry TABLESPACE sum_data STORAGE(INITIAL 200K NEXT 200K PCTINCREASE 0) PARALLEL(...) BUILD IMMEDIATE REFRESH FAST ENABLE QUERY REWRITE AS SELECT p.brand, c.city_name, t.month, SUM(s.amt) AS tot_sales... GROUP BY p.brand,c.city_name,t.month; CREATE MATERIALIZED VIEW sales_sumry TABLESPACE sum_data STORAGE(INITIAL 200K NEXT 200K PCTINCREASE 0) PARALLEL(...) BUILD IMMEDIATE REFRESH FAST ENABLE QUERY REWRITE AS SELECT p.brand, c.city_name, t.month, SUM(s.amt) AS tot_sales... GROUP BY p.brand,c.city_name,t.month; Creando una vista materializada resumida

38 Consultando reescritura en Oracle SELECT p.brand, c.city_name, t.month, SUM(s.amt) FROM sales s, city c, timetab t, product p WHERE s.city_code = c.city_code AND s.state_code = c.state_code AND s.sdate = t.sdate AND s.prod_code = p.prod_code GROUP BY p.brand, c.city_name, t.month HAVING SUM(s.amt) > ; SELECT brand, city_name, month, tot_sales FROM sales_sumry WHERE tot_sales > ;

39 Refrescando las vistas materializadas Vistas materializadas necesitan ser actualizadas para reflejar modificaciones para datos de la tabla base utilizando uno de los tipos contemplados: Complete Fast Forcé Never Vistas materializadas necesitan ser actualizadas para reflejar modificaciones para datos de la tabla base utilizando uno de los tipos contemplados: Complete Fast Forcé Never

40 Dimensión de Oracle Estructura de Diccionario de Datos que definimos jerarquías basadas en las columnas existentes. Dimensiones son opcional, pero altamente recomendadas, porque ellos: Facilita reescribir consultas adicionales sin el uso de restricciones. Ayuda documentación de Jerarquías. Puede ser usado por herramientas OLAP de procesamiento analítico en línea (OLAP). Estructura de Diccionario de Datos que definimos jerarquías basadas en las columnas existentes. Dimensiones son opcional, pero altamente recomendadas, porque ellos: Facilita reescribir consultas adicionales sin el uso de restricciones. Ayuda documentación de Jerarquías. Puede ser usado por herramientas OLAP de procesamiento analítico en línea (OLAP).

41 Año _Key Cuatrimestre_Key Mes_Key Dimensiones y Jerarquías en Oracle Todos Jerarquía Calendario Fecha _ ventas Desc_Mes Nivel llaves Atributo

42 Ejemplo Dimensión Table TIME - YEAR_KEY - QUARTER_KEY - MONTH_KEY - MONTH_DESC - SALES_DATE Table TIME - YEAR_KEY - QUARTER_KEY - MONTH_KEY - MONTH_DESC - SALES_DATE Dimension TIME_DIM - YR - QTR - MON, MONTH_DESC - SDATE Dimension TIME_DIM - YR - QTR - MON, MONTH_DESC - SDATE

43 Definiendo Dimensiones y Jerarquías CREATE DIMENSION time_dim LEVEL sdate IS time.sales_date LEVEL mon IS time.month_key LEVEL qtr IS time.quarter_key LEVEL yr IS time.year_key HIERARCHY calendar_rollup ( sdate CHILD OF mon CHILD OF qtr CHILD OF yr ) ATTRIBUTE mon DETERMINES month_desc; CREATE DIMENSION time_dim LEVEL sdate IS time.sales_date LEVEL mon IS time.month_key LEVEL qtr IS time.quarter_key LEVEL yr IS time.year_key HIERARCHY calendar_rollup ( sdate CHILD OF mon CHILD OF qtr CHILD OF yr ) ATTRIBUTE mon DETERMINES month_desc; Año Cuatrim. Mes Fecha Ventas

44 Dimensiones con múltiples Jerarquías YR QTR MON YR WK DT Jerarquía CALENDARIO Jerarquía SEMANA = =

45 Rescribe usando Dimensiones en Oracle La siguiente reescritura utiliza un rollup a lo largo de la dimensión TIME_DIM : SELECT v.year, s.brand, s.city_name, SUM(s.tot_sales) FROM sales_sumry s, (SELECT distinct t.month, t.year FROM time t) v WHERE s.month = v.month GROUP BY v.year, s.brand, s.city_name; SELECT t.year, p.brand, c.city_name, SUM(s.amt) FROM sales s, city c, time t, product p WHERE s.sales_date = t.sdate AND s.city_name = c.city_name AND s.state_code = c.state_code AND s.prod_code = p.prod_code GROUP BY t.year, p.brand, c.city_name;

46 Diccionario de Datos Summary Advisor en Oracle Utilización de sumario Summary Advisor (DBMS_OLAP package) RecomendacionesResumen Requerimiento de Espacio Carga trabajo Opcional Oracle Trace

47 Resumen En esta lección, ud debería haber aprendido como: Explicar porque los resúmenes son usados en el warehouse y listar los beneficios de tablas resumidas. Discutir configuraciones de tabla resumen. Describir guías para seleccionar dimensiones y niveles de resumen. Identificar las restricciones para administrar las tablas resumen. Discutir las técnicas de administración de resúmenes en Oracle. En esta lección, ud debería haber aprendido como: Explicar porque los resúmenes son usados en el warehouse y listar los beneficios de tablas resumidas. Discutir configuraciones de tabla resumen. Describir guías para seleccionar dimensiones y niveles de resumen. Identificar las restricciones para administrar las tablas resumen. Discutir las técnicas de administración de resúmenes en Oracle.

48 Práctica Esta practica cubre los siguientes tópicos: Estimando el tamaño de la tabla hechos resumen si los resúmenes son creados por producto y tiempo. Desarrollar una estrategia de tabla resumen para soportar los requerimientos del negocio para el usuario. Esta practica cubre los siguientes tópicos: Estimando el tamaño de la tabla hechos resumen si los resúmenes son creados por producto y tiempo. Desarrollar una estrategia de tabla resumen para soportar los requerimientos del negocio para el usuario.

49 PREGUNTAS


Descargar ppt "Reportes Mg. Samuel Oporto Díaz. Mapa del Curso Inteligencia de Negocios Metodología Kimball Planeamiento del Proyecto Modelo del Negocio Modelado Dimensional."

Presentaciones similares


Anuncios Google