Ingeniería del Software III Gabriel Buades Mayo 1.999 Datawarehouse Ingeniería del Software III Gabriel Buades Mayo 1.999 12/05/1999 Datawarehouse

Conceptos Datawarehouse Datawarehouse: Repositorio completo de datos de la empresa, donde se almacenan datos estratégicos, tácticos y operativos, al objeto de obtener información estratégica y táctica Data-Mars: Repositorio parcial de datos de la empresa, donde se almacenan datos tácticos y operativos, al objeto de obtener información táctica Data-Mining: Técnicas de análisis de datos encaminadas a obtener información oculta en un Datawarehouse 12/05/1999 Datawarehouse

Conceptos Datawarehouse EIS (Executive Information System): Herramientas para proveer de información estratégica a los ejectuivos, mediante informes, comparativas y cuadros de mandos multi-dimensionales. DSS (Decission Suport System): Herramientas de ayuda a la toma de decisiones. Incorpora reglas de decisión y análisis de datos no predefinidos en las posibilidades de un EIS 12/05/1999 Datawarehouse

OLTP - OLAP OLTP (On-Line Transaction Processing): Define el comportamiento habitual de un entorno operacional de gestión: Altas/Bajas/Modificaciones/Consultas Consultas rápidas y escuetas Poco volumen de información Transacciones rápidas Gran nivel de concurrencia 12/05/1999 Datawarehouse

OLTP-OLAP OLAP: On-Line Analytical Process: Define el comportamiento de un sistema de análisis de datos y elaboración de información: Sólo Consulta Consultas pesadas y no predecibles Gran volumen de información histórica Operaciones lentas 12/05/1999 Datawarehouse

OLTP - OLAP 12/05/1999 Datawarehouse

OLTP - OLAP Todas estas divergencias hacen que no sea posible la convivencia en una única BBDD de los entornos OLAP y OLTP: Pérdida de rendimiento del entorno OLTP Falta de integración entre distintos aplicaciones OLTP Tecnologías de BBDD sin capacidad para soportar aplicaciones OLTP Incorporación de datos externos difícilmente aplicable a la BBDD OLTP Distribución de los datos no adecuada para análisis OLTP 12/05/1999 Datawarehouse

Arquitectura Datawarehouse Diagrama de Flujo de Datos OLTP OLAP OLTP Middle- Ware Aplicación Consolidación OLTP 12/05/1999 Datawarehouse

Arquitectura Datawarehouse OLTP: Bases de datos transaccionales, propias o incorporadas OLAP: BBDD Datawarehouse de análisis Procesos de consolidación Cambio de tecnología de BBDD Sumarizan datos disgreagados Transforman datos Consolidan datos de aplicaciones no integradas 12/05/1999 Datawarehouse

Arquitectura Datawarehouse Consistencia de consolidación Comprobar la validez de los datos en el entorno operacional Datos que no se usan Datos que no se mantienen Inconsistencia entre distintas aplicaciones dentro del sistema Datos no igualmente mantenidos Codificaciones diferentes 12/05/1999 Datawarehouse

Arquitectura Datawarehouse Mecanismos de consolidación Refresco de datos: Volcado completo de los datos procedentes del sistema operacional Actualización de datos: Volcado incremental, tomando como criterio la fecha de operación Propagación de datos: Creación de logs en el entorno transaccional, los cuales se aplican en el entorno analítico Factores tecnicos Mecanismo de transporte Tiempos de carga Reformateo de datos 12/05/1999 Datawarehouse

Arquitectura Datawarehouse Middle-Ware Gestiona comunicaciones con el Datawarehouse Coordina la concurrencia Controla procesos batch Aplicaciones Sistemas de presentación Sistemas interrogativos Sistemas de simulación Sistemas funcionales Sistemas expertos DSS 12/05/1999 Datawarehouse

BBDD OLAP Datawarehouse El análisis de los datos se suele basar en un modelo simplificado de estrella, o más genéricamente, de copo de nieve (snowflake), el cual relaciona los hechos con los agentes del negocio (dimensiones): Tiempo Geografía Ventas Clientes Productos 12/05/1999 Datawarehouse

BBDD OLAP La relación entre tablas relaciones y tablas de hechos y dimensiones, se lleva a cabo mediante un Diccionario de Datos, el cual define cada elemento del negocio en base a las tablas y campos físicos Tipos de BBDD BBDD Relacional BBDD Multidimensional BBDD Híbrida BBDD OLAP (BBDD Relacional con funcionalidad OLAP) 12/05/1999 Datawarehouse