Almacenes de datos Data warehouse y OLAP

Gestión de los datos y del conocimiento

Datos Formato (Estructura de datos) Estructurado y no estructurado Del 80 al 85%, o más, es no estructurada Contenido (tipos de datos)Procedencia de origen (de dónde vienen)

Gestión de datos Precisos, Completos, Consistentes, Accesibles, Relevantes, Concisos y Oportunos. Datos de alta calidad

El objetivo de la gestión “El objetivo de la gestión de datos es proporcionar la infraestructura y herramientas para transformar los datos en bruto (rawdata) en información corporativa usable (utilizable) de la más alta calidad” (Laudon, 2014). Al igual que se gestionan los activos financieros, se deben gestionar los datos, ya que son activos informacionales de la organización.

Proceso de la gestión de datos Comprensión de los datos (perfiles). Calidad de los datos y su mejora continua. Integración de los datos, combinando datos similares procedentes de fuentes diferentes. Aumento de los datos con la mejora continua de su valor.

Ciclo de vida de los datos

Las dificultades de la gestión de los datos La cantidad de datos aumenta exponencialmente con el tiempo Los datos están dispersos Los datos se obtienen de múltiples y diferentes fuentes Los datos se degradan con el tiempo Los datos sociales dependen en gran medida de los soportes en que se almacenan La seguridad, la calidad y la integridad de los datos son críticos y pueden ser fácilmente atacados Los datos en una organización son redundantes y con frecuencia están desactualizados

Atributos de los datos para garantizar su uso competente El dato debe ser único.El dato debe ser correcto y exacto.El dato debe ser oportuno (estar a tiempo).El dato debe ser consistente.El dato debe ser completo. El dato debe estar protegido (confidencialidad, acceso, respaldo, etcétera).

Gobierno de los datos Una estrategia para la implementación del gobierno de datos es la gestión de datos maestros (Master Data Management) Almacenar, mantener, intercambiar y sincronizar los datos maestros, de modo que sean consistentes, precisos (correctos) y oportunos. Los datos maestros son diferentes a los datos transaccionales.

Calidad de los datos Categorías de calidad de datos Estandarización (consistencia), correspondencia (matching), verificación (frente a las fuentes) y mejora (añadido de datos para incrementar su utilidad) Los problemas típicos Datos incorrectos, datos redundantes, datos robados, datos irrelevantes o pérdidas de datos Las causas más comunes proceden de malas entradas de datos, diseño de bases de datos pobre, seguridad pobre, datos recogidos incorrectos o la inexistencia de los datos requeridos por el negocio.

Integridad de datos Los datos deben ser precisos, correctos y válidos.

Bases de datos

Bases de datos centralizadas

Bases de datos distribuidas

Data warehouse (1) Data Warehouses (almacenes de datos) y Data Marts (almacenes de datos departamentales). Son el soporte fundamental de las aplicaciones de Inteligencia de Negocios (Business Intelligence). “Una colección de datos orientado a temas, integrado, variable con el tiempo y no volátil para ayudar al proceso de gestión en toma de decisiones en una organización" (Bill Inmon). “Un Data Warehouse es una copia de los datos transaccionales específicamente estructurados para consultas y análisis” (Ralph Kimball)

Data warehouse (2) Un Data Warehouse es un gran almacén o depósito de datos, donde se integran datos procedentes de varias fuentes: internas (procedentes de los sistemas transaccionales de los diferentes departamentos de la empresa, tales como recursos humanos, marketing, ingenierías, etcétera), externas y personales. El costo de implementación de un Data Warehouse es alto en su desarrollo y mantenimiento

Características de un datawarehouse Orientado a temas (entidades). Integrado. Variable con el tiempo. No volátil. Multidimensional. Basados en la Web Cliente/servidor. Tiempo real. Metadatos. Consolidados.

Data Mart Almacén de datos departamental o funcional Contiene un subconjunto de los datos almacenados del Data Warehouse de la compañía

Data Mart: Independientes

Data Mart: Dependientes

Marco de trabajo de un sistema de Data Warehouse (Turban)

Herramientas ETL

Extracción Los datos se extraen de las fuentes internas y externas disponibles. Bases de datos OLTP, hojas de cálculo, bases de datos personales (Oracle, Microsoft, Access, etcétera) o archivos externos y archivos planos. Extracción inicial Datos disponibles relativos a períodos anteriores se introducen en los Data Warehouse vacíos Extracciones increméntales posteriores Actualizan el Data Warehouse utilizando nuevos datos disponibles a lo largo del tiempo.

Transformación Conversión de los datos extraídos al formato que se requiere. Transformación y limpieza de datos. Mejorar la calidad de los datos extraídos de las diferentes fuentes, mediante las correcciones de inconsistencias, duplicación de datos, imprecisiones, pérdida de valores y existencia de valores admisibles.

Carga Luego del ETL se carga al data warehouse

Fases de un sistema ETL

Enfoques de desarrollo (modelos) de un sistema de data warehouse

Modelo Inmon: modelo Data Warehouse para la empresa o corporativo (EDW)

Modelo Kimball: el enfoque de Data Mart

OLAP (procesamiento analítico en línea) Conocida también como análisis multidimensional. Soporta análisis de datos multidimensional y facilita a los usuarios su visión en diferentes formas, utilizando múltiples dimensiones. Cada aspecto o indicador de una información (producto, precio, coste, región, período) representa una dimensión diferente.

Vista multidimensional (1) Ventas 2018

Vista multidimensional (2)

Vista multidimensional (3)

Cubos OLAP básicos de tres dimensiones (1)

Cubos OLAP básicos de tres dimensiones (2)

Categorías de OLAP

Proveedores de OLAP OLAP MICROSOFT Business Object QlikView de Qliktech Microstrategy OLAP Cognos OLAP IBM OLAP Information builders Oracle Sas institute IBM SPSS