Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe D – FLUJO DE TRABAJO DE LA DIFUSIÓN DE DATOS SDMX

2 Eurostat Unit A6 – Statistical cooperation SDMX Seminar D.1 – Arquitecturas

3 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Formatos SDMX Arquitecturas para el intercambio de datos Organización Receptora Organización Remitente Registro Visión General Arquitectura TI para el intercambio de datos

4 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Introducción Modelo para compartir datos Método “push” –Principal actor del Proveedor de Datos Método “pull” –Principal actor del Consumidor de Datos Ventajas del método “pull” –Reduce la carga asociada a presentaciones –Se le garantiza al consumidor de datos que reciba los datos más recientes.

5 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Transmisión “Push”  Proveedor de Datos iniciado  Ejemplo: eDAMIS Transmisión “Pull”  Consumidor de Datos iniciado  Ejemplos:  “Demandante Pull”  Censo - Central Arquitectura TI para el intercambio de datos

6 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura del método “Pull” Método “Pull” Arquitecturas –Arquitectura movida por base de datos –Arquitectura de la central Ambas arquitecturas implementan el mecanismo de notificación Dos Actores –Proveedor de Datos –Consumidor de Datos

7 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura del repositorio de datos (Almacén) NSI Demandante “Pull” de Eurostat eDAMIS Entrada de Datos Registro SDMX Almacén intermedio Verificación / Conversión a SDMX Datos recibidos en SDMX-ML Cargador registro Reservas en almacén Eurobase consulta Difusión XSL for SDMX-ML PULLPULL PUSHPUSH

8 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura SDMX (modo “push”)

9 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura SDMX (modo “pull”)

10 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura SDMX (modo central)

11 Eurostat Unit A6 – Statistical cooperation SDMX Seminar La arquitectura de referencia del proyecto Piloto de la Central de Censo SDMX NSI Almacén de la Central de Datos Base de datos Eurostat Central Servicio Web Constructor SQL Parseador de Consultas SDMX Generador SDMX NSI Infraestructura SDMX

12 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura de la Central de Censo Central de Censo de Eurostat Instituto Nacional de Estadística

13 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Consulta SDMX (Fichero XML) Arquitectura de la Central de Censo – Eurostat hasta NSI Mensaje de Datos SDMX (Fichero XML) Central de Censo Eurostat Instituto Nacional de Estadística

14 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura del Productor de Datos ¿A qué dominios estadísticos afecta y dónde se almacenan los datos en la actualidad? ¿A qué metadatos estructurales afecta y dónde se almacenan en la actualidad? ¿Cuál es el proceso de negocio detrás del flujo de de datos representados en el ejercicio? ¿Formará la arquitectura del productor de datos SDMX parte de la arquitectura del almacén de datos, de la arquitectura de la central de datos o de ambos?

15 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura del Productor de Datos a)Los datos y metadatos estructurales continúan almacenándose en ficheros. b)Los datos y metadatos estructurales ya se encuentran almacenados en una base de datos. c)Una base de datos especial se configura por separado para almacenar datos y metadatos estructurales. Los casos (b) y (c) posibilitan: –El extraer ficheros SDMX-ML desde la base de datos que se habilitará para ser arrastrada (“pulled”) por los recopiladores de datos; –El permitir a la base de datos ser consultada directamente a través de un servicio web.

16 Eurostat Unit A6 – Statistical cooperation SDMX Seminar D.2 – USO DE SERVICIOS WEB

17 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura del Proveedor de Datos de Método “Pull” Uso de ficheros basados en SDMX NOTIFICACIÓN DE ALERTA (URL) PROVEEDOR DE DATOSCONSUMIDOR DE DATOS SDMX-ML URL

18 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura del Proveedor de Datos de Método “Pull” Uso del servicio web CONSULTA SDMX NOTIFICACIÓN DE ALERTA (TERMINAL) PROVEEDOR DE DATOS CONSULTA SQL CONSUMIDOR DE DATOS DATOS SDMX-ML

19 Eurostat Unit A6 – Statistical cooperation SDMX Seminar D.3 – CONCEPTUALIZACIÓN DEL MAPEO DE DATOS

20 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Cuándo hacer un mapeo y por qué Cuando el proveedor de datos necesita difundir datos de formato SDMX descritos por metadatos estructurales locales. Los datos del proveedor de datos son descritos por conceptos lovales que son diferentes de los conceptos correspondientes a la DSD. El mapeo se usa para: Traducir la consulta SQL resultante del proceso de parseo de un Mensaje de Consulta SDMX sobre conceptos locales (el proveedor de datos comparte datos al usar un servicio web). Crear un fichero de datos SDMX.

21 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso de INCREMENTO DE CALIDAD Paso 1: Lista de Conceptos Locales Tabla primaria: Dominio ConjuntoCategoríaTipoActividadFrecum Eip63mDA12pe Eip63mDB12pe Tabla secundaria: Dominio ConjuntoCategoríaTipoActividadMesAñoValor eip63mDA eip63mDB

22 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 1: Lista de Conceptos Locales Columnas locales descripción DominioConjunto de series temporales agrupadas por tema ConjuntoAgrupación de segundo nivel CategoríaAgrupación de tercer nivel TipoAjuste ActividadCódigo NACE FrecFrecuencia de la serie umUnidad de medida de los datos, unidad de múltiplo y año base para el índice AñoAño de medida de los datos MesMes de medida de los datos

23 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 2: Asociar todos los conceptos locales a los conceptos DSD IdDescripciónTipo de conceptoObligatoriedad AJUSTEIndicador de ajusteDimensión FRECFrequenciaDimensión OBS_ESTADOEstado de observaciónAtributoObligatorio REF_AREAÁrea de referenciaDimensión STS_ACTIVIDADCódigo de actividad económicaDimensión STS_BASE_AÑOVariación en la serie de estadísticas a corto plazo Dimensión STS_INDICADORIndicador STSDimensión STS_INSTITUCIÓNInstitución de la que procede el flujo de datos STS para el BCE Dimensión TIEMPO_FORMATOCódigo de formato de tiempo TIEMPO_PERIODOPeriodo de tiempo o alcanceDimensiónTiempo UNIDADUnidadAtributoCondicional UNIDAD_MULTUnidad de múltiploAtributoCondicional

24 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 2: Asociar todos los conceptos locales a los conceptos DSD IdLista de código usadaCódigo(s) usado(s) Descripción de código(s) AJUSTECL_AJUSTEWDía de trabajo ajustado, no ajustado estacionalmente FRECCL_FRECMMensual OBS_ESTADOCL_OBS_ESTADOAValor normal REF_AREACL_ AREA_EEITItalia STS_ACTIVIDADCL_STS_ACTIVIDADN100DAElaboración de productos alimenticios, bebidas y tabaco N100DBElaboración de textil y productos textiles STS_BASE_AÑOCL_STS_BASE_AÑO2000Año 2000 STS_INDICADORCL_STS_INDICADORPRODProducción (variables 110, 115, 116) STS_INSTITUCIÓNCL_STS_INSTITUCIÓN1Oficina Estadística Nacional(es) TIME_FORMATOCL_TIEMPO_FORMATOP1MMensual TIME_PERIODO-- UNIDADCL_UNIDADPURE_NUMBValor sin dimensión aparte del de PC, PCPA y PUNTOS UNIDAD_MULTCL_UNIDAD_MULT0Unidades

25 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 2: Asociar todos los conceptos locales a los conceptos DSD CONCEPTOS LOCALESCONCEPTOS DSD FrecFREC -REF_AREA TipoAJUSTE DominioSTS_INDICADOR Conjunto Categoría ActividadSTS_ACTIVIDAD -STS_INSTITUCIÓN UmSTS_BASE_AÑO UMIS UMIS_MULT Año, MesTIEMPO_PERIODO -TIEMPO_FORMATO -OBS_ESTADO

26 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 3: Mapeo de Códigos CONCEPTOS LOCALESCÓDIGOS LOCALESCÓDIGOS DSDCONCEPTOS DSD Frec12MFREC ITREF_AREA TipomWAJUSTE Categoría del Dominio del Conjunto e ip 63 PRODSTS_INDICADOR ActividadDA DB N100DA N100DB STS_ACTIVIDAD STS_INSTITUTION Umpe2000STS_BASE_AÑO PURE_NUMBUMIS 0UMIS_MULT Año, MesTIEMPO_PERIODO P1MTIEMPO_FORMATO ValorOBS_VALOR AOBS_ESTADO

27 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 4: Uso del mapeo Dos propósitos: –Traducción de una Consulta SDMX. –Traducción de un conjunto de datos.

28 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 4: Uso del mapeo Tranducción de una Consulta SDMX PROD W N100DA N100DB

29 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 4: Uso del mapeo Tranducción de una Consulta SDMX STS_INDICATOR = ‘PROD’ es igual a Domain = ‘e’ y Set=’ip’ y Category=’63’ ADJUSTMENT = ‘W’ es igual a Type=’m’ STS_ACTIVITY = ‘N100DA’ O STS_ACTIVITY = ‘N100DB’ es igual a Activity=”DA” o Activity=”DB” STARTTIME = AND ENDTIME = ” es igual a year=’2006’ y Month=’01’ “STS_INDICATOR = ‘PROD’ Y ADJUSTMENT = ‘W’ Y (STS_ACTIVITY = ‘N100DA’ O STS_ACTIVITY = ‘N100DB’ ) Y STARTTIME = Y ENDTIME = ”

30 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 4: Uso del mapeo AñoMesCNDominioConjuntoCategoríaTipofrecumisActividad eip63m12peDA eip63m12peDB Traducción de un Conjunto de datos

31 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 4: Uso del mapeo TIEMPO_ PERIODO OBS_ VALOR STS_ INDICADOR AJUSTESTS_ ACTIVIDAD FRECSTS_ INSTITUCIÓN OBS_ ESTADO TIEMPO_ FORMATO REF_ AREA STS_ BASE_ AÑO PRODWN100DAM1AP1MIT PRODWN100DBM1AP1MIT2000 Traducción de un Conjunto de datos

32 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 4: Uso del mapeo Traducción de un Conjunto de datos AñoMesCNDominioConjuntoCategoríaTipofrecumisActividad eip63m12peDA eip63m12peDB TIEMPO_ PERIODO OBS_ VALOR STS_ INDICADOR AJUSTESTS_ ACTIVIDAD FRECSTS_ INSTITUCIÓN OBS_ ESTADO TIEMPO_ FORMATO REF_ AREA STS_ BASE_ AÑO PRODWN100DAM1AP1MIT PRODWN100DBM1AP1MIT2000

33 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo paso a paso Paso 4: Uso del mapeo Traducción de un Conjunto de datos <estat_sts:Series FREQ="M" REF_AREA="IT" ADJUSTMENT="W" STS_INDICATOR="PROD" STS_ACTIVITY="N100DA" STS_INSTITUTION="1" STS_BASE_YEAR="2000" TIME_FORMAT="P1M"> <estat_sts:Obs TIME_PERIOD="200601" OBS_VALUE="101.10" OBS_STATUS="A" OBS_CONF="F" /> <estat_sts:Series FREQ="M" REF_AREA="IT" ADJUSTMENT="W" STS_INDICATOR="PROD" STS_ACTIVITY="N100DB" STS_INSTITUTION="1" STS_BASE_YEAR="2000" TIME_FORMAT="P1M"> <estat_sts:Obs TIME_PERIOD="200601" OBS_VALUE="77" OBS_STATUS="A" OBS_CONF="F" />

34 Eurostat Unit A6 – Statistical cooperation SDMX Seminar E.1 – HERRAMIENTA DE MAPEO DE DATOS ESTADÍSTICOS

35 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Visión general del Asistente de Mapeo Introducción Almacén de Mapeo –Conexión BD –Creación –Importar un Esquema de Categoría, DSD y Flujo de datos Base de Datos de Difusión –Conexión BD –Crear una Base de datos –Crear un Conjunto de mapeos Base de datos de Difusión –Extracción de datos en SDMX

36 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Visión general del Asistente de Mapeo (2) Base de datos en la práctica –Análisis –Problemas con Bases de datos Relacionales –Problemas con PC-Axis –Requisitos Esquema de Almacenamiento A Esquema de Almacenamiento B Esquema de Almacenamiento C Esquema de Almacenamiento D Combinación de Esquemas de Almacenamiento Soporte de PC-Axis Esquema de Almacenamiento que requiere (que se implemente) “UNION” Problemas

37 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Introducción Facilitar el mapeo entre los metadatos estructural de la DSD y los de la Base de Datos de Difusión. Reutilizable por otras herramientas (esto es, el Recuperador de Datos API) Editor de consultas de idioma

38 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Almacén de Mapeo Conexión BD

39 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Almacén de Mapeo Creación

40 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Almacén de Mapeo Importar Esquemas de Categoría, DSD y Flujo de datos

41 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Almacén de Mapeo Importar Esquemas de Categoría, DSD y Flujo de datos

42 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Almacén de Mapeo Importar Esquemas de Categoría, DSD y Flujo de datos

43 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Almacén de Mapeo Importar Esquemas de Categoría, DSD y Flujo de datos

44 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Conexión BD

45 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de datos

46 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de datos

47 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de datos

48 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de datos

49 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de datos

50 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de datos

51 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de datos

52 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de mapeo

53 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de mapeo

54 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de mapeo

55 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de mapeo

56 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de mapeo

57 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión Crear un Conjunto de mapeo

58 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Base de datos de Difusión ¿Qué contiene una BDD? Datos –Observaciones –Valores de atributo –Valores de dimensión Metadatos Estructurales –Listas de códigos –Flujos de datos Metadatos de Referencia –Metadatos de creación –Metadatos de procesamiento

59 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Encabezados Datos Metadatos SSTSRTD_PROD_M SSTSRTD_IND_M SSTSRTD_TOVT_Q Tablas Locales Flujos de Datos Listas de Códigos Infraestructura SDMX Consultas SDMXSalida SDMX Anotaciones Componentes DSD Columnas Locales SQL Base de datos de Difusión Extracción de datos en SDMX (BD Ideal)

60 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Bases de datos en la práctica Análisis Bases de datos NSI reales –Relacional (ej: ISTAT, PC-Axis) –No relacional (ej: ficheros PC-Axis) Experiencia pasada (i.e. DEMOGRAFÍA)

61 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Bases de datos en la práctica Problemas con las BDD Relacionales Estructurales –MUCHOS esquemas de almacenamiento inherentemente diferentes De Contenido –Transcodificación –Formatos de fecha y tiempo (texto, tiempofecha) –Información fragmentada en múltiples columnas –Otros datos en las mismas tablas no relacionados con la transmisión solicitada.

62 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Bases de datos en la práctica Problemas PC-Axis Bases de datos PC-Axis –Estructura de directorio con ficheros.PX –Los ficheros contienen datos/metadatos (variables, listas de códigos, etc) Metabase PC-Axis –Basada en BD sobre el Modelo de Metadatos SCB –Vinculada a esquemas con interfaz de usuario PC-Axis SQL –Contiene metadatos para datos almacenados en otras bases de datos de difusión ¿Cuál se ha de soportar? –Ficheros PX: No es una base de datos relacional –MetaBase: No todo el mundo tiene una

63 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Bases de datos en la práctica Requisitos Mapeos avanzados –Capaces de manejar muchos esquemas de almacenamiento de bases de datos de difusión relacionales –Capaces de manejar PC-Axis Recuperación de datos –Usando los mapeos realizados Generación SDMX-ML

64 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Esquema de Almacenamiento A (simple) DSD Id: CENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADCASGEOSEXOBS_VALOR 001 GR GR GRTOT IT IT ITTOT400

65 Eurostat Unit A6 – Statistical cooperation SDMX Seminar DSD Id: CENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADCASGEO001002TOT 001 GR IT Esquema de Almacenamiento B

66 Eurostat Unit A6 – Statistical cooperation SDMX Seminar IT_001_TABLA EDADSEXOBS_VALOR ……… ……… ……… EDADSEXOBS_VALOR ……… ……… ……… DSD Id: CENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADSEXOBS_VALOR TOT300 CASGEOTABLA 001ITIT_001_TABLA 001GRGR_001_TABLA ……… Tabla “Maestra”Tablas “Dependientes” GR_001_TABLA GB_002_TABLA FR_006_TABLA EDADSEXOBS_VALOR TOT400 Esquema de Almacenamiento C

67 Eurostat Unit A6 – Statistical cooperation SDMX Seminar IdSEXOBS_VALOR TOT TOT400 ……… DSD Id: CENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADCASGEOId 001 GR IT00002 ………… Tabla “Primaria” Tabla “Secundaria” Esquema de Almacenamiento D

68 Eurostat Unit A6 – Statistical cooperation SDMX Seminar DSD Id: CENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADCASGEOSEXOBS_VALOR 001 GR GR GRTOT IT IT ITTOT400 EDADCASGEOSEXOBS_VALOR 001 GR GR GRTOT IT IT ITTOT400 Datos para Italia Datos para España La dimensión de área falta en ambas tablas Esquema de Almacenamiento UNION

69 Eurostat Unit A6 – Statistical cooperation SDMX Seminar IdCASGEOTABLA GRGR_001_001_TABLA ITIT_001_001_TABLA ……… EDADId …… Tabla “Primaria” IT_001_001_TABLA SEXOBS_VALOR …… …… …… SEXOBS_VALOR …… …… …… SEXOBS_VALOR TOT300 SEXOBS_VALOR TOT400 Tablas “Dependientes” GR_001_001_TABLA GB_002_001_TABLA FR_001_003_TABLA Tabla “Maestra” “Secundaria” Combinación de Esquemas de Almacenamiento

70 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Soporte de PC-Axis Soporte de ficheros PC-Axis Driver personalizado para ficheros PC-Axis –Parsea/Carga datos en una memoria de BD (SQLite) –Mapeo y consulta Partes soportadas –Variables, contenido –Subconjunto de Palabras clave (incluidas las de contenido variable)

71 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Esquemas de almacenamiento que requieren “UNION” Tablas con las mismas columnas con una dimensión específica no declarada como columna o valor; –Imposible que se mapee a sí misma ya que no es un objeto físico

72 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Problemas Esquemas de almacenamiento infinitos (caóticos) – consultas personalizadas Problemas de transcodificación Problemas de fecha-tiempo Nivel de atributos – se requiere duplicación Problemas de rendimiento Programas externos: permisos limitados en bases de datos de difusión