Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos.

Presentación del tema: "Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos."— Transcripción de la presentación:

1 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe C – HERRAMIENTAS SDMX BÁSICAS (sólo para estadísticos)

2 2 Eurostat Unit A6 – Statistical cooperation SDMX Seminar C.3 – Conversión de un mensaje de datos

3 3 Eurostat Unit A6 – Statistical cooperation SDMX Seminar FORMATOS DE DATOS Basado en un Modelo de Información común –SDMX-EDI (GESMES/TS) Sintaxis EDIFACT Orientado a serie temporal – Un formato para conjunto de datos –SDMX-ML Sintaxis XML Cuatro formatos diferentes para Conjuntos de Datos Una validación más fácil (basada en XML)

4 4 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Encabezados comunes de datos SDMX

5 5 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Representaciones equivalentes para la presentación de conjuntos de datos Versión 2.0Versión 2.1 4 mensajes de datos, cada uno con un formato bien diferenciado. DatosGenéricos Datos Transversales Datos Compactos Datos de Utilidad Por tanto, ahora hay 4 mensajes de datos basados en dos formatos generales: Obsoletos Mensajes de datos SDMX DatosEstructuraEspecífica DatosSerieTemporalEstructuraEspecífica DatosGenéricos DatosSerieTemporalGenéricos

6 6 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo de Mensaje SDMX-ML Genérico

7 7 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo de Mensaje SDMX-ML Compacto

8 8 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo de Mensaje SDMX-ML Transversal

9 9 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Formatos equivalentes SDMX-ML Genérico SDMX-ML Transversal SDMX-ML Compacto Puede expandirse a otros formatos (ej: CSV, GESMES) Basada en el mismo IM Excepciones: Si una DSD Transversal NO contiene una dimensión de tiempo Excepciones: Si una DSD Transversal NO contiene una dimensión de tiempo Conversiones SDMX v2.0

10 10 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Leer el mensaje de entrada Parseo Poblar el modelo de datos de la herramienta (basado en el modelo de información SDMX v2.0) Escribir el mensaje convertido Usa el modelo de datos para escribir el mensaje de salida en el formato objetivo requerido. Información recuperada desde el Registro Se usa una ID de flujo de datos para recuperar la definición de flujo de datos del Registro. La ID de la DSD, su versión y ID de agencia se recuperan de la definición de flujo de datos y se usan para adquirir la DSD Convertidor SDMX

11 11 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Conversiones posibles CSV SDMX-ML Compacto SDMX-ML Genérico SDMX-ML de Utilidad SDMX-ML Transversal * SDMX-EDI (GESMES/TS) CSV SDMX-ML Compacto SDMX-ML Genérico SDMX-ML de Utilidad SDMX-ML Transversal * SDMX-EDI (GESMES/TS) CSV SDMX-ML Compacto SDMX-ML Genérico SDMX-ML de Utilidad SDMX-ML Transversal SDMX-EDI (GESMES/TS) CSV SDMX-ML Compacto SDMX-ML Genérico SDMX-ML de Utilidad SDMX-ML Transversal SDMX-EDI (GESMES/TS) Uso principal: Conversión CSV  SDMX-ML Compacto Funcionalidad principal del Convertidor SDMX

12 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seleccionar el fichero de entrada Seleccionar el fichero de salida Seleccionar los formatos de entrada y salida Seleccionar la DSD en la unidad local Identificar una DSD a descargar desde el Registro SDMX Identificar un flujo de datos vinculado a la DSD a descargar desde el Registro SDMX Seleccionar / gestionar encabezados para formatos de entrada CSV Seleccionar tablas de mapeo / transcodificación Parámetros CSV Representación GESMES para formatos de salida GESMES Cargar / guardar los ajustes actuales Parámetros XML para formatos de salida SDMX

13 13 Eurostat Unit A6 – Statistical cooperation SDMX Seminar C.4 – Definición de Estructura de Metadatos

14 14 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo Práctico

15 15 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo de metadatos de referencia

16 16 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo de metadatos de referencia

17 17 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Ejemplo de metadatos de referencia

18 18 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Definición de Definición de Estructura de Metadatos Las Tareas 1.Análisis de un conjunto de metadatos completo para identificar y documentar los “Conceptos” para los que se han de presentar o diseminar metadatos. 2.Determinar la estructura del “Informe de Metadatos” en relación a los conceptos usados, la jerarquía de los conceptos cuando se usan en el informe, y su “representación” (ej: ¿se está usando una lista de códigos? ¿es el formato de texto libre?). 3.Especificar el “objeto tipo” con el que se han de asociar los metadatos, y cómo se identifica este tipo de objeto: el conocimiento del Modelo de Información SDMX se muestra útil en este caso (ya que los metadatos sólo pueden asociarse con tipos de objetos que pueden identificarse en relación a los tipos de objetos que existen en el modelo de información).

19 19 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Definición de Estructura de Metadatos Un conjunto de metadatos de referencia tiene un conjunto de metadatos estructurales que describe como se organizan. Estos metadatos identifican –qué conceptos de metadatos de referencia se están presentando –cómo se relacionan estos conceptos entre ellos (normalmente como jerarquías), –cómo se pueden representar (como texto libre, como valores codificados, etc.) –cuál es la función de su uso (obligatorio o condicional) –con qué tipos de objetos SDMX formales se asocian Una MSD comprende dos partes fundamentales: –El Tipo de Objeto(s) con los que los metadatos se pueden asociar –Los Conceptos para los que los metadatos se han de presentar estos conceptos se agrupan bajo una (o más) Estructura de Informe(s)

20 20 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del Informe de Metadatos – Información de Contacto En este caso, no hay un nombre individual, sólo la organización y la unidad de organización. Además, no existe un número de teléfono o de fax, sólo una dirección web de contacto. De esta información se puede obtener la siguiente estructura de informe y conceptos subyacentes.

21 21 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Información de contacto AtributoConceptoSub AtributoConceptoFormato ContactoCONTACTOOrganización de contacto CONTACTO_ORGTexto Unidad de organización de contacto CONTACTO_ORG_UNIDA D Texto Dirección de correo de contacto CONTACTO_CORREO_DI RECCIÓN Texto El uso del concepto, su lugar en la jerarquía, representación, y asociación se definen en la parte relativa al “Atributo de Metadatos” del MSD (denominado Atributo en la tabla). La definición real del concepto se encuentra en el Esquema de Concepto Two levels of hierarchy in the reportDos niveles de jerarquía en el informe

22 22 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Metadatos de contenido AtributoConceptoSub AtributoConceptoFormato Presentación estadística ESTAD_PRESUnidad estadísticaESTAD_UNIDTexto Población estadística ESTAD_POBTexto Área de referenciaREF_AREATexto Cobertura de tiempoTIEMPO_COBTexto

23 23 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos– Esquema de Concepto Los siguientes conceptos se obtienen de las tablas anteriores: ESTAD_PRES ESTAD_UNID ESTAD_POB REF_AREA TIEMPO_COB CONTACTO_ORG CONTACTO_ORG_UNID CONTACTO_CORREO_DIRECCIÓN Los conceptos del esquema de concepto pueden definirse en un jerarquía donde exista un vínculo semántico entre los conceptos padre e hijo; El concepto(s) hijo tendrá un significado semántico más refinado que el del padre. CONTACTO

24 24 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del infome de metadatos – El tipo de objeto de asociación El conjunto de metadatos que se presenta (esto es, el contenido real de metadatos) tiene el propósito de ser metadatos sobre “algo”. Ese “algo” es el tipo de objeto y en una MSD es necesario declarar el tipo de objeto y definir cómo se identifica en relación a sus componentes constituyentes. Por ejemplo, un Código se identificaría mediante una combinación del identificador de Lista de Códigos y el identificador de Código.

25 25 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – El tipo de objeto de asociación Agencia EsquemaConcepto Concepto ListaCódigo Código FamiliaClave Componente DescriptorClave DescriptorMedida DescriptorAtributo DescriptorClaveGrupo Dimensión Medida Atributo EsquemaCategoría TaxonomíaInforme Categoría EsquemaOrganización ProveedorDatos EstructuraMetadatos IdentificadorObjetivoParcial AtributoMetadatos FlujoDatos AcuerdoProvisión MapaEsquemaOrganización MapaFunciónOrganización MapaEsquemaConcepto El tipo de objeto de asociación debe de poder definirse con el uso de tipos de objetos identificables en el Modelo de Información SDMX – el esquema XML demanda esto y enumera los siguientes tipos de objetos.

26 26 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – El tipo de objeto de asociación FlujoMetadatos RestricciónContenido RestricciónAsociación ConjuntoDatos ConjuntoDatosXS Jerarquía MapaEstructura MapaComponente MapaListaCódigo MapaCódigo MapaCategoría MapaConcepto Proceso IdentificadorObjetivoCompleto PasoProceso MapaEsquemaCategoría ListaCódigosJerárquica ConjuntoMetadatos ConjuntoEstructura

27 27 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – El tipo de objeto de asociación El tipo de objeto es la Categoría de Datos (denominada “Categoría” en el Modelo de Información SDMX). Si el propósito de la MSD es definir dónde se van a asociar los metadatos en el entorno de difusión de Eurostat entonces esto es todo lo que se requiere. Categoría de Datos

28 28 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – El tipo de objeto de asociación Si Eurostat desea publicar esto y ponerlo a disposición de otras organizaciones (ej: en forma de fichero descargable) entonces sería necesario también identificar al Proveedor de Datos (que en este caso es Eurostat). Los tipos de objeto Catergoría y Proveedor de Datos podrían asociarse con un esquema de codificación – sin duda existiría una lista para todas las categorías de datos (esto sería un “Esquema de Categoría”), pero para el Proveedor de Datos esto podría declararse sin enumerar (esto es, texto).

29 29 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Esquema de Concepto Es un “Contenedor” de conceptos. En SDMX este es el nivel donde los conceptos se mantienen. Tiene una agencia de mantenimiento, identidad y versionado de información. Los conceptos de un esquema de concepto pueden ser jerárquicos. A menudo se usan conceptos en la presentación de jerarquías y estas jerarquías se construyen en la Estructura de Presentación de la Definición de Estructura de Metadatos.

30 30 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Esquema de la estructura del esquema de concepto

31 31 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Estructura de Presentación – Estructura General definida dentro de la Definición de Estructura de Metadatos

32 32 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Estructura de Presentación – Informe de Contacto CONTACTO_ORG CONTACTO_ORG_UNID CONTACTO_CORREO_DIRECCIÓN ESTAD_MSD ESTAD_METADATOS_CS CATEGORÍA _CONTACTO _INFORME CONTACTO Contacto Nombre contacto organización Unidad contacto organización Dirección correo contacto

33 33 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Estructura de Presentación – Informe de Calidad ESTAD_MSD ESTAD_METADATOS _CS CATEGORÍA_ CONTENIDO_ INFORME Presentación Estadística Unidad estadística Población estadística Área de referencia Cobertura temporal ESTAD_PRES ESTAD_UNID ESTAD_POB REF_AREA TIEMPO_COB

34 34 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Definición del tipo de objeto de asociación Esquema define todos los posibles tipos de objetos que están dentro del alcance de la MSD hace referencia a un sub-conjunto de Componentes del Identificador del identificador de Objetivo Completo

35 35 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Definir del tipo de objeto de asociación Tipos de Objeto de Asociación Categoría de Datos Proveedor de Datos

36 36 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Definición del Tipo de Objeto de Asociación Tipos de Objeto de Asociación ESTAD_MSD CATEGORÍA AGENCIA CATEGORÍA ESTAD_CATEGORÍA _ESQUEMA Proveedor de Datos Categoría AGENCIA comprende los tipos de objeto Categoría y ProveedorDatos hace referencia sólo al Componente de Identificador vínculado al Proveedor de Datos

37 37 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Definición del Tipo de Objeto de Asociación Hay que tener en cuenta que estos metadatos están asociados en un nivel bastante alto – el nivel de la categoría de dominio del tema – del proveedor de datos. Si hay metadatos en un nivel más bajo de granuralidad, por ejemplo en el nivel de la “tabla”, entonces esto también puede especificarse en una MSD. Para asociar metadatos a cada una de las tablas, éstas pueden definirse como un “Flujo de datos” y los metadatos se asocian a la provisión de los datos mediante un proveedor de datos para este flujo de datos.

38 38 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Vínculo entre las Estructuras de Presentación y los Identificadores de Objetivo relevantes ESTAD_MSD CATEGORÍA AGENCIA ESTAD_CATEGORÍA_ESQUEMA CATEGORÍA_CONTENIDO_INFORME vincula las Estructuras de Presentación a los Identificadores de Objetivo relevantes

39 39 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Estructura del informe de metadatos – Resumen Vínculo entre las Estructuras de Informe y los Identificadores de Objetivo relevantes El XML que crea este vínculo es el atributo objetivo de la Estructura del Informe

40 40 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Conjunto de Metadatos: Estructura Hace referencia a: –Una Definición de Estructura de Metadatos (MSD) –Una Estructura de Informe –Un Identificador de Objetivo Define: –Los valores reales de los objetos objetivo Comprende: –Los Atributos Presentados y sus correspondientes Valores –Estos Atributos pueden ser: codificado Texto fecha/tiempo número etc.

41 41 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Conjunto de Metadatos – Esquema General

42 42 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Conjunto de Metadatos – Esquema General El Conjunto de Metadatos de Contacto Los metadatos se presentan en un Conjunto de Metadatos Cada informe de metadatos se presenta en un Conjunto de Metadatos individual Pueden existir muchos conjuntos en un Mensaje SDMX.

43 43 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Conjunto de Metadatos – Esquema General CONTACTO_ORG CONTACTO_ORG_UNID CONTACTO_CORREO_ DIRECCIÓN ESTAD_MSD CATEGORÍA_CONTACTO_INFORME CONTACTO Cuentas Nacionales Unidad C2: producción Eurostat, Oficina Estadística de las Comunidades Europeas http://epp.eurostat.ec.europa.e u/portal/page/portal/help/user_ support Proveedor de Datos=EUROSTAT Categoría = Clave_Indicadores.Estructurales_Indicadores

44 44 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Conjunto de Metadatos – Fichero de Metadatos

45 45 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Conjunto de Metadatos – Ejemplo ESMS

46 46 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Conjunto de Metadatos – Ejemplo ESMS

47 47 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Presentación de Metadatos

48 48 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Presentación de Metadatos en SDMX-ML El mecanismo de Metadatos de Referencia soporta actividades de presentación y difusión a través de tipos de mensajes especificados Mensaje de Estructura –Proporciona la Definición de Estructura de Metadatos Mensaje de Metadatos Genérico –Proporciona un formato simple para cualquier definición de estructura de metadatos –Todos los metadatos de referencia expresables en formato SDMX- ML pueden marcarse de acuerdo a este formato y los contenidos de la Estructura –Realiza sólo un mínimo de validación –Soporta la creación de herramientas de software genérico y servicios para el procesamiento de metadatos de referencia Mensaje de Presentación de Metadatos –Para cada MSD, se crea un esquema XML (específico para esa MSD) –Realiza una validación sobre conjuntos de datos presentados –Menos detallado que el mensaje de metadatos Genérico –Más fácil de usar al relacionarse directamente la marca XML con los conceptos relacionados

49 49 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Definición de flujo de metadatos Muy similar a una definición de flujo de datos; describe, categoriza, y restringe conjuntos de metadatos Los conjuntos de metadatos se presentan o difunden según la definición de flujo de metadatos. Identifica una Definición de Estructura de Metadatos Puede asociarse a uno o más dominio de temas (esto facilita la búsqueda de datos según un esquema organizado de categoría organizado) Las restricciones pueden asociarse a la definición de flujo de metadatos, en el sentido de informar sobre peridiocidad o un conjunto de posibles claves que se permiten en un conjunto de metadatos.

50 50 Eurostat Unit A6 – Statistical cooperation SDMX Seminar C.5 – Herramientas de Metadatos de Referencia

51 51 Eurostat Unit A6 – Statistical cooperation SDMX Seminar C.6 – Infraestructuras SDMX de Referencia

52 52 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Qué es la Infraestructura SDMX de Referencia Conjunto de bloques de construcción que permiten a una oficina estadística exponer datos al mundo externo basados en derechos de acceso Desarrollado en Java y.NET junto a una API bien definida Proporciona datos y metadatos estructurales basados en mapeos a un almacén de datos de una organización Conforme a las guías del Servicio Web SDMX Paquete de código fuente abierto bajo licencia EUPL Soporte del Census Hub y proyectos de Eurostat similares.

53 53 Eurostat Unit A6 – Statistical cooperation SDMX Seminar SDMX-RI – Visión General Cliente Web Asistente de Mapeo SDMX-RI – Interfaces de Usuario SDMX-RI – “bajo la cubierta” Organización proveedora de datos Organización recopiladora de datos Vínculo Interno Servicio Web Datos Locales que no son SDMX Datos de formato SDMX

54 54 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Informe de estado a fecha de junio 2012 Países que han instalado SDMX-RI: Austria, Bélgica, Bulgaria, Chipre, Eslovenia, Finlandia, Francia*, Hungría, Irlanda, Italia, Letonia, España, Lituania, Luxemburgo, Malta, México, Países Bajos, Noruega, Polonia, Portugal, y Suecia. * Bloques de construcción seleccionados Han expresado interés o están trabajando en ello: – Dinamarca, Eslovaquia, Estonia, Grecia, Islandia, Liechtenstein, Suiza, Reino Unido, Rumanía y Rusia

55 55 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Módulos Parseador de Consulta SDMX Recuperador de Datos Recuperador de Estructuras Generador de Datos SDMX Proveedor de Servicio Web sdmx_modelo Cliente Web Asistente de Mapeo Interfaces de Usuario

56 56 Eurostat Unit A6 – Statistical cooperation SDMX Seminar SDMX-RI – Visión General Parseador de consultas Proveedor de servicio web Recuperador de datos Recuperador de estructuras Generador de datos Modelo de datos SDMX base de datos de difusión

57 57 Eurostat Unit A6 – Statistical cooperation SDMX Seminar SDMX-RI – Visión General

58 58 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Visión general del esquema

59 59 Eurostat Unit A6 – Statistical cooperation SDMX Seminar SDMX-RI – Flujo de Trabajo Proveedor de Servicio Web Parseador de Consulta SDMX Recuperad or de Datos Generador de Datos SDMX Cliente de Servicio Web CONJUNTO DE DATOS SDMX-ML CONSULTA SDMX-ML

60 60 Eurostat Unit A6 – Statistical cooperation SDMX Seminar C.7 – Charla Abierta