Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos.

Presentación del tema: "Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos."— Transcripción de la presentación:

1 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe A – Introducción

2 2 Eurostat Unit A6 – Statistical cooperation SDMX Seminar A.2 – Por qué SDMX – importancia de SDMX

3 3 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Statistical Data and Metadata eXchange World Bank UNSD SDMX ISO TS 17369

4 4 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Falta de estandarización en intercambios de datos o entre organizaciones Diferentes formatos de Datos y metadatos Diferentes formatos de Datos y metadatos EDIFACT Ficheros Estructurados XML Formato papel Diferentes lugares para almacenar datos y metadatos Diferentes medios Correo electrónico Subida de ficheros Formato Web Medios extraíbles Teléfono Papel ¿Por qué SDMX?

5 5 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Esto es lo que SDMX proporciona y habilita Qué es SDMX Un modelo para describir datos y metadatos estadísticos Un estándar para la comunicación automática de máquina a máquina Una tecnología que soporta herramientas de TI estandarizadas. Con el fin de sacar partido a lo siguiente: Los estadísticos coinciden en el uso de una descripción común de datos y metadatos El proceso de intercambio de datos es manejado por la descripción común Las descripciones de datos se ponen a disposición de todo el que quiera entender y reutilizar los datos

6 6 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Versión 1.0GESMES/TS Versión 2.0 SDMX-EDI SDMX-ML Registro SDMX En 2008 SDMX se acepta a nivel de Naciones Unidas ISO/TS 17369 Septiembre 2004 Versión 1.0 Versión 2.0 Febrero 2008 Se reconoce y soporta SDMX como estándar preferido SDMX 2.1 Abril 2011 Noviembre 2005 ¿De la versión 1.0 a la versión 2.1 hasta…?

7 7 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Todos los buenos estándares cambian… Todos los estándares cambian con el tiempo, y se lanzan como una serie de versiones Los cambios siempre tienen cierto impacto en los usuarios –No siempre se espera que los usuarios usen la última versión de un estándar –Las organizaciones estándar (como SDMX) tienen que proporcionar soporte para varias versiones del estándar, todas las que estén en uso

8 8 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Cambio en la gestión Peligro (1): demasiados cambios pueden disuadir su adopción Peligro (2): el no dar a los usuarios las funcionalidades que quieren desalentará su adopción Se necesita encontrar un equilibrio

9 9 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Algunos beneficios de los estándares SDMX SDMX proporciona soporte para cosas que son esenciales para los estadísticos, pero que a menudo les resultan difíciles de lograr Un estándar internacional para agrupar todos los elementos involucrados en el proceso estadístico dentro de un modelo de información claro Un enfoque que maximiza la cantidad de información sobre el contexto estadístico que se puede entregar a los usuarios, y la capacidad de enlazar estadísticas entre fuentes similares o diferentes La automatización de procesos: SDMX permite el desarrollo de herramientas comunes que pueden usarse por todas las organizaciones estadísticas para mejorar sus actividades

10 10 Eurostat Unit A6 – Statistical cooperation SDMX Seminar “SDMX Reference Infrastructure” Organización Estadística Los servicios web permiten la consulta, visualización y carga automática de datos y metadatos. Las herramientas SDMX permiten consultar una base de datos, o un sistema de ficheros, para la creación de tablas, cuadros, y gráficos a partir de los resultados de la consulta SDMX es también un estándar avanzado para el descubrimiento de datos con el uso de servicios basados en web Beneficios de los estándares SDMX (2)

11 11 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Producción / procesamiento de datos: lo que SDMX puede mejorar Estándar internacional: - Evita la duplicación de esfuerzos en el desarrollo y mantenimiento de herramientas de TI - Crea un fondo común de habilidades y recursos (comunidad de desarrolladores) Estandariza la estructura de conjuntos de datos y el formato de transmisión - Se reemplazan formatos heterogéneos por uno estándar - Las nuevas recopilaciones de datos comienzan con una estructura estandarizada Validación de datos - SDMX permite detectar las inconsistencias de una estructura de datos en un estadio temprano del procesamiento Aumento de la eficiencia - Más tiempo para el análisis de datos y comprobaciones de la calidad de datos

12 12 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Por qué SDMX - Resumen El intercambio y difusión de datos estadísticos es complejo, caro, y consume recursos intensamente Los mismos datos se almacenan en múltiples ubicaciones Los datos y metadatos a menudo no son reutilizables durante la recopilación, compilación, análisis, transmisión, difusión Varias organizaciones internacionales tienen estándares técnicos en propiedad para el intercambio de datos con sus constituyentes Los estándares combinan problemas específicos de “contenido” con soluciones técnicas Los estándares múltiples provocan una carga adicional de informes Transición de una transmisión punto a punto a una red mundial (XML, servicios web)

13 13 Eurostat Unit A6 – Statistical cooperation SDMX Seminar A.3 – Implementación del sistema de intercambio de datos

14 14 Eurostat Unit A6 – Statistical cooperation SDMX Seminar A.4 – Elementos básicos SDMX

15 15 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Especificaciones Técnicas El Modelo de Información SDMX Especificaciones Técnicas El Modelo de Información SDMX Guías para la armonización de contenido Guías orientadas al contenido (COG) Guías para la armonización de contenido Guías orientadas al contenido (COG) Herramientas Arquitecturas de TI para el intercambio de datos Herramientas basadas en SDMX Herramientas Arquitecturas de TI para el intercambio de datos Herramientas basadas en SDMX Los componentes SDMX

16 16 Eurostat Unit A6 – Statistical cooperation SDMX Seminar ¿Quién? ¿Qué? ¿Cuándo? ¿Quién? ¿Dónde? ¿Cómo? ¿Qué? Descripción del intercambio de datos

17 17 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Modelo de Información SDMX (“metamodelo”) Estructura de Conjunto de Datos Estructura de Conjunto de Datos Metadatos Estructurales Metadatos Estructurales Definición de Estructura de Datos (DSD) Dimensiones (ej: país, variable/tema, año) Dimensiones (ej: país, variable/tema, año) Atributos (ej: unidad de medida) Atributos (ej: unidad de medida) Listas de códigos Metadatos sobre un valor individual, una serie temporal o un grupo de series temporales Proporciona una forma de modelar datos, metadatos y procesos de intercambio Identifican/Describen

18 18 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Guías orientadas al contenido Listas de códigos y conceptos de dominio transversales Dominios de temas estadísticos Vocabulario común de metadatos Recomendaciones para armonizar las implementaciones Organización 1Organización 2Organización 3 interoperabilidad

19 19 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Listas de código y conceptos de dominio transversal Dominio 1 FREC REF. AREA Dominio 2 Conjunto de conceptos usados Conceptos de dominio transversal COMPARABILIDAD

20 20 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Vocabulario común de metadatos

21 21 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Dominios de temas estadísticos Basados en la Clasificación de Actividades Estadísticas Internacionales de la Comisión Económica de las Naciones Unidas para Europa (UNECE)

22 22 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Uso de conceptos de dominio transversal

23 23 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Definición de Estructura de Datos: uso de concepto Unidad Múltiplo Unidad Tema Tiempo/Frecuencia País Existencias/Flujo Observación (Dimensión) (Atributo) (Dimensión) (Atributo) (Medida)

24 24 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Definición de Estructura de Datos: definición de estructuras multi- dimensionales Comprende –Concepts que identifica al valor de observación –Concepts que añaden metadatos adicionales sobre el valor de observación –Concept que es el valor de observación –Cualquiera de estos pueden ser: codificados texto fecha/tiempo número etc. Dimensión es Atributos Medida Representación

25 25 Eurostat Unit A6 – Statistical cooperation SDMX Seminar A finales de junio Esquema de organización Conceptos Listas de códigos Esquemas de conceptos Acuerdo de provisión DSD mantenedor Registro SDMX SDMX describe el intercambio de datos y metadatos

26 26 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Arquitectura del repositorio de datos (Almacén de datos) NSI Demandante “Pull” de Eurostat eDAMIS Entrada de Datos Registro SDMX Almacén intermedio Verificación / Conversión a SDMX Datos recibidos en SDMX-ML Cargador registro Reservas en almacén Eurobase consulta Difusión XSL para SDMX-ML PULLPULL PUSHPUSH

27 27 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Los componentes

28 28 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Progreso del SDMX, 2011 hasta 2015 Desarrollo de estándares: Abril 2011, estándares técnicos SDMX 2.1 lanzados en sdmx.org Difusión: Mayo 2011, SDMX Global ConferenceGlobal Conference Se pueden obtener ocho tutoriales de e-learning de la plataforma CIRCA Gobernabilidad: Creación de dos Grupos de Trabajo SDMX Working Groups (Grupo de Trabajo Técnico y Grupo de Trabajo Estadístico) Plan de Acción 2011 hasta 2015

29 29 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Cómo saber más acerca de SDMX

30 30 Eurostat Unit A6 – Statistical cooperation SDMX Seminar http://sdmx.org/

31 31 Eurostat Unit A6 – Statistical cooperation SDMX Seminar http://epp.eurostat.ec.europa.eu/portal/page/portal/pgp_ess/news/ess_news_detail?id=112774074&pg_id=2417&cc=ESTAT_EUROSTAT

32 https://webgate.ec.europa.eu/fpfis/mwikis/sdmx

33 33 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Cursos de formación sobre SDMX  SDMX elemental (para estadísticos y personal de TI) Tiene lugar en Eurostat. Dirigido a personas responsables de la gestión y difusión de datos y metadatos basados en SDMX.  Curso avanzado sobre SDMX (para desarrolladores de TI) Tiene lugar en Eurostat. Dirigido a desarrolladores de TI y propuesto en dos versiones: programadores JAVA programadores.NET  Curso ESTP sobre “Tecnologías avanzadas para la recopilación y difusión de datos” Externo

34 34 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Para más información  http://www.sdmx.org (Página web de SDMX) http://www.sdmx.org  https://webgate.ec.europa.eu/fpfis/mwikis/sdmx (Espacio de información de Eurostat) https://webgate.ec.europa.eu/fpfis/mwikis/sdmx  Estat-SDMX@ec.europa.eu (Información general sobre SDMX) Estat-SDMX@ec.europa.eu  Estat-support-sdmx@ec.europa.eu (Proyectos de implementación de Eurostat) Estat-support-sdmx@ec.europa.eu

35 35 Eurostat Unit A6 – Statistical cooperation SDMX Seminar A.5 – Herramientas SDMX

36 36 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Software de código abierto para SDMX Convertidor SDMX Convierte ficheros de datos de formatos SDMX a otros formatos de ficheros Asistente de Estructura de Datos(DSW) Usado para crear, editar y probar artefactos SDMX Registro SDMX Un repositorio central para almacenar y compartir artefactos SDMX Infraestructura de Referencia (SDMX- RI) Un conjunto de herramientas que permite conectar sus sistemas TI al mundo SDMX Asistente de Mapeo Mapeo y transcodificación de los contenidos de una base de datos existente a estructuras de datos SDMX Generador XSD Genera un esquema de definición XML estándar para una DSD SDMX dada

37 37 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Convertidor SDMX Convierte desde todos los formatos existentes de la versión 2.0 estándar de SDMX (genérica, compacta, de utilidad y transversal) así como de GESMES (SDMX-EDI 2.0) FLR y formatos CSV. La interacción con el Convertidor es posible mediante el uso de una Interfaz Gráfica de Usuario (GUI), intefaz de línea de comandos (CLI) y vía su API de programación. La interfaz de Servicio Web ofrece la posibilidad de exponer las funcionalidades del Convertidor en la Web. Los clientes pueden hacer una llamada al servidor de la aplicación donde el servicio del Convertidor se encuentre desplegado.

38 38 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Registro SDMX Registro de metadatos que implementa al registro de especificaciones SDMX El Registro SDMX tiene como tarea el proporcionar una estructura, organización, y mantenimiento e interfeaces de consulta para la mayoría de componentes SDMX necesarios para el soporte de la visión de los datos a compartir Proporciona una interfaz de usuario basada en web así como servicios web para interactuar con los objetos de metadatos estructurales SDMX en uso dentro de Eurostat y con socios estadísticos. El registro sólo se preocupa de proporcionar la información necesaria para acceder a los conjuntos de datos y metadatos de referencia Una aplicación que quisiera un conjunto de datos o metadatos concreto consultaría entonces al registro acerca de la URL, y entonces iría y obtendría el conjunto de datos o metadatos directamente del servidor web del proveedor.

39 39 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Asistente de Estructura de Datos DSW Una aplicación individual de Java que soporta la versión 2 del estándar SDMX. Puede usarse tanto offline como online, dependiendo de la elección del usuario y sus derechos de acceso. Permite el mantenimiento de los siguientes artefactos SDMX v2.0: Definiciones de Estructuras Datos, Listas de Códigos, Esquemas de Concepto, Flujos de Datos, Listas de Códigos Jerarquizadas, Esquemas de Categoría y Esquemas de Organización. Posibilidad de crear dinámicamente una plantilla para una DSD especificada en formato SDMX v2.0. Proporciona un mecanismo para importar/exportar definiciones DSD SDMX-ML v2.0 y un mecanismo para importar/exportar definiciones DSD desde/a ficheros de estructura GESMES/TS

40 40 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Infraestructura de Referencia SDMX (SDMX-RI) Una infraestructura generalizada de servicios que puede reutilizarse parcial o completamente por una organización interesada en empezar proyectos SDMX para el intercambio de datos. Estos son los modelos más comunes de Infraestructura de Referencia SDMX: –Parseador de Consultas SDMX –Recuperador de Datos –Recuperador de Estructuras –Generador de Datos SDMX –Asistente de Mapeo Dos componentes web: –Cliente Web –Proveedor de Servicios Web

41 41 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Asistente de Mapeo Facilita el mapeo entre los metadatos estructurales proporcionados por una Definición de Estructura de Datos SDMX-ML (DSD) y aquellos que residen en una base de datos de un entorno de difusión. Mantiene un Almacén de Mapeo para guardar los mapeos entre SDMX y el esquema de almacenaje de datos locales En la Infraestructura de Referencia SDMX, proporciona información de mapeo para el Recuperador de Datos.

42 42 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Generador XSD Produce Definiciones XML de Esquemas (XSD) basadas en una DSD recibida Produce esquemas XSD para formatos Compactos, Transversales o de Utilidad para el estándar SDMX v2.0, y pueden usarse: –Como un bloque de construcción reutilizable, a través de su API. –A través de una Interfaz Gráfica de Usuario (GUI) individual –A través de una Interfaz de Línea de Comandos (CLI) –A través de una GUI Web

43 43 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Relaciones entre Herramientas – Ejemplo DSW Convertidor Registro SDMX SDMX-RI Asistente de Mapeo DSD Base de Datos Nacional Base de Datos Nacional Fichero CSV DSD Conjunto de Datos SDMX Mapeo Produce usa Almacena Produce usa