Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos.

Presentación del tema: "Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos."— Transcripción de la presentación:

1 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe E – HERRAMIENTAS DE DIFUSIÓN DE DATOS SDMX (TI)

2 2 Eurostat Unit A6 – Statistical cooperation SDMX Seminar E.1.b – Asistente de Mapeo para TI

3 3 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Encabezados Datos Metadatos SSTSRTD_PROD_M SSTSRTD_IND_M SSTSRTD_TOVT_Q Tablas Locales Flujos de Datos Listas de Códigos Infraestructura SDMX Consultas SDMXSalida SDMX Anotaciones Componentes DSD Columnas Locales SQL Base de datos de Difusión Extracción de datos en SDMX (BD Ideal)

4 4 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Bases de datos en la práctica Análisis Bases de datos NSI reales –Relacional (ej: ISTAT, PC-Axis) –No relacional (ej: ficheros PC-Axis) Experiencia pasada (ej: DEMOGRAFÍA)

5 5 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Bases de datos en la práctica Problemas con las BDD Relacionales Estructurales –MUCHOS esquemas de almacenamiento inherentemente diferentes De Contenido –Transcodificación –Formatos de fecha y tiempo (texto, tiempofecha) –Información fragmentada en múltiples columnas –Otros datos en las mismas tablas no relacionados con la transmisión solicitada.

6 6 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Bases de datos en la práctica Problemas PC-Axis Bases de datos PC-Axis –Estructura de directorio con ficheros.PX –Los ficheros contienen datos/metadatos (variables, listas de códigos, etc) Metabase PC-Axis –Basada en BD sobre el Modelo de Metadatos SCB –Vinculada a esquemas con interfaz de usuario PC-Axis SQL –Contiene metadatos para datos almacenados en otras bases de datos de difusión ¿Cuál se ha de soportar? –Ficheros PX: No es una base de datos relacional –MetaBase: No todo el mundo tiene una

7 7 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Bases de datos en la práctica Requisitos Mapeos avanzados –Capaces de manejar muchos esquemas de almacenamiento de bases de datos de difusión relacionales –Capaces de manejar PC-Axis Recuperación de datos –Usando los mapeos realizados Generación SDMX-ML

8 8 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Esquema de Almacenamiento A (simple) DSD Id: CENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADCASGEOSEXOBS_VALOR 001 GR001100 001 GR002200 001 GRTOT300 001 IT001150 001 IT002250 001 ITTOT400

9 9 Eurostat Unit A6 – Statistical cooperation SDMX Seminar DSD Id: CENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADCASGEO001002TOT 001 GR100200300 001 IT150250400 Esquema de Almacenamiento B

10 10 Eurostat Unit A6 – Statistical cooperation SDMX Seminar IT_001_TABLA EDADSEXOBS_VALOR ……… ……… ……… EDADSEXOBS_VALOR ……… ……… ……… DSD Id: CENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADSEXOBS_VALOR 001 100 001002200 001TOT300 CASGEOTABLA 001ITIT_001_TABLA 001GRGR_001_TABLA ……… Tabla “Maestra”Tablas “Dependientes” GR_001_TABLA GB_002_TABLA FR_006_TABLA EDADSEXOBS_VALOR 001 150 001002250 001TOT400 Esquema de Almacenamiento C

11 11 Eurostat Unit A6 – Statistical cooperation SDMX Seminar IdSEXOBS_VALOR 00001001100 00001002200 00001TOT300 00002001150 00002002250 00002TOT400 ……… DSD Id: CENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADCASGEOId 001 GR00001 001 IT00002 ………… Tabla “Primaria” Tabla “Secundaria” Esquema de Almacenamiento D

12 12 Eurostat Unit A6 – Statistical cooperation SDMX Seminar DSD Id: ENSO_CENTRAL Versión: 1.1 Agencia: Eurostat Dimensiones: EDAD CAS GEO SEX OBS_VALOR EDADCASGEOSEXOBS_VALOR 001 GR001100 001 GR002200 001 GRTOT300 001 IT001150 001 IT002250 001 ITTOT400 EDADCASGEOSEXOBS_VALOR 001 GR001100 001 GR002200 001 GRTOT300 001 IT001150 001 IT002250 001 ITTOT400 Datos para Italia Datos para España La dimensión de área falta en ambas tablas Esquema de Almacenamiento UNION

13 13 Eurostat Unit A6 – Statistical cooperation SDMX Seminar IdCASGEOTABLA 00001001GRGR_001_001_TABLA 00002001ITIT_001_001_TABLA ……… EDADId 00100001 00200002 …… Tabla “Primaria” IT_001_001_TABLA SEXOBS_VALOR …… …… …… SEXOBS_VALOR …… …… …… SEXOBS_VALOR 001100 002200 TOT300 SEXOBS_VALOR 001150 002250 TOT400 Tablas “Dependientes” GR_001_001_TABLA GB_002_001_TABLA FR_001_003_TABLA Tabla “Maestra” “Secundaria” Combinación de Esquemas de Almacenamiento

14 14 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Soporte de PC-Axis Soporte de ficheros PC-Axis Driver personalizado para ficheros PC-Axis –Parsea/Carga datos en una memoria de BD (SQLite) –Mapeo y consulta Partes soportadas –Variables, contenido –Subconjunto de Palabras clave (incluidas las de contenido variable)

15 15 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Esquemas de almacenamiento que requieren “UNION” Tablas con las mismas columnas con una dimensión específica no declarada como columna o valor; –Imposible que se mapee a sí misma ya que no es un objeto físico

16 16 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Problemas Esquemas de almacenamiento infinitos (caóticos) – consultas personalizadas Problemas de transcodificación Problemas de fecha-tiempo Nivel de atributos – se requiere duplicación Problemas de rendimiento Programas externos: permisos limitados en bases de datos de difusión

17 17 Eurostat Unit A6 – Statistical cooperation SDMX Seminar E.1.a – INFRAESTRUCTURA DE REFERENCIA SDMX (TI)

18 18 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Visión general SDMX-RI (diseño antiguo) Parseador de consulta Proveedor de servicios web Recuperador de datos Recuperador de estructura Generador de datos Modelo de datos SDMX Base de datos de difusión y almacén de mapeo

19 19 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Visión general SDMX-RI

20 20 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Parseador de Consultas Diseño API del Parseador XML de mensajes de Consulta SDMX-ML Cargar la consulta en una memoria de modelo de datos SDMX Diseñado según el método de bloque de construcción Parseador de consultas Consulta SDMX-ML XSDs SDMX-ML consulta (modelo interno)

21 21 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Parseador de Consultas Reutilización Entrada Consulta SDMX-ML: Tipos de datos (fichero XML) que representa la Consulta SDMX enviada al consumidor de datos XSDs SDMX-ML: Tipos de datos que representan los Esquemas SDMX usados para validar la Consulta SDMX.

22 22 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Parseador de Consultas Reutilización Salida Consulta SDMX-ML (Modelo SDMX): consulta SDMX- ML representada dentro del Modelo SDMX.

23 23 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Parseador de Consultas Reutilización Usa un Parseador XML rápido –SAX para Java –XmlReader para.NET En la actualidad sólo soporta Consultas de Datos –Elemento de Datos de Lugar Valida Consultas SDMX-ML entrantes frente a esquemas SDMX-ML

24 24 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Diseño Trabaja con Consultas SDMX-ML (Modelo SDMX) Las traduce a SQL Devuelve un modelo de datos SDMX-ML (Modelo SDMX) Recuperador de datos Conexión al almacén de mapeo consulta (modelo interno) mensaje de datos(modelo interno) Almacén de mapeo Base de datos de difusión

25 25 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Reutilización Dos conexiones de bases de datos:  Mapeos  Base de Datos de Difusión La única API que dependiente de la base de datos con dos posibilidades:  Base de datos basada en SDMX.  Base de datos local (no basada en SDMX)

26 26 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Reutilización Entrada  Consulta SDMX-ML (Modelo SDMX): El resultado del Parseador de Consultas SDMX. Una representación de la Consulta SDMX-ML en el modelo interno.  String (cadena de caracteres) de Conexión entre la Base de datos y el Almacén de mapeo: El string de conexión se encuentra donde está el almacén de mapeo.

27 27 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Reutilización Salida  Fichero de Datos SDMX-ML (Modelo SDMX): Una representación del Fichero de Datos SDMX-ML en el Modelo SDMX interno.

28 28 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Reutilización Recuperador de Datos Conexión con el Almacén de Mapeo Mensaje de Datos (Modelo Interno) Consulta (Modelo Interno) Almacén de Mapeo Base de Datos de Difusión

29 29 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Reutilización Modular "bajo la superficie” Modelo de datos y manejo del Almacén de Mapeo Traducción de la Consulta/Población de "Beans” de datos En la actualidad se encuentra fuertemente emparejado al Almacén de Mapeo Recupera datos usando SQL Vendedores de BD: Oracle, MySQL, MS SQL Server, SQLite

30 30 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Reutillización – PC-Axis Librería separada  Sirve datos en una base de datos de memoria interna, ej: SQLite  Permite consultar ficheros.px usando SQL  Transparente a sus usuarios  La versión.NET se usa tal cual en el Asistente de Mapeo El Driver se ha ampliado  Soporte para palabras clave adicionales  Soporte para palabras clave de contenido variable relacionadas

31 31 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Reutilización DataRetriever() Recuperador de Datos retrieveData(Mapping Store Connection, Query):Data Message Internal Model :Data Message Internal Model getDSD():DSD Internal Model :DSD Internal Model

32 32 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Reutilización Proceso en dos pasos 1. Construir un objeto “DataRetriever” (transmite el “logger” –opcional-).NET/Java DataRetriever retriever = new DataRetriever(logger);

33 33 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Reutilización Proceso en dos pasos 2. Recuperar datos (transmite una Consulta y un Almacén de Mapeo).NET dataset = retriever.RetrieveData (query, connection); Java dataset = retriever.retrieveData (query, connection);

34 34 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Datos Dependencias Librería del Modelo SDMX  Maneja Consultas SDMX entrantes  Puebla el Conjunto de Datos SDMX a partir de datos recuperados Almacén de Mapeo  Identifica el Conjunto de Mapeos  Conecta con la Base de Datos de Difusión  Formula una Consulta SQL basada en un Consulta SDMX + Consulta Inicial SQL + información de Conjunto de Mapeos

35 35 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Estructuras Diseño Trabaja con Consultas SDMX-ML (Modelo SDMX) Las traduce a SQL Devuelve un modelo de estructura SDMX-ML (Modelo SDMX) Recuperador de estructuras Conexión al almacén de mapeo consulta (modelo interno) estructura (modelo interno) Almacén de mapeos Base de datos de difusión

36 36 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Estructuras Reutilización Una conexión de base de datos:  Mapeos La única API dependiente de la base de datos con dos posibilidades:  Base de datos SDMX basada en SDMX.  Base de datos local (no basada en SDMX)

37 37 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Estructuras Reutilización Entrada  Consulta SDMX-ML (Modelo SDMX): El resultado del Parseador de Consultas SDMX. Una representación de la Consulta SDMX-ML en el modelo interno.  String (cadena de caracteres) de Conexión entre la Base de datos y el Almacén de mapeo: El string de conexión se encuentra donde está el almacén de mapeo.

38 38 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Estructuras Reutilización Salida  Fichero de Estructuras SDMX-ML (Modelo SDMX): Una representación del Fichero de Estructuras SDMX- ML en el Modelo SDMX interno.

39 39 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Estructuras Reutilización Recuperador de Estructuras Conexión con el Almacén de Mapeo Mensaje de Estructuras (Modelo Interno) Consulta (Modelo Interno) Almacén de Mapeo Base de Datos de Difusión

40 40 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Modular "bajo la superficie” Modelo de datos y manejo del Almacén de Mapeo Traducción de la Consulta/Población de "Beans” de datos En la actualidad se encuentra fuertemente emparejado al Almacén de Mapeo Recupera datos (estructuras) usando SQL Vendedores de BD: Oracle, MySQL, MS SQL Server, SQLite El Recuperador de Estructuras Reutilización

41 41 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Estructuras Reutilización StructureRetriever() Recuperador de Estructuras retrieveStructure(Mapping Store Connection, Query):Structure Internal Model Structure Internal Model

42 42 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Estructuras Reutilización Proceso en dos pasos: 1. Construir un objeto “StructureRetriever” (transmite el “logger” – opcional).NET/Java StrucutureRetriever retriever = new StructureRetriever(logger);

43 43 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Estructuras Reutilización Proceso en dos pasos 2. Recuperar datos (transmite una Consulta y un Almacén de Mapeo).NET structure= retriever.RetrieveStructure (query, connection); Java structure = retriever.retrieveStructure (query, connection);

44 44 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Recuperador de Estructuras Dependencias Librería del Modelo SDMX  Maneja Consultas SDMX entrantes  Puebla Estructuras SDMX a partir de datos recuperados (estructura) Almacén de Mapeo  Identifica el Conjunto de Mapeos  Conecta con la Base de Datos de Difusión  Formula una Consulta SQL basada en un Consulta SDMX + Consulta Inicial SQL + información de Conjunto de Mapeos

45 45 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Generador de datos Mensaje de datos (modelo interno) DSD (modelo interno) Conjunto de datos SDMX-ML Tipo de mensaje SDMX-ML El Generador de Datos Diseño Crea mensajes SDMX-ML desde un modelo de datos interno Trabaja con un modelo interno de DSD y Formato de Mensaje Produce un documento XML

46 46 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Generador de Datos Reutilización Entrada Fichero de Datos SDMX-ML (Modelo SDMX): El resultado del Recuperador Datos. Una representación del fichero SDMX-ML en el modelo interno SDMX. Tipo de Fichero de Datos SDMX-ML: El formato del Fichero de Datos SDMX-ML que se ha de generar. DSD SDMX-ML: La DSD que describe la estructura del Fichero de Datos SDMX-ML.

47 47 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Generador de Datos Reutilización Salida  Fichero de Datos SDMX-ML: Se genera un fichero XML, y por su parte el Fichero de Datos SDMX-ML se especifica en el formato de la entrada.

48 48 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Generador de Datos Dependencias Librería del Modelo SDMX  Maneja Consultas SDMX entrantes  Puebla los Conjuntos de Datos SDMX con datos recuperados

49 49 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Generador de Datos Reutilización Bloque de construcción reutilizable Responsible de generar un mensaje SDMX desde el objeto de datos del Modelo SDMX. Soporta formatos de serie temporal y transversal Implementaciones.NET y Java

50 50 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Generador de Datos SDMX Mensaje de Datos (modelo interno) Conjunto de datos SDMX-ML DSD (modelo interno) Tipo de Mensaje SDMX-ML El Generador de Datos Reutilización

51 51 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Generador de Datos Reutilización Modular "bajo la superficie”  Cada formato de datos tiene su propia clase “Writer”. Soporta formatos de datos de serie de tiempo  SDMX-ML Compacto y Genérico y GESMES/TS Soporta formatos de datos transversales  SDMX-ML Transversal

52 52 Eurostat Unit A6 – Statistical cooperation SDMX Seminar DataGenerator(logger): DataGenerator Generador de Datos Write(DataMessage, DSD, targetFormat, output SDMX-ML Data Message) : SDMX-ML Data Message El Generador de Datos Reutilización

53 53 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Generador de Datos Reutilización Proceso en dos pasos 1. Construir un objeto “DataGenerator” (transmite el “logger” –opcional).NET/Java DataGenerator generator = new DataGenerator(logger);

54 54 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Generador de Datos Reutilización Proceso en dos pasos –2. Generar datos (transmiten un Mensaje de Datos, la Familia Clave, el formato objetivo SDMX y el canal de salida) Java generator.generateData (dataMessage,keyFamily, targetFormat,outputStream);.NET generator.GenerateData (dataMessage,keyFamily, targetFormat,refoutputStream);

55 55 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Generador de Datos Dependencias Bloque de construcción reutilizable Responsible de generar un mensaje SDMX desde el objeto de datos del Modelo SDMX. Soporta formatos de serie de tiempo y transversal Implementaciones.NET y Java

56 56 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Caso Práctico de Infraestructura de Referencia SDMX – Versiones anteriores de tests de rendimiento

57 57 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Proveedor Servicio Web Parseador Consulta SDMX Recuperador Datos Generador Datos SDMX Cliente Servicio Web CONJUNTO DE DATO SDMX-ML CONSULTA SDMX-ML Flujo de trabajo SDMX-RI

58 58 Eurostat Unit A6 – Statistical cooperation SDMX Seminar MS SQLServer Almacén de Datos MS SQL Server HC06 Esquema D HC01 Esquema A HC06 PC Axis Fichero de Datos Difusión de Datos Datos de censo del test de Rendimiento

59 59 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Test del servidor - Especificación Componentes: CPU: Intel Core2 a 2,13GHz Sistema Operativo: Microsoft XP Professional Service Pack 3 3GB de RAM Espacio mínimo en disco duro de 20GB Internet Information Server 5.1 (SDMX-RI.NET WS) Apache Tomcat 7.0.12 (SDMX-RI JAVA WS) ¿Cuál es el impacto en su rendimiento?

60 60 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Comparación de Rendimiento Escenario 100 mil Consultas – 1 usuario simultáneo Base de Datos de Difusión Servicio Web HC01 SQLServer HC06 SQLServer HC06 PCAxis Fichero de datos SDMX-RI.NET 10,7 seg11,1 seg90,8 seg SDMX-RI JAVA 22,7 seg25,7 seg115,4 seg

61 61 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Performance comparison Segundos WS JAVA WS.NET JAVA.NET JAVA.NET

62 62 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Comparación de Rendimiento SDMX-RI.NET WS frente a SDMX-RI JAVA WS En general el rendimiento de SDMX-RI.NET WS es mejor que el de SDMX-RI JAVA WS. Se han encontrado problemas de memoria para ambos servicios web. En relación a los fallos de hilos de las consultas más demandadas, SDMX-RI.NET WS se comporta de manera similar a SDMX-RI JAVA WS; Los test se ejecutaron de forma más lenta en datos HC06 PCAxis que en otras bases datos de difusión; Los accesos simultáneos al fichero de datos PCAxis causan a menudo una “System.NullReferenceException” en la API del Recuperador de Datos.

63 63 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Performance comparison SDMX-RI JAVA APIs vs. SDMX-RI.NET APIs

64 64 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Análisis de los Problemas Principales PROBLEMASEVERIDADSOLUCIÓN Restricciones de rendimiento y memoria en la implementación de SDMX-RI en el “Modelo de Objeto del Documento” (DOM) que causan errores de memoria (OOM) y un rendimiento pobre, debido a que toda la operación de datos se encuentra en la memoria. Muy alta – dificulta el uso de no sólo en conjuntos de datos de gran volumen, ej: CENSO o micro datos de Comercio Exterior. 1.Cambiar a un modelo de streaming de datos (recomendado) 2.Usar un sistema operativo/hardware de 64-bits (disminuirán los problemas) Las recomendaciones de hardware y de sistema operativo son insuficientes para la implementación DOM actual de SDMX-RI. Muy alta – SDMX-RI dificulta el uso de SDMX-RI Una CPU más rápida podría mejor el rendimiento hasta cierto punto. El sistema operativo puede tener un impacto en los problemas relacionados con la memoria. Un sistema operativo de 64-bits puede alojar más memoria, siempre que la RAM se incremente como corresponde. Problemas de rendimiento y compatibilidad (fallos de acceso simultáneos) con ficheros de datos PCAxis usados como fuente de datos de difusión. Muy alta – dificulta el uso del módulo de datos PCAxis de SDMX-RI Los problemas de compatibilidad se han de identificar y solucionar. ¿Se podría incrementar el rendimiento con una solución de memoria interna de Base de Datos?

65 65 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Visión general SDMX-RI (nuevo diseño) SDMX IO Proveedor de servicio web Recuperador de datos Recuperador de estructuras Modelo de Datos SDMX base de datos de difusión y almacén de mapeos Módulo Auth

66 66 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Servicios web de la Infraestructura de Referencia SDMX

67 67 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Parseador de consultas Proveedor de servicios web Recuperador de datos Recuperador de estructuras Generador de datos Modelo de Datos SDMX Base de datos de difusión y almacén de mapeos Visión general de los servicios web SDMX-RI (diseño antiguo)

68 68 Eurostat Unit A6 – Statistical cooperation SDMX Seminar SDMX IO Proveedor de servicios web Recuperador de datos Recuperador de estructuras Modelo de datos SDMX Base de datos de difusión y almacén de mapeos Módulo auth Visión general de los servicios web SDMX-RI (diseño nuevo)

69 69 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Modelo IO (Input-Output) SDMX Diseño API del Parseador XML para mensajes de Consulta SDMX-ML Leer y escribir mensajes SDMX-ML desde el modelo de datos y estructuras XML internas. “Streaming” (no de todos los datos de la memoria) SDMX IO Estructura SDMX –XML- Estructura SDMX –Modelo Interno- Estructura SDMX–XML-

70 70 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Proveedor de Servicio Web Diseño Visibilidad Interoperabilidad con SOAP Diseñado según el método de bloques de construcción

71 71 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Proveedor de Servicio Web Reutilización Fácil integración en el entorno JAVA Alta disponibilidad

72 72 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Proveedor de Servicio Web Reutilización Entrada SOAP (Consulta SDMX): Mensaje Soap que incluye una Consulta SDMX en su interior. Salida SOAP (Conjunto de datos SDMX-ML): Mensaje Soap que incluye el Conjunto de datos SDMX-ML.

73 73 Eurostat Unit A6 – Statistical cooperation SDMX Seminar PASO 1 Cargar las Estructuras SDMX (Esquema de Categoría, Flujo de datos, DSD) PASO 3 Mapear conceptos locales a SDMX (Conjunto de Mapeo) PASO 4 Mapear códigos locales a SDMX (Transcodificación) PASO 2 Schema Mapear el esquema de base de datos local (Conjunto de datos) Solución de Servicio Web Paso 1 – Asistente de Mapeo

74 74 Eurostat Unit A6 – Statistical cooperation SDMX Seminar MS SQLServer 2008 Express Oracle XE 10g Almacén de Datos MS SQL Server TIPO D TIPO A TIPO B Solución de Servicio Web Paso 1 – Asistente de Mapeo

75 75 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Solución de Servicio Web Paso 1 – Asistente de Mapeo Esquema de Categoría: CATEGORYSCHEME+CH+ESTAT+1.0.xml Esquema de Concepto: CENSUSHUB_CONCEPTS+ESTAT+1.0.xml Listas de códigos, excepto CL_GEO: CENSUSHUB+ESTAT+CODELISTS+1.0.xml Listas de códigos geográficos: CL_GEO_SE+ESTAT+1.0.xml Definición de Estructura de Datos (familia clave) –CENSUSHUB_HC6+ESTAT+1.0.xml Flujos de datos, creado manualmente: –HC06_TYPE_A –HC06_TYPE_B –HC06_TYPE_D

76 76 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Solución de Servicio Web Paso 1 – Asistente de Mapeo Los conjuntos de datos dentro de las bases de datos de difusión NSI se describen usando metadatos de estructura “locales” (conceptos, listas de códigos, formatos) Los estándares SDMX armonizan metadatos estructurales dentro de una comunidad estadística, y describen conjuntos de datos por definiciones DSD (conceptos, listas de códigos, dimensiones, atributos, medidas, etc.) –Ficheros de estructuras SDMX-ML Se deben mapear(*) metadatos estructurales “locales” y metadatos estructurales SDMX: –Mapeo de conceptos –Mapeo de códigos (*) ver la página 73 de la Guía de Usuario SDMX

77 77 Eurostat Unit A6 – Statistical cooperation SDMX Seminar CÓDIGODESCRIPCIÓN 1Anual 12Mensual 365Diaria 4Cuatrimestral 52Semanal CÓDIGODESCRIPCIÓN AAnual MMensual DDiaria QCuatrimestral WSemanal HSemestral BNegocios Código SDMX CÓDIGO de Propiedad DESCRIPCIÓN A1Anual M12Mensual D365Diaria Q4Cuatrimestral W52Semanal HSemestral BNegocios Solución de Servicio Web Paso 1 – Asistente de Mapeo

78 78 Eurostat Unit A6 – Statistical cooperation SDMX Seminar 6. Installation and use (from scratch) 6.1 Step 1 – Mapping Assistant Eurostat Unit B3 – Statistical Information Technologies SDMX Training for Developers DIMENSIONES Posi ción en la clave CONCEPTOREPRESENTACIÓN Tipo de Dimensi ón IDNombre ESQUEMA DE CONCEPTOLISTA DE CÓDIGOS FORMATO DE TEXTO IDVER AGENCY IDVERAGENCIA 1GEOÁrea geográfica CENSUSHUB_C ONCEPTS 1.0ESTATCL_GEO1.0ESTAT 2SEXSexo CENSUSHUB_C ONCEPTS 1.0ESTATCL_SEX1.0ESTAT 3FST Situación familiar CENSUSHUB_C ONCEPTS 1.0ESTATCL_FST1.0ESTAT 4LMSEstado civil CENSUSHUB_C ONCEPTS 1.0ESTATCL_LMS1.0ESTAT 5CASEstado laboral CENSUSHUB_C ONCEPTS 1.0ESTATCL_CAS1.0ESTAT 6POB País/lugar de nacimiento CENSUSHUB_C ONCEPTS 1.0ESTATCL_POB1.0ESTAT 7COCNacionalidad CENSUSHUB_C ONCEPTS 1.0ESTATCL_COC1.0ESTAT 8AGEEdad CENSUSHUB_C ONCEPTS 1.0ESTATCL_AGE1.0ESTAT 9FREQFrecuencia CENSUSHUB_C ONCEPTS 1.0ESTATCL_FREQ1.0ESTATFrequencia 10TIME Periodo de tiempo o alcance CENSUSHUB_C ONCEPTS 1.0ESTATAño Dimensión de tiempo

79 79 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Solución de Servicio Web Paso 1 – Asistente de Mapeo

80 80 Eurostat Unit A6 – Statistical cooperation SDMX Seminar /* primer ejemplo (Y5-9 z ) */ var len; len=$Column_HC06_TYPE_A1_AGE_CMP.length $Component_AGE = $Column_HC06_TYPE_A1_AGE_CMP.substring(0, len-1) /* segundo ejemplo (Y_ x LT5)*/ $Component_AGE = $Column_HC06_TYPE_A1_AGE_CMP.replace("x","") Solución de Servicio Web Paso 1 – Asistente de Mapeo

81 81 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Solución de Servicio Web Paso 2 – Instalación de SDMX-RI Ejemplo práctico siguiendo las instrucciones proporcionadas en la documentación.

82 82 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Instalación del Servicio Web SDMX-RI (JAVA y Tomcat 7.0.25)

83 83 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Go to the “app” folder of the NSI WS package. Unzip the file “nsi.war”. Go to “META-INF” folder. Edit “context.xml”. Enter the values for the Mapping Store connection Go to “WEB-INF\classes\wsdl” folder. Edit the file “nsi_service.wsdl”. Replace in the whole document if needed values for the web server name and port. Zip again the content of the “nsi” folder with the files modified. Rename the file “nsi.zip” to “nsi.war”. Copy “nsi.war” file to “webapps” folder inside Tomcat web server Copy the “params” folder from the NSI WS package to the working path of Tomcat. Edit the “nsi.properties” file. Enter the values for the log file. Start Tomcat web server. The “nsi.war” application will be deployed by the web server.

84 84 Eurostat Unit A6 – Statistical cooperation SDMX Seminar The endPoint of the web service is accessible: http://localhost/nsi/services/NSIService http://localhost/nsi/services/NSIService The WSDL of the web service is accessible: http://localhost/nsi/services/NSIService?wsdl http://localhost/nsi/services/NSIService?wsdl

85 85 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Instalación del Servicio Web SDMX-RI (.NET y IIS7)

86 86 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Create a folder in inetpub/wwwroot folder (i.e. “nsiws”)Grant for the user “IIS_IUSRS” “Read” and “Write” rights Go to “app” folder of the NSI WS package. Edit the file “Web.config”. Enter values for the Mapping Store connection. Other values inside the Web.config file can also be changed (i.e. logfile, headers…) Copy the content of the “app” folder of the NSI WS package (with the Web.config modified) to the “nsiws” folder created in step 1 (inside the inetpub/wwwroot folder) Open the IIS Manager. The folder “nsiws” created in step 1 appears in the “Default Web Site” folder Click in the “nsiws” folder with right button and press “Convert to Application”. The alias and the physical path for the application are already filled. Press “OK”

87 87 Eurostat Unit A6 – Statistical cooperation SDMX Seminar The endPoint of the web service is accessible: http://localhost/nsiws/NSIService.asmx http://localhost/nsiws/NSIService.asmx The WSDL of the web service is accessible: http://localhost/nsiws/NSIService.asmx?WSDL http://localhost/nsiws/NSIService.asmx?WSDL

88 88 Eurostat Unit A6 – Statistical cooperation SDMX Seminar El Test de Cliente Paso 1 – Instalación y uso del test de cliente Demostración que sigue las instrucciones en la documentación proporcionada.

89 89 Eurostat Unit A6 – Statistical cooperation SDMX Seminar SOAP UI (Interfaz de Usuario) Paso 1 – Uso de la SOAP UI Demostración que sigue las instrucciones en la documentación proporcionada.

90 90 Eurostat Unit A6 – Statistical cooperation SDMX Seminar La Página de Cliente Paso 1 – Instalación y uso de la página de cliente Demostración que sigue las instrucciones en la documentación proporcionada.

91 91 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Instalación del Cliente Web SDMX-RI (JAVA y Tomcat 7.0.25)

92 92 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Create a folder called “nsi-client” in the Tomcat working path. Copy the content of the folder “config” of the NSI client package inside the folder created. Edit the “nsi-client.properties” file. Enter the values for the endPoint URL and layout properties file. Rename the “nsi-client-1.1.0.war” file to “nsi-client.war” inside the “app” folder of the NSI client package. Copy the file to “webapps” folder inside Tomcat web server Start Tomcat web server. The “nsi-client.war” application will be deployed by the web server.

93 93 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Accessible: http://localhost/nsi-client/start.htmhttp://localhost/nsi-client/start.htm

94 94 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Instalación del Cliente Web SDMX-RI (.NET y IIS7)

95 95 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Create a folder in inetpub/wwwroot folder (i.e. “nsiclient”)Grant for the user “IIS_IUSRS” “Read” and “Write” rights Go to “app” folder of the NSI client package. Edit the file “Web.config”. Enter values for the element NSIClientSettings: The endPoint for the NSI Web Service and the URL where to find the SDMXMessage.xsd schema. Copy the content of the “app” folder of the NSI client package (with the Web.config modified) to the “nsiclient” folder created in step 1 (inside the inetpub/wwwroot folder) Open the IIS Manager. The folder “nsiclient” created in step 1 appears in the “Default Web Site” folder Click in the “nsiclient” folder with right button and press “Convert to Application”. The alias and the physical path for the application are already filled. Press “OK”

96 96 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Accessible: http://localhost/nsiclient/Main.aspxhttp://localhost/nsiclient/Main.aspx

97 97 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Infraestructura de Referencia SDMX Caso práctico - Instalaciones

98 98 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Paquetes instalados durante misiones de MS Servicio Web SDMX.NET 2.2.1 (Malta 2011) 2.3.0 (Finlandia 2011) 2.4.0 JAVA 2.3.0 (Hungría 2011) 3.0.0 (Austria 2012)

99 99 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Paquetes instalados durante misiones de MS Cliente Web SDMX.NET 1.2.0 (Malta 2011) 1.3.0 (Finlandia 2011) JAVA 1.1.0 (Hungría 2011) 1.3.0 (Austria 2012) TestClienteAuth Nunca se instaló

100 100 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Paquetes instalados durante misiones de MS Asistente de Mapeo Aplicación de Escritorio (Windows OS) 2.7.0 (Hungría 2011) 2.7.1 (Malta 2011) 2.7.2 (Finlandia 2011) 2.8.0 (Austria 2012) Cliente Test Aplicación de Escritorio (Windows OS) 2.2.0 (Hungría 2011) 2.3.0 (Malta 2011) 2.4.0 (Finlandia 2011, Austria 2012)

101 101 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Acceso TCP/IP (interno) Descripción del entorno NSI; Hungría 2011 Máquina Virtual con CentOS 6.0 x64 ESX con WMware vCenter Server 4.1.0 CortafuegosInternet Máquina de Sobremesa con Windows XP SP3 x32 Acceso TCP/IP (externo)

102 102 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Acceso TCP/IP (interno) Descripción del entorno NSI; Austria 2012 Windows Server 2008 R2 Enterprise x64 SuSe Linux Enterprise Server (SLES) Versión 11 Service Pack 1 x64 CortafuegosInternet Ordenador de sobremesa 1: Windows 7 Enterprise Service Pack 1, x64 Acceso TCP/IP (externo) Ordenador de sobremesa 2: Windows Vista Enterprise Service Pack 2, x32 Acceso TCP/IP access (interno) DMZ

103 103 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Problemas genéricos Nuevos entornos (ej: CentOS Linux, SuSe Linux) que no se hayan testado antes de la intervención; La documentación no especifica las instrucciones para instalar SDMX-RI en un entorno de Linux. Es necesaria la instalación y configuración de drivers para algunas herramientas (ej: Asistente de Mapeo más drivers para conectar a una base de datos Oracle – ODP.net); La documentación no especifica unas instrucciones completas, además los drivers no vienen con la herramienta.

104 104 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Peticiones de mejoras durante misiones Requisitos para nuevos tipos de bases de datos para usarse con SDMX-RI (ej: IBM DB2) Requisitos para nuevos tipos de servidores web para usarse con SDMX-RI (ej: WebSphere Application Server); Requisitos para soportar toda clase de navegadores por la interfaz web de las herramientas SDMX-RI.

105 105 Eurostat Unit A6 – Statistical cooperation SDMX Seminar Análisis de los problemas genéricos 105 PROBLEMASEVERIDADSOLUCIÓN Linux OSMuy alta – la documentación no proporciona instrucciones para instalar SDMX-RI en un entorno de Linux. Se crea una virtualización del entorno para comprobar que no hay ningún problema antes de la intervención. WebSphere Application ServerMuy alta – la documentación no proporciona instrucciones para instalar SDMX-RI en WebSphere Application Server. Se crea una virtualización del entorno para comprobar que no hay ningún problema antes de la intervención. Se usan diferentes IP internas y externas debido a la configuración del cortafuegos en las cercanías de los Estados Miembros. Media– el WSDL de JAVA SDMX-RI debe de cambiarse manualmente antes de desplegar la aplicación con los correctos puerto e IP usados. Si el WSDL está configurado para usarse con el puerto e IP externos, entonces no puede usarse con la red interna. (Sólo para JAVA) Se usan dos WSDL diferentes para el SDMX-RI interno y externo desplegados.