Avances en estrategias de interoperabilidad Ministerio de Medio Ambiente, Medio Rural y Marino 17 de junio de 2009.

Presentación del tema: "Avances en estrategias de interoperabilidad Ministerio de Medio Ambiente, Medio Rural y Marino 17 de junio de 2009."— Transcripción de la presentación:

1 Avances en estrategias de interoperabilidad Ministerio de Medio Ambiente, Medio Rural y Marino 17 de junio de 2009

2 Agenda 9’20h – 10:00hRecepción de los asistentes 10:00h – 10:15hIntroducción 10:15h – 11:30hIntercambio Artículo 13 DMA / IPH –Proceso de intercambio –Contenido de intercambio –Formato Access de intercambio –Presentación funcional de la Web de intercambio 11:30h – 12:00hPresentación de las propuestas de codificación y metadatos 12:00h - 12:15hPausa – café. 12:15h - 12:45h Avances en estrategias de interoperabilidad –Requisitos de interoperabilidad de la Agencia Europea de Medio Ambiente –Estado del proyecto WISE DS y del piloto asociado. –Reflexiones tecnológicas alternativas hacia la interoperabilidad del MARM –Propuesta de hoja de ruta hacia los sistemas de información del agua interoperables en España 12:45h - 13:15hPresentación del SIA 3.3: –Nuevo Visor –Mejoras en el Libro Digital del Agua –Página de descargas –Integración WFS –Nuevo sistema de indicadores del agua –Link de acceso al Sistema SIASIA 13:15h- 14:00hRuegos y Preguntas.

3 Requisitos de interoperabilidad de la Agencia Europea de Medio Ambiente

4 La interoperabilidad según la norma ISO [informe técnico 15449 [1] del CEN] “es la capacidad a comunicar, para ejecutar programas, o para transferir los datos entre varias unidades funcionales de una forma que permite al usuario hacerlo teniendo poco o ningún conocimiento de las características únicas de esas unidades.” La interoperabilidad puede construirse en 4 niveles: –La interoperabilidad de la red y de protocolo que permite la comunicación entre componentes –Las especificaciones estándares de interfases que permite a los clientes la ejecución de procedimientos en sistemas remotos –La interoperabilidad en la transferencia de datos que permite acceder a la información, intercambiar ficheros o bases de datos geográficas así como otros servicios independientemente de formato propietarios. –La interoperabilidad semántica que ofrece a las aplicaciones la capacidad de interpretar los datos de manera consistente para un marco de representación o procesamiento común.

5 Requisitos de interoperabilidad de la Agencia Europea de Medio Ambiente Interoperabilidad de protocolos y redes Comunicaciones Especificación estándar de interfases Ejecución de procedimientos remotos Intercambio de datos interoperable Intercambio de información independiente del formato Interoperabilidad semántica Interpretación común de la información Los sistemas pueden hablar entre sí Los sistemas pueden conversar Los sistemas pueden intercambiar datos Los sistemas intercambian la información de manera transparente

6 Requisitos de interoperabilidad de la Agencia Europea de Medio Ambiente Estándares Tecnologías INSPIRE Data model WFD Data model OGC / ISO 19100 IEEE W3C Datasets, UML WFS, WMS, etc. TCP/IP, Ethernet, etc. WS, SOAP, XML, etc. En el espacio Europeo de la EEA e INSPIRE esto se refleja en

7 Requisitos de interoperabilidad de la Agencia Europea de Medio Ambiente La interoperabilidad con los sistemas de la Agencia (WISE) se basa pues en el cumplimiento de estos estándares y el uso de estas tecnologías: –Red, protocolos e intercambio de datos: Uso de las especificaciones y estándares del OPEN GIS Specifications (del OGC) –Servicios de visualización: WFS / WMS –Servicios de descubrimiento –Servicios de descarga –--- Uso de los estándares definidos en la norma ISO 19100 para la creación de información geográfica y sus metadatos. Se ha creado una adaptación de dicha norma para el sistema WISE –Interoperabilidad semántica Definición de un modelo de datos del agua pan-Europeo desde el grupo de trabajo D de la “Common Implementation Strategy” de la Directiva Marco del Agua. Documento: “Guidance on Implementing the Geographical Information System (GIS) Elements of the EU Water policy” –Codificación –Simbología –Estructuras –Etc. Esquemas XML de reporte asociados a los artículos de la DMA Modelo de datos de INSPIRE (consta con un apartado relativo al agua) Otros grupos de trabajo: Directiva de Nitratos, directiva de aguas residuales urbanas, SOER, etc.

8 Requisitos de interoperabilidad de la Agencia Europea de Medio Ambiente

9

10 Piloto WISE DS

11 Contenidos –Qué es WISE –Qué es WISE DS –Diferencias entre WISE y WISE DS –Piloto WISE DS –Participación del SIA –Conclusiones del piloto –Próximos pasos

12 Piloto WISE DS Qué es WISE? –Acrónimo de: Water Information System for Europe –"Your Gateway to water“: Base de datos Europea que contiene toda la información relevante sobre el agua. Sistema de referencia para expertos y ciudadanos. –Desarrollado bajo el principio de que la información ambiental debe ser recogida sólo en una ocasión y reutilizada tantas veces como sea necesario. –Inicialmente era el sistema del reporting de la Directiva Marco del Agua. Progresivamente el resto de directivas sobre el agua han ido incorporándose (EIONET, UWWTD, SOEr, INSPIRE). –Comprende los datos recibidos de los diferentes Estados Miembros de la UE por las diferentes líneas de reporte de información asociadas a directivas. –El sistema es responsabilidad de la Agencia Europea del Medio Ambiente. Varias instituciones participan en su definición: DG Environment: estrategia, legislación, obligaciones de reporte asociadas a directivas EEA: es el organismo responsable del sistema y el que lo aloja y desarrolla. JRC: responsable de la definición y desarrollo de herramientas de homogeneización de la información y de ciertos ‘datasets’ de referencia a nivel Europeo (por ejemplo, modelo CCM2). Eurostat: recoge datos estadísticos sobre el agua que se integran en el sistema y es el organismo que promueve la compatibilidad del WISE con la directiva INSPIRE. –SEIS WISE forma parte de una visión más amplia desarrollada en el sistema SEIS de un sistema de información medioambiental interoperable para Europa.

13 Piloto WISE DS Flujo de datos en WISE

14 Piloto WISE DS WISE Distributed System (WISE DS) –WISE 2.0 –Evolución del sistema WISE actual, basándose en los estándares definidos por INSPIRE, y con el objeto de implantar una infraestructura interoperable para la información sobre el agua en Europa. Es un sistema distribuido: compuesto por múltiples componentes que son capaces de interoperar a través de una arquitectura orientada a servicios (SOA) La información se mantiene únicamente en el lugar en el que se produce (en los países) y se transfiere sólo cuando se necesita. Los diversos sistemas están conectados entre sí y pueden utilizar los datos y las capacidades de los otros sistemas de manera automatizada –Componentes de WISE DS Un número indeterminado de sistemas locales (de los Estados Miembros) Un geoportal que sirve para federar todas sus capacidades y datos (metadatos) en un catálogo único e indexado.

15 Piloto WISE DS Diferencias entre la arquitectura de WISE y WISE DS –Arquitectura WISE tradicional: la información se replica en el sistema central –Arquitectura WISE DS procesa la información directamente desde el origen

16 Piloto WISE DS Actualmente, el intercambio de datos con WISE se basa en la transferencia de archivos pautados en base a las obligaciones de reporte de las diferentes directivas (esquemas XML) –La información se replica en el sistema central –Los modelos de datos nos son compatibles entre los diferentes países: se exportan los datos necesarios cuando es necesario –No existe integración en tiempo real: los datos se reportan una o dos veces al año –Se trata de un proceso laborioso, poco automatizado y que genera muchos errores aunque es fácil de implementar a nivel local. En el futuro, con WISE DS, los sistemas estarán directamente integrados y podrán intercambiar datos entre sí en cualquier momento como si se tratase de una única base de datos regional (interoperabilidad semántica) –No hará falta replicar la información en un repositorio central –La información se obtendrá del lugar en el que se produce cuando sea necesario –El sistema será compatible con INSPIRE –Sin embargo, los requisitos para los sistema locales son mucho más complejos de implementar

17 WISE actual Piloto WISE DS WISE DS WISE

18 Piloto WISE DS Para evaluar la viabilidad de la arquitectura WISE DS, la Agencia tomó la iniciativa de generar un proyecto piloto para probar algunas de las tecnologías y estándares escogidos y ser capaces de ofrecer una ‘hoja de ruta’ más realista de su implantación. El proyecto piloto se contrató a una empresa externa (GEOSOLUTIONS de Bélgica) y ha tenido un plazo de 6 meses (muy limitado) Los objetivos del piloto fueron –Evaluar los flujos de datos –Evaluar el rendimiento –Evaluar los requisitos de INPIRE en WISE Evaluar el proceso de validación (QA / QC) de la información en la nueva arquitectura –Evaluar los requisitos de metadatos –Evaluar las comunicaciones con los Estados Miembros –Evaluar las necesidades de personal de soporte para mantener un sistema de este tipo.

19 Piloto WISE DS Arquitectura lógica del piloto: FTP + WFS

20 Piloto WISE DS Tecnologías utilizadas en el piloto –Microsoft BizTalk: modelado de negocio y mensajería XML (se utiliza en Reportnet / WISE 1.0) –Microsoft SQL server –C#.NET: servicios Web –ARCGIS server + desktop technology (9.3) –Postgresql/postgis –Apache Tomcat + deegree WFS –FTP Tecnologías para la gestión de metadatos –SQL Server 2005 –Tablas LUT tables: lookup values de los xsd –Tablas en la BBDD: metadata information about contacts, reported files, file status, errors,…

21 Piloto WISE DS Componentes Proceso de los datos: –Recogida de datos –Escritura de metadatos –Validación de los datos: Validación según el esquema XML Validación espacial (bounding box) Validación de conformidad de los contenidos. –Aprobación o rechazo del fichero –Almacenajes de la información alfanumérica y geográfica en la BBDD –Reporte de la información recibida

22 Piloto WISE DS

23

24 Resultados piloto FTP –Se consiguió disponer de un prototipo operativo –De los ficheros recibidos de los estados miembros: Sólo 34 de los 131 recibidos pasaron la validación QA / QC a pesar de haber sido validados por Repornet (WISE 1.0) –29 ficheros fallaron la validación espacial –18 fallaron la de contenido –55 fallaron la del esquema Debido a este inconveniente sólo se tranfirieron ficheso puntualmente desde los ftp y no en continuo como estaba previsto Los errores de validación están relacionados con el tratamiento de XML de la plataforma Microsoft más que con los ficheros en sí.

25 Piloto WISE DS Resultados piloto WFS –Se consiguió disponer de un prototipo operativo a pequeña escala. –Se vio que si la definición del servicio en origen estaba de acuerdo a las especificaciones XML de WISE, siempre se conseguía validar la información –Se detectaron problemas con la generación de ficheros GML de intercambio debido a su volumen –El mecanismo de procesado de las colas de mensajes se vio como un potencial punto débil de la arquitectura (asociado al volumen de los ficheros GML) –El escenario WFS no fue testeado con ningún Estado Miembro: Los errores que se detectaron eran demasiado complejos para ser solucionados en el marco temporal del piloto No se trata de una solución fácil de implementar a nivel de Estados Requiere la instalación de: –BBDD PostGIS con un esquema determinado –Un servidor Apache Tomcat –Un servidor Deegree WFS

26 Reflexiones tecnológicas alternativas hacia la interoperabilidad

27 Hasta ahora, hemos analizado la interoperabilidad desde el punto de vista de INSPIRE y la Agencia (WISE) Existen en el MARM iniciativas para fomentar la interoperabilidad, no tan ligadas a los nuevos estándares de intercambio de información geográfica, pero que pueden representar una alternativa para ciertas fuentes de datos

28 Reflexiones tecnológicas alternativas hacia la interoperabilidad El modelo de integración tradicional de sistemas para el MARM del pasado se basa en el uso de sistemas comunes. –Este modelo de integración no se ajusta a la realidad actual del modelo de gestión del MARM ni de las CCHH y CCAA: Usuario MARM Réplica del sistema en local Usuario local Sistema Central

29 Reflexiones tecnológicas alternativas hacia la interoperabilidad Los formatos de traspaso estandarizados ofrecen una alternativa abierta y flexible pero implican re-trabajo y dependencia de los sistemas externos Sistema externo Sistema externo Sistema externo Sistema externo Sistema externo Usuario MARM Usuario local XML Sistema Central XML

30 Reflexiones tecnológicas alternativas hacia la interoperabilidad La solución ideal es una integración directa y transparente de los datos de los sistemas locales en los sistemas centralizados (interoperabilidad): Usuario MARM Sistema externo Sistema externo Sistema externo Sistema externo Usuario local Sistema externo Sistema Central

31 Bus de servicios OGC Reflexiones tecnológicas alternativas hacia la interoperabilidad Solución interoperabilidad de INSPIRE: cada sistema publica su información en un formato predeterminado (metadatos, modelo de datos, etc) y sobre una capa de servicios comunes. Usuario MARM Sistema externo Sistema externo Sistema externo Sistema externo Usuario local Sistema externo Sistema Central

32 Reflexiones tecnológicas alternativas hacia la interoperabilidad Existe una alternativa que está siendo evaluada por el MARM basada una nueva generación de herramientas de integración de información o “enterprise information integration” que permiten conectar directamente BBDD sin pasar por una publicación estandarizada de las fuentes Usuario MARM Sistema externo Sistema externo Sistema externo Sistema externo Usuario local Sistema externo Sistema Central Herramienta integración

33 Reflexiones tecnológicas alternativas hacia la interoperabilidad Las herramientas EII permiten crear un modelo de datos virtual que se alimenta de una multiplicidad de modelos de datos locales que pueden estar en diversos formatos (fabricantes de bases de datos, ficheros, sistemas corporativos, etc.). Es una ETL en tiempo real.

34 Reflexiones tecnológicas alternativas hacia la interoperabilidad Del 0 al 10 EIIINSPIRE Ficheros XML BBDD Web Services Flexibilidad 7 Puede adaptarse a casi cualquier sistema 6 Solo soporta herramientas determinadas (de momento) 8 Puede adaptarse a casi cualquier sistema 5 Solo sirve si las BBDD son iguales 4 Solo sirve si los WS son iguales Eficiencia 6 Requiere transformación 8 Datos disponibles ‘tal cual’ 4 Datos disponibles ‘tal cual’ 10 Datos disponibles ‘tal cual’ 6 Requiere transformación Robustez 6 Múltiples puntos de fallo 6 Múltiples puntos de fallo 4 Intervención manual 9 Pocos elementos 7 Múltiples puntos de fallo Facilidad de implementación 7 Configurable 4 Esfuerzo por publicar los datos en un formato 10 No necesita nada para ponerlo en marcha 2 Esfuerzo por disponer los datos en un formato 5 Esfuerzo por publicar los datos en un formato Automatización 10 100% automático 10 100% automático 3 Proceso manual 10 100% automático 7 Puede ser automático El modelo que proponen las nuevas herramientas EII ofrece una alternativa interesante para avanzar la implementación de una arquitectura de datos interoperable (especialmente de información no alfanumérica) con menor esfuerzo por parte de los sistema locales

35 Hoja de ruta para la interoperabilidad de sistemas de información del agua en España

36 Europa –Agencia Europea del Medio Ambiente / DG Env Fase 1: Escenario WISE actual –Intercambio basado en ficheros XML a través de Reportnet –Estandarización de modelos de datos, metadatos y codificación –Incorporación de datos de diversas directivas: »DMA »Nitratos »UWWT »EIONET (SOER)… Fase 2: Escenario WISE DS –Se mantiene la posibilidad de enviar datos vía XML –Se añade un GEOPORTAL de modo que los datos puedan consolidarse a través de servicios OGC WFS. –Previsto para finales del 2010 aunque aún no hay un plan definido Fase 3: Escenario SEIS –Sistema que integra todos los datos medioambientales dentro de una infraestructura interoperable > WISE formará parte de SEIS

37 Hoja de ruta para la interoperabilidad de sistemas de información del agua en España Europa –JRC Fase 1: Escenario actual –Definición de estándares de metadatos y modelos de datos asociados a las listas 1 y 2 en 2009 –Trasposición de la directiva en 2009 Fase 2: Metadatos anejos 1 y 2 –Información definida en base a los estándares de metadatos de la directiva en 2010 para el anejo 1 y 2 (lista 1 y lista 2) Fase 3: Datos anejo 1 –Los estados deben asegurar que la información requerida en la lista 1 está disponible en 2011 a través de una infraestructura interoperable INSPIRE Fase 4: Metadatos anejo 3 –Información definida en base a los estándares de metadatos de la directiva en 2013 para el anejo 3 (lista 3) Fase 5: Datos anejo 2 y 3 –Los estados deben asegurar que la información requerida en la lista 2 y 3 está disponible en 2011 a través de una infraestructura interoperable INSPIRE

38 Hoja de ruta para la interoperabilidad de sistemas de información del agua en España 2009 -Modelos de datos harmonizados para lista I 2008 –Estructura de los Metadatos 2010 - Metadatos harmonizados 2011 -Modelos de datos harmonizados para lista II y III

39 Hoja de ruta para la interoperabilidad de sistemas de información del agua en España España –DG Agua del MARM Fase 1: Escenario actual SIA –Sistema integrado de información de referencia para el reporting y la publicación de información sobre el agua –Integración directa de BBDD externas –Intercambio de información a través de ficheros con las Demarcaciones –Integración con WISE a partir de REPORTNET vía intercambio de archivos –Definición de un modelo de metadatos y codificación de información del agua común para España. Gestión de metadatos a nivel local. Fase 2: SIA DS –Publicación de los metadatos de información a través de servicios OGC –Publicación de información a través de servicios WFS y WMS –Definición de un modelo de datos del agua común para España –Integración de otros sistemas: »Vía arquitecturas OGC / INSPIRE »Vía herramientas EII –Integración con WISE DS a través de servicios WFS estándar

40 Hoja de ruta Europa INSPIRE Europa EEA / WISE España SIA < 2009201020112012 WISE 1 Piloto WISE DS WISE DS Art 13 XML Art 13 SI Local XML Art 13 Lista 1 Lista 2 IDEMA SEIS WFS SIA “DS” EII Intercambio basado en EII o XML Interoperabilidad Modelo de intercambio Modelo de datos común