Procedimiento de Intercambio Grupo de Trabajo “Modelo de Datos” Madrid, 29 de Octubre de 2009.

Presentación del tema: "Procedimiento de Intercambio Grupo de Trabajo “Modelo de Datos” Madrid, 29 de Octubre de 2009."— Transcripción de la presentación:

1 Procedimiento de Intercambio Grupo de Trabajo “Modelo de Datos” Madrid, 29 de Octubre de 2009

2 Proceso de validación de datos Fases del proceso de validación Implementación en el Portal de intercambio

3 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 Índice 1. Introducción 2. Fases del proceso de validación 3. Implementación en el Portal de intercambio 4. Resumen del Diagrama de proceso

4 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 1. Introducción Bases de datos de intercambio Documentación Portal de intercambio

5 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 2. Fases del proceso de validación 1.Validación del fichero. Se comprueba si el fichero reportado por el Organismo de cuenca es correcto: a)Información alfanumérica (módulos): Se comprueba si es correcto y si el fichero tiene la nomenclatura correcta. Se comprueba si la versión de la base de datos del módulo es Microsoft Access 2003 b)Información geográfica (coberturas): Como el fichero se envía comprimido (WinZip o WinRar), se comprueba si es correcto, se descomprime y se analiza el contenido. También se comprueba si el fichero tiene la nomenclatura correcta. Se comprueba si en el interior del fichero comprimido se encuentran los ficheros: SHP, SHX, PRJ, DBF y XML Validación de consistencia. Dependiendo del tipo de fichero, se establecen dos validaciones: c)Validación automática. Validación on-line de “consistencia” para los ficheros mdb de base de datos con las siguientes características: Validación técnica: Comprobación de que el fichero mdb es correcto, es decir, según la plantilla establecida para cada módulo (módulos, tablas, campos y relaciones) Validación lógica: Comprobación que las tablas de obligado cumplimiento han sido rellenadas, así como los campos obligatorios. d)Validación manual. La validación de “consistencia” de los ficheros que contienen información geográfica se realizará de forma manual. Esta validación tendrá al menos las siguientes características: Reglas de validación de información geográfica (guía de procedimiento) Comparación de datos geográficos con alfanuméricos (integridad de la información) Comprobación del fichero de metadatos (según perfil WISE)

6 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 2. Fases del proceso de validación 3.Validación del conjunto de ficheros. Comprobación de la integridad de la información en el conjunto de ficheros: –Información alfanumérica: Se verifica que existe coherencia en las tablas y campos que relacionan los módulos –Información geográfica: Permite comprobar si los límites entre los diferentes elementos son correctos (por ejemplo masas que no se salgan de su Demarcación, etc.) 4.Validación global. Los ficheros pasan un proceso de validación global manual para detectar: –Falta de datos o información errónea –La completitud del envío antes de pasar al proceso de reporting –En esta validación se cuenta con la colaboración de otras subdirecciones dentro del MARM según el cuadro de responsabilidades. 5.Carga de la información en la base de datos central. Si el conjunto de los ficheros para una Demarcación es catalogado como “correcto”, se podrá incorporar a la base de datos general y con ello, al proceso final de generación de la información de reporting para la UE (XML).

7 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 3. Implementación en el Portal de intercambio En el portal de intercambio se han implementado las fases del proceso de validación: –Validación del fichero: el primer paso es comprobar que el fichero subido al portal es correcto. Esta validación comprende dos fases: Carga: en la carga se comprueba si el fichero se subió correctamente al portal y no hubo ningún problema a la hora de incorporarlo al repositorio de ficheros. Lectura: una vez el fichero en el repositorio, se realiza su primera validación y el portal nos informa con dos estados: –Si el fichero es correcto, el portal informará que la lectura del fichero se realizó correctamente a través de:  FICHERO CORRECTO. –Y en caso contrario:  FICHERO ERRÓNEO. En esta situación se informará del problema detectado.

8 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 3. Implementación en el Portal de intercambio –Validación de consistencia: Los ficheros que se hayan cargado en el portal y su estado de carga y lectura sea CORRECTO, podrá ser validados. Tanto para la validación on-line como para la validación manual se utilizará la opción dentro de las “Acciones” sobre los ficheros Validación on-line (bases de datos): –Pulsamos en el botón para comenzar el proceso de validación on-line: –Una vez terminado podemos conocer el resultado de la validación observando el estado correspondiente. Los posibles estados son los siguientes: »  VALIDACIÓN CORRECTA. El fichero ha sido validado correctamente. »  VALIDACIÓN PARCIAL. El fichero ha sido validado parcialmente, es decir, aunque los datos que contiene son correctos, la información no está completa. »  VALIDACIÓN ERRÓNEA. El fichero es erróneo, es decir, su formato no es correcto y/o los datos que contiene tampoco lo son. Además, puede que la información no esté completa.

9 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 3. Implementación en el Portal de intercambio –Validación de consistencia: Validación manual (coberturas geográficas): –Al pulsar en el botón para comenzar la validación, el estado pasa automáticamente a “Pendiente” (PDTE). Los usuarios supervisores serán los encargados de llevar a cabo esta validación de forma manual. El sistema envía un correo electrónico de forma automática a la persona encargada de realizar dicha validación cuando pulsa el botón. Este técnico, una vez realizado el proceso de validación manual, actualiza el estado de la validación del fichero en el portal y emite el correspondiente informe con el resultado. Una vez generado el informe, se envía por correo electrónico al responsable que inició el proceso de validación del fichero en el portal:

10 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 3. Implementación en el Portal de intercambio –Validación del conjunto de ficheros: Al igual que en el caso de las validaciones de consistencia, el análisis de la validación del conjunto de ficheros se realizará automáticamente para las bases de datos y manualmente para la información geográfica (labor de los supervisores). Por ejemplo, si la validación del conjunto de ficheros no es correcta aparece el siguiente estado: Pulsando el botón “Ver errores” se despliega una pantalla donde se detallan las incoherencias encontradas:

11 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 3. Implementación en el Portal de intercambio –Validación global: Los ficheros pasan un proceso final de validación global manual para detectar la falta de datos y analizar la completitud del envío antes de pasar al proceso de reporting. –Carga de la información en la base de datos central y proceso interno de reporting: Una vez realizada la validación global de toda la información subida al portal, el administrador del sistema tendrá la capacidad de lanzar un proceso interno de transformación de los datos recibidos a nivel español a los datos a nivel europeo. Las acciones a realizar serán las siguientes: Proceso de carga. Una vez los datos validados, se realizará una migración de la información de la base de datos a nivel español a cada una de las bases de datos de intercambio UE (existe una por Demarcación Hidrográfica). Proceso de generación de la información. Una vez cargada la información en cada base de datos de intercambio a nivel europeo, sólo habría que realizar las siguientes tareas: –Validación de la información con la herramienta UE disponible. Si las validaciones a nivel español han sido satisfactorias, esta validación deberá convertirse en un mero trámite. –Generación de los XML de intercambio UE a través de la aplicación destinada a tal efecto. –Subida de toda esta información a ReportNET (EIONET): »XMLs generados. »Coberturas GIS.

12 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 4. Resumen del Diagrama de proceso Organismo de cuenca Sistema información local Generar ficheros Access - Coberturas Subir ficheros a la Web Intercambio SIA MARM Sistema información del Agua SIA - Portal de Intercambio Comprobación Carga fichero Comprobación Lectura fichero Fichero en Repositorio SIA Intervención manual Automáticamente Automáticamente si formato OK Generar ficheros Access - Coberturas Subir ficheros a la Web Intercambio SIA Comprobación Carga fichero Comprobación Lectura fichero Intervención manual Automáticamente Validación Automática ó Manual de Consistencia Al validar envío “Acción” Inserción en BBDD temporal Si Validación del conjunto de ficheros OK Validación Global Manual Validación final MARM SIA – Herramienta WISE Subida WISE Organismo 1Organismo 2 Versionado fichero Versionado fichero si formato OK Proceso Interno Fichero en Repositorio SIA si formato OK Al validar envío “Acción” Validación Automática ó Manual de Consistencia Integración BBDD EU Generación XML Carga BDD Central

13 Cuadro de responsabilidades

14 Reunión de los Grupos de Trabajo del S. I. A. 17 de Junio de 2.009 Cuadro de responsabilidades Definición de los responsables de cada organismo de cara a los procesos finales de validación. Perfiles de usuario para el portal de intercambio: –Un responsable por Organismo (DDHH – MARM) –Varios usuarios de consulta (DDHH – MARM)

15 Gracias por su atención Ruegos y preguntas