“EXPERIENCIAS EN LA INTEGRACIÓN DE LA BASE DE DATOS GEOESPACIAL DE GEODESIA (BDGG).”

Presentación del tema: "“EXPERIENCIAS EN LA INTEGRACIÓN DE LA BASE DE DATOS GEOESPACIAL DE GEODESIA (BDGG).”"— Transcripción de la presentación:

1

2 “EXPERIENCIAS EN LA INTEGRACIÓN DE LA BASE DE DATOS GEOESPACIAL DE GEODESIA (BDGG).”
L.I. Manuel Benitez Moncivaez INEGI

3 Contenido Introducción
Proceso de reestructuración SIGEF hacia el Modelo Relacional de Información Geodésica. (MRIG) Integración de la información alfanumérica a la base de datos de geodesia. (BDG) Mecanismos de actualización a la base de datos geoespacial de geodesia (BDGG) Replicación de la BDGG a explotación Evolución cronológica de la integración del acervo geodésico en la BDGG Conclusiones

4 Introducción La integración de la información geodésica a una base de datos geoespacial constituyó un reto enorme para la subdirección, gran cantidad de recursos humanos y tiempo fueron destinados para la conformación de un modelo de este tipo. A partir del año 2004 cuando iniciaron los esfuerzos por construir un modelo normalizado para el sistema de mapa digital y hasta el día de hoy, se continúan los esfuerzos de integración de la información contenida en los discos compactos por estado del SIGEF hacia la BDGG.

5 Proceso de reestructuración SIGEF hacia el MRIG
modelo relacional de información geodésica (MRIG) Ventajas Control sobre la redundancia de datos Consistencia de datos. Mantenimiento de estándares El Sistema de Información Geodésica por Entidad Federativa (SIGEF), precursor del SIIG, es un sistema diseñado en la subdirección de geodesia, con la finalidad de organizar y explotar la información contenida en el acervo geodésico. Este sistema permite en el nivel regional consultar las bases de datos y los gráficos correspondientes a los croquis digitalizados, así como desplegar, imprimir y respaldar los datos de uno o varios puntos geodésicos. Este Sistema se implementa a partir de 2000 con la elaboración de discos compactos, uno por cada entidad federativa. En el 2007 se integró al modelo una nueva tabla: FOTOGRAFÍA. Esta tabla resguarda la imagen digital tomada de la marca física en el terreno con la finalidad de facilitar su ubicación en el terreno. En forma adicional se crearon ciertas restricciones o límites en la base de datos según los parámetros obtenidos del Diccionario de Datos Geodésicos, tales como valores máximos y mínimos para las alturas, gravedad, desviaciones estándar de las coordenadas y alturas, acimut, distancias, marcas de referencia, etc Control sobre la redundancia de datos. Dado que cada marca geodésica puede funcionar como vértice, banco o estación de gravedad se almacenaban varias copias de los mismos datos en las marcas con más de una lectura geodésica. Esto hace que se desperdicie espacio de almacenamiento además de provocar la falta de consistencia de datos. En el modelo relacional de información geodésica, la información de las lecturas geodésicas está integrada, por lo que se facilita la validación y no se almacenan varias copias de los mismos datos. Consistencia de datos. Eliminando o controlando las redundancias de datos se reduce en gran medida el riesgo de que haya inconsistencias. Si un dato está almacenado una sola vez, cualquier actualización se debe realizar sólo una vez, y está disponible para todos los usuarios inmediatamente. Si un dato está duplicado y el sistema conoce esta redundancia, el propio sistema se encarga de garantizar que todas las copias se mantienen consistentes. Mantenimiento de estándares. Gracias a la integración es más fácil respetar los estándares establecidos, las restricciones (como altura sobre el nivel del mar máxima y mínima) para integrar una marca son centralizadas y están inmersas en la misma base de datos lo que garantiza que la información contenida es consistente. Tabla Campo Límite o Restricción MARCA Fecha de establecimiento Mayor a 01/01/1952 Latitud Entre y BANCO_NIVEL Altura Ortométrica Entre -20 y 5700 m ESTACION_GRAVIMETRICA Desv. De la Gravedad Entre 0 y 5 mgal

6 Integración de la Información Alfanumérica de la Base de Datos de Geodesia (BDG)

7 Base De Datos de Geodesia (ORACLE)
Proceso general para la Integración de la Información Temática de la Base de Datos de Geodesia (BDG) Esquema General Estaciones gravimétricas Vértices Bancos de nivel Base De Datos de Geodesia (ORACLE) Vértices de posicionamiento horizontal Bancos de nivel Estaciones gravimétricas Mapa digital de México (

8 Criterios definidos por Sub. Geodesia
Integración SIGEF-BDG Integración Procesos de estandarización y carga Criterios definidos por Sub. Geodesia SIGEF Con la finalidad de poner a disposición a los usuarios finales solo la información consistente, se decido replicar la BDGG en un repositorio que contempla solo los registros que cumplen con características mínimas de calidad. Es por ello que existen dos BDGG, una de validación, donde se realizan correcciones y una réplica de la información consistente con fines de explotación por usuarios finales. El proceso de migración se llevó a cabo por medio de una herramienta desarrollada en el lenguaje delphi (pascal) que sustrajo la información de los archivos DBF del SIGEF, homogenizó el formato necesario y finalmente la almacenó en la tabla correspondiente en la BDGG. Para estandarizar la información se utilizaron los catálogos definidos utilizando como base los diccionarios de datos de geodesia, los cuales forman un estándar a el cual se sujeta la información a insertar, la información extraída se homogeniza al catálogo, de esta forma se realiza la primer validación tabular al momento de la carga de los datos. Base de Datos de Geodesia

9 Procesos de estandarización y carga SIGEF - BDG
Integración Se estructuraron los atributos de acuerdo al MRIG Se utilizaron catálogos para diferentes atributos, como son: estado, municipio, proyecto, etc. Y se corrigieron algunos valores que venían erróneos en cuanto a nombre de estado, municipio, etc. Se estandarizó el formato de las fechas de establecimiento y verificación ya que se presentaban de la siguiente forma: 1/1/ /01/ /01/ /16/99. De desarrollo un herramienta de análisis espacial para calcular la clave del municipio respecto al catálogo de municipios MGN Identificación de las estaciones gravimétricas que tocan Bancos de nivel.

10 Procesos de estandarización y carga SIGEF - BDG
Integración Se recibieron imágenes del formato WMF Se crearon aplicaciones para recortar sólo el área del croquis de la imagen de la cédula Los croquis recortados se insertan en la base de datos. Es importante conPara los Croquis: Se creó una aplicación para recortar sólo el área del croquis en el archivo de imagen de la cédula e insertarlas en la base de datos. siderar que solo se tienen imágenes de croquis de los 24 estados validados para el sigef.

11 Procesos de estandarización y carga SIGEF - BDG
Integración Para la extracción de los itinerarios, el 33% se tomaron de archivos DWG, mismos que con la colaboración de la DR Noreste se convirtieron a formato texto para su integración a la Base de Datos Se desarrollaron mecanismos para recuperara los textos, ahora directamente de los archivos WMF (imágenes). El porcentaje de itinerarios recuperados en esta etapa fue de un 22 %. Se desarrolló una metodología basada en la tecnología de reconocimiento de caracteres (OCR) para el resto de los archivos WMF. con lo que se rescató el 8% de los registros Para los Itinerarios:  los En el caso de los itinerarios se cargaron en diferentes etapas, la primera de ellas consistió en la recuperación de los itinerarios a partir de de los archivos fuente originales en formato DWG. En las Direcciones Regionales se rastrearon todos los archivos en formato DGW o DXF existentes y con el apoyo de la Dirección regional Noreste se desarrollaron subrutinas en AutoCad que extrajeron los itinerarios vaciándolos a archivos de texto para posteriormente ser cargados a la BDGG de validación. Aun cuando en la primer etapa se recuperó un porcentaje considerable (33%) del total de itinerarios, se hizo necesario el desarrollo de una aplicación que recuperara el resto de los textos, ahora directamente de los archivos WMF (imágenes) que se encuentran en los CD de el SIGEF de aquellos archivos que no se localizo su original en DWG o DXF. El porcentaje de itinerarios recuperados en esta etapa fue de un 22 % del total aproximadamente. Imagen 4: Sistema de extracción de itinerarios a partir de archivos WMF. Actualmente se encuentra en desarrollo una metodología basada en la tecnología de reconocimiento de caracteres (OCR) para el resto de los archivos WMF que no han podido ser recuperados, ya sea que no se encuentra su original DWG ó que no se tuvo éxito al convertirlos a texto debido a que en la información vectorial en WMF la parte de itinerario fue almacenada en formato Raster (BitMap). estados validados para el sigef.

12 Procesos de estandarización y carga SIGEF - BDG
Integración Procesos de estandarización y carga SIGEF - BDG Se agregó la geometría con lo que se convierte en una base de datos geoespacial, la Base de Datos GeoEspacial de Geodesia (BDGG) Con base en los campos de latitud y longitud se agregó la geometría a la base de datos El modelo relacional fue propuesto originariamente por E.F. Codd en un ya famoso artículo de Gracias a su coherencia y facilidad de uso, el modelo se ha convertido en el más usado para la producción de sistemas manejadores de base de datos (DBMS). En cuanto a la definición de modelo de datos geográfico y base de datos geoespacial: Un modelo de datos geográfico es una abstracción del mundo real que emplea un conjunto de objetos dato, para soportar el despliegue de mapas, consultas, edición y análisis. Los datos geográficos, presentan la información en representaciones subjetivas a través de mapas y símbolos, que representan la geografía como formas geométricas, redes, superficies, ubicaciones e imágenes, a los cuales se les asignan sus respectivos atributos que los definen y describen. En las bases de datos espaciales la información geográfica contiene una referencia territorial explicita como latitud y longitud o una referencia implícita como domicilio o código postal. Las referencias implícitas pueden ser derivadas de referencias explicitas mediante geocodificación. La información geográfica es a su vez el elemento diferenciador de un Sistema de Información Geográfica frente a otro tipo de Sistemas de Información; así, la particular naturaleza de este tipo de información contiene dos vertientes diferentes: por un lado está la vertiente espacial y por otro la vertiente temática de los datos. Mientras otros Sistemas de Información contienen sólo datos alfanuméricos (nombres, direcciones, números de cuenta, etc.), las bases de datos de un SIG integran además la delimitación espacial de cada uno de los objetos geográficos. ARCSDE / ORACLE

13 Validación espacial Integración
Se valida la geometría con base al Marco Geoestadístico y la malla escala 1:50,000 La validación de la ubicación espacial reviste una particular importancia. Aún cuando la exactitud de la posición horizontal solo es garantizada en el caso de los vértices de posicionamiento horizontal, el observar la aparición de marcas geodésicas en el mar o fuera de la carta topográfica o contorno estatal asignado comprometería la apreciación general de la información temática correspondiente. La validación espacial consiste en: Validación de la posición espacial de la marca con respecto a su contorno estatal asignado. Validación con respecto a la carta topográfica asignada. La primer validación es significativa para la decisión de publicación o no de la marca en los sistemas de explotación basados en límites estatales, aquellas marcas que espacialmente están ubicadas fuera de su contorno estatal por diferencias de con respeto al MGN o por errores de digitalización son descartadas en el proceso de exportación de la BDGG de validación a la BDGG de explotación, por lo que no son accesibles estas marcas en esta última. La segunda validación es significativa para el acceso a los sistemas de explotación de esta información por conjunto de carta topográfica. Imagen 5: Validación de la ubicación espacial de las marcas geodésicas. Es importante recalcar que esta información no es eliminada físicamente de la base de datos de validación, esta es etiquetada y referida a la dirección regional correspondiente para su corrección. La validación espacial se realizó con herramientas de la API de ESRI ArcSDE determinando la distancia aproximada de separación contra el Marco Geoestadístico Estatal (actualmente la versión 3.1.1) y la malla de cartas topográficas 1:50,000.

14 Actualización de la BDGG

15 Actualización de la BDGG
SIIG DR Sureste SIIG DR Oriente SIIG DR Norte BDGG SIIG DR Sur SIIG DR Centro SIIG DR Occidente

16 Sistema de Integración de información geodésica versión 1.2
Actualización El último esfuerzo para mantener integrada y actualizada la información, consistió en el desarrollo del Sistema de Integración de Información Geodésica (SIIG) que permite la actualización y mantenimiento centralizado de la información de la BDGG El SIIG es un sistema WEB desarrollado en J2EE (Java 2 Enterprise Edition) contenido en un Apache Tomcat instalado en un servidor de la Dirección General de Geografía, que tiene como objetivo principal integrar la información geodésica para su revisión, validación y publicación en los sistemas del INEGI, en particular, sirve como instrumento de validación para la información geodésica que se publica en el Mapa Digital del sitio de INEGI. En la página inicial del sistema se observa la capacidad de consultar la información por combinación de diferentes variables: Consulta por estado. Consulta por municipio. Consulta por denominación. Consulta por tipo de marca. Consulta por fecha de actualización. La selección de esta información puede traducirse en una presentación detallada de la información de cada marca o puede ser dirigida como impresión a PDF. Imagen 6: SIIG sistema de consultas por combinación de variables En el caso de la presentación detallada, se exhibe la información de la marca seleccionada donde puede ser actualizada o eliminada. Imagen 7: SIIG Detalle de información de marca En la imagen de la ventana de actualización mostrada arriba se observa que, aunque en el ejemplo la información originalmente se defina como vértice de posicionamiento, se pueden incorporar lecturas adicionales de nivelación o gravedad que complementarán la información y permitirán la utilización de la marca con fines diversos, esto es como estación de gravedad o banco de nivel. A partir de la versión 1.2 del SIIG, el sistema permite la inserción de marcas por 2 métodos. Además de la inserción puntual marca por marca, navegando por las páginas del sistema WEB ahora se permite la inserción de bloques de marcas contenidas en archivos de texto formateados y empacados en formato ZIP. Esta ultima característica se espera tenga un impacto significativo en la de inserción de nuevas marcas. En la imagen que se presenta a continuación se presenta la ventana que describe el intento de actualización de marcas geodésicas a partir de archivos en formato zip. Se puede observar un intento fallido de inserción de un vértice de posicionamiento debido a la preexistencia de una marca de la misma denominación. Imagen 8: SIIG Validación de inserción por archivos de texto Es un sistema Web que permite actualizar la información geodésica a nivel nacional, misma que subyace en una base de datos geográfica centralizada.

17 Validación del lado del cliente (en el navegador)
Validación de la información ingresada a la base de datos por medio del SIIG Validación del lado del cliente (en el navegador) Los datos no se remiten al servidor si no cumplen los criterios establecidos en los diccionarios de datos. La validación alfanumérica de la información integrada al SIIG se realiza del lado del cliente (en el navegador) la forma de inserción o modificación no es remitida al servidor para su procesamiento si los datos no cumplen los criterios establecidos en los metadatos de información geodésica como los que se describen en la tabla 1. Esto significa que la totalidad de las restricciones y límites establecidos están codificados en funciones JavaScript en la página que se remite el navegador. En la imagen que se presenta a continuación puede observarse el intento de ingreso de un banco de nivel con una altura ortométrica fuera del rango establecido para marcas dentro del territorio nacional. Imagen 9: SIIG Validación del lado del cliente. La validación espacial se realiza en el servidor, es decir una vez que la forma es remitida, se etiqueta la marca con respecto a los resultados de esta validación. Esto significa que la marca de hecho es ingresada, al contrario de la validación del lado del cliente donde no se permite la inserción. Otras validaciones que realiza el SIIG del lado del servidor son: establecimiento de marcas sin croquis ó itinerario y marcas con las mismas coordenadas o con el mismo nombre, en este último caso la marca que se intente ingresar y tenga el mismo nombre o las mismas coordenadas será rechazada. El SIIG cuenta con una opción para consultar solamente aquellas marcas que cuentan con algún tipo de inconsistencia con el propósito de que se puedan localizar más fácilmente y proceder a su corrección. Validación del lado del servidor. (En la BDGG) 1.-La validación espacial (dentro del contorno estatal y carta). 2.-Completitud de la información (marcas sin croquis ó itinerario) .

18 Replicación BDGG a Explotación

19 BDGG de Validación a BDGG de Explotación.
Una fuente única Replicación de BDGG de Validación a BDGG de Explotación. BDGG de Producción Filtra solo registros sin problemas BD GG de Explotación Periodo de actualización (1 mes) En 1993 la DGG inició la transición para generar la información geográfica en formato digital, para ello ha generado la normatividad con la que debe cumplir dicha información: modelo de datos vectoriales y diccionarios de datos. No obstante que en cada línea de producción se han incluido mecanismos de control para garantizar que los datos cumplen con las especificaciones definidas por la normatividad, a la fecha se han detectado inconsistencias en la información que muestran que la información geográfica no cumple al 100% con la normatividad establecida dentro del mismo Instituto. El SIIG opera en la BDGG de validación, es en esta base de datos donde se actualiza la información por las direcciones regionales, se detectan inconsistencias y se realizan las correcciones pertinentes. Dado que en esta base de datos se permite tener inconsistencias, no resulta conveniente tener esta base de datos a disposición de los usuarios finales, por lo que, los registros que cumplen con las especificaciones de calidad mínimas, de acuerdo a criterios definidos por la subdirección de geodesia, se replican a una base de datos de explotación. Hasta el 2007, la base de datos de validación y explotación tuvieron sistemas de coordenadas diferentes. La base de datos de validación la información se mantenía en un sistema de referencia Cónico, mientras que la base de datos de explotación estaba referido a un sistema de coordenadas geográficas. Esta diferencia en los sistemas de referencia imposibilitó la automatización total de los mecanismos de replica a explotación, ya que era necesario detener el proceso de exportación para realizar el cambio en el sistema de referencia, además se requería la interrupción en los servicios de extracción de información geodésica en la base de datos de explotación en tanto la base de datos se reemplazaba. Actualmente, la base de datos de validación y explotación están referidas a un sistema de coordenadas geográficas, lo que permite la automatización total de los mecanismos de replica. Imagen 10: Exportación de datos a explotación. El primer día de cada mes se lanza el mecanismo de replica, como primer paso se ejecuta un subsistema que genera el atributo espacial de la marca a partir de la información de latitud y longitud y establece las condiciones generales: Identifica si se cuenta con información de itinerario ó croquis, así mismo, se determina si la marca está ubicada espacialmente en la carta topográfica ó el estado asignado. Imagen 11: Ejemplo de corrida de subsistema de asignación de atributo espacial y condiciones generales Una vez establecidas las condiciones generales se procede a filtrar solo los registros que cumplen las condiciones mínimas indispensables para su publicación en los sistemas de explotación. Una vez establecidas las marcas que no serán transferidas a explotación, se lanzan los scripts de exportación a sistemas de archivos de disco, donde queda respaldada la información de validación. Este respaldo resguarda la información de validación para cualquier eventualidad. Posteriormente se lanzan los scripts de actualización de la información a explotación a partir de la información recién transferida en los sistemas de archivos. Aquellos registros que no cumplen con las especificaciones de calidad mínimas son descartados en este proceso y no aparecerán en la base de datos de explotación. La información de marcas con inconsistencias producto del análisis se remite vía correo electrónico a la subdirección de geodesia para que esta a su vez, la envíe a la dirección regional respectiva. Finalmente se lanzan los scripts que reacondicionan las vistas derivadas de las capas de información que se muestran a los usuarios con credenciales de consulta de la información geodésica en explotación. Actualmente se esta trabajando en el lanzamiento automático de los scripts por medio de un demonio del sistema operativo, es decir, un proceso que active automáticamente el primer sábado del mes en curso, la exportación de la base de datos de validación a explotación y de esta manera, conseguir la autonomía total en la actualización de información geodésica desde la recolección hasta su transferencia a los sistemas de explotación. actualización Edición de la carta topográfica escala 1:50 000 Censo Agropecuario Mapa digital de México ( Sistema de integración de información geodésica

20 Conclusiones. Actualmente se ha reducido enormemente el tiempo que transcurre desde la captura de la marca hasta la publicación final en el internet. A lo largo de 4 años se han implementado estrategias para la recuperación y almacenamiento, donde cada vez se afina la solución con el objetivo de brindar a los usuarios información consistente y sobretodo, oportuna. El trabajo que se ha desarrollado para incorporar el acervo geodésico a un sistema de base de datos geoespacial ha sido arduo. A lo largo de 4 años se han implementado estrategias para la recuperación y almacenamiento, donde cada vez se afina la solución con el objetivo de brindar a los usuarios información consistente y sobretodo, oportuna. La cantidad de herramientas desarrolladas para la integración de los datos que dan sentido a la marca geodésica ha sido vasta, se han empleado diversos lenguajes de programación en su desarrollo como Java, Delphi, AutoLisp etc, se han estudiado y empleado tecnologías de almacenamiento de información vectorial y raster, reconocimiento óptico de caracteres y tratamiento de imágenes. Se ha empleado técnicas de análisis espacial para la identificación de la marca en su contorno estatal, municipio y carta topográfica, han intervenido varias áreas de la dirección de geografía, inclusive, se reconoce el apoyo de las direcciones regionales en este esfuerzo, tanto en el desarrollo de herramientas como en sugerencias recibidas respecto a los sistemas empleados en la recolección de información. Este trabajo ha rendido sus frutos. Actualmente se ha reducido enormemente el tiempo que transcurre desde la captura de la marca hasta la publicación final en el internet. El trabajo de incorporación de información geodésica es mínimo, puede ser tan sencillo como incorporar los resultados del postproceso geodésico en un archivo convenientemente formateado y ser ingresados a la base de datos donde se garantiza su publicación instantánea en la intranet, y previa validación automática, la publicación en internet. Estimamos Se ha cumplido el propósito institucional de proporcionar a los usuarios el Servicio Público de Información Geográfica en lo que respecta a información geodésica, de conformidad con la Ley en la materia y atendiendo a las políticas institucionales para proporcionar este servicio, una de cuyas características es la gratuidad. Con esto se estima que se abren puertas para difundir al máximo la información geográfica que requiere el país, en donde la geodesia, como parte importante de las Datos Fundamentales dentro de la IDEMex, constituye un pilar de primer orden por sus múltiples aplicaciones en la planeación del desarrollo económico y social de la nación en términos de las facilidades que ofrece la información en la materia para la instrumentación de proyectos sustantivos y desarrollo de programas vitales en los diversos niveles de gobierno y entre todos los sectores.

21 Gracias¡