Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM1 Original de P.A.J. van Oort Impartida el.

Presentación del tema: "Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM1 Original de P.A.J. van Oort Impartida el."— Transcripción de la presentación:

1 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM1 Original de P.A.J. van Oort Impartida el 10 de septiembre de 2003 Center for Geo Information (Universidad de Wageningen) Traducida al español por M.A. Bernabé y M.A. Manso Calidad de los Datos Espaciales

2 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM2 Introducción: La Importancia de la QDE Definiciones Acerca de la QDE Futuras Investigaciones y Conclusiones Resumen previo Abreviaturas de estas transparencias QDE: Calidad de los Datos Espaciales IQD: Información sobre la Calidad de los Datos Espaciales IDE: Infraestructura(s) de Datos Espaciales (o Geo-Espaciales) Introducción Definiciones Acerca de la QDE Futuras Investigaciones.

3 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM3 Hay más información Es más fácil de acceder a la información Hay más usuarios Hay más aplicaciones Es mucho más fácil combinar datasets y realizar toda clase de manipulaciones SIG con ellos Una larga distancia entre el usuario y el productor Desarrollos en el uso de GeoDatos Introducción Definiciones Acerca de la QDE Futuras Investigaciones.

4 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM4 La posibilidad de uso erróneo ha crecido Los usuarios quieren saber si un conjunto de datos vale para lo que quiere Los usuarios quieren saber los efectos de la QDE: Debido a que quieren hacer un buen trabajo Porque les pueden exigir responsabilidades (litigios) Hay una necesidad de métodos formales para el almacenamiento, tratamiento y visualización de la IQD (Información sobre la Calidad de los Datos Espaciales) Como consecuencia: Introduction Definitions Dealing with SDQ Future Research

5 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM5 Crece el interés en el conocimiento de QDE Los estándares se desarrollan para facilitar el almacenamiento y el intercambio de IQDE: SDTS, ICA, CEN/TC278, ISO/TC211 El software se desarrolla para almacenar los metadatos incluyendo la IQDE. Las herramientas para el manejo y la visualización de QDE están desarrolladas pero apenas implementadas en el SIG. Desarrollos actuales Introduction Definitions Dealing with SDQ Future Research

6 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM6 Ejemplos de importancia de la QDE  Un granjero recibe subsidios proporcionales a la superficie de su tierra. Él dice que su tierra es mayor (  más subsidios!) que lo que dice el gobierno.  La diferencia puede ser debida a: (1) errores del granjero, o (2) errores en los geodatos del gobierno Introduction Definitions Dealing with SDQ Future Research 1000 2000 3000 4000 6000 5000 El polígono 1000 tiene 891,858 m 2 No! Son 908,117 m 2

7 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM7 Un país desea bombardear una embajada utilizando un misil con GPS, que vuela automáticamente a la embajada con información procedente de un plano de la ciudad.  pero…¿Está todavía ahi la embajada o la han cambiado? (¿está el mapa actualizado?)  ¿Cual es la precisión posicional del mapa? Introduction Definitions Dealing with SDQ Future Research Ejemplos de importancia de la QDE

8 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM8 El ministro de transportes quiere saber cuanto dinero necesita para el mantenimiento de una carretera. La longitud de la carretera en el 1/10.000 parece ser superior a la 1/25.000  Qué mapa debe el ministro utilizar? Introduction Definitions Dealing with SDQ Future Research 1:10,000 1:25,000 Mirando un solo mapa no puede saber nada Comparando ambos mapas no hay duda de que el 1:10.000 es mejor Ejemplos de importancia de la QDE

9 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM9 Usuario: precio accesibilidad Se ajustan estos datos a mi necesidad? Productor: Correspondencia con el ‘suelo nominal’ Encuentra especificaciones Cómo documentar la QDE de una manera comprensible para todos los usuarios? Perspectivas sobre calidad de datos Introduction Definitions Dealing with SDQ Future Research Suelo nominal = una representación simplificada del (complejo) mundo real, de acuerdo con los datos que se han recogido.

10 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM10 1. Linaje5. Exactitud Temporal 2. Consistencia6. Exactitud Posicional 3. Completitud7. Exactitud Temática 4. Exactitud Semántica Definiciones (1) 7 elementos de calidad de datos Linaje: Historia del Dataset. ¿Quién lo ha producido? ¿Quién lo ha modificado? Consistencia: Especificación de las reglas lógicas con las que el conjunto de datos debe ser conforme y hasta qué punto se violan estas especificaciones Completitud: ¿Contiene el Dataset esas carácterísticas que se supone que debería contener? Nota: El que genera el dataset mide la completitud de acuerdo con la especificación nominal. De forma que si la especificación nominal dice que sólo se incluyen los lagos mayores de 1 km2 y todos los lagos mayores que esa cantidad están incluidos, entonces el dataset está completo. Sin embargo, ese dataset no serviría para un usuario que esté interesado en lagos menores. Exactitud semántica: El detalle con el que los objetos espaciales se describen. Exactitud Temporal: La precisión con que se describen las fechas. Exactitud Posicional: Correspondencia de la situación con sus verdaderas posiciones Exactitud Temática: Correspondencia de los valores de los atributos con los valores reales Introduction Definitions (1) Dealing with SDQ Future Research

11 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM11 Consistencia lógica o “Entre el 1% (adición de nuevos datos) y el 5% (datos del contrato de pre-mantenimiento)” Completitud o “Algunas características (features) pueden haber sido eliminadas” o “Detalles de direcciones de calles parcialmente incompletas”  Bien:Ayuntamiento de Vallecas: Nombres de calles incompletos para el 1% de la longitud total de calles, 5% del todas las calles. Exactitud Temporal o “Fotografías aéreas 1965-1992”  Bien:Grupo de Fotos 1: adquisición año 1965 Grupo de Fotos 2: adquisición año 1980 Ejemplos de QDE Pobres Introduction Definitions (1) Dealing with SDQ Future Research

12 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM12 Exactitud Posicional o “Variable”, “+/- 100m”, “100m a 1000m” o “Pueden estar presentes algunas discrepancias cartográficas”  Bien:RMSE = 100 m.  Bien:error posicional < 1 m con una probabilidad del 95% Exactitud de Atributos o “Sin importancia” (para un mapa de vegetación) o “Gran precisión de atributos”  Bien:Pr(actualidad = BOSQUE | clasificado como = PASTO) = 0.01  Bien:Porcentaje correctamente clasificado: 85.3% Introduction Definitions (1) Dealing with SDQ Future Research Ejemplos de QDE Pobres

13 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM13 Exactitud Semántica o “Pasto: es todo área cubierta de pasto” Qué es incorrecto ahí? o ¿Está también contado el pasto de los parques en áreas urbanas? o ¿Qué ocurre con el pasto en los terraples? ¿O están éstos clasificados como terraplenes? o Que ocurre si hay una combinación de pastos y árboles? Los requisitos respecto al detalle en la definición de clases dependen del uso. Introduction Definitions (1) Dealing with SDQ Future Research Ejemplos de QDE Pobres

14 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM14 Ejemplo: Dimensión Temporal “Las cosechas cultivadas en terrenos de granjas cambian anualmente, por lo tanto, la calidad de las especificaciones de este conjunto de datos se aplican sólo en el año en el que fue adquirido el dato” Ejemplo: Dimensión Temática: “la precisión posicional es 10 dm para carreteras, 100 dm límites entre campos” Ejemplo: Dimensión espacial: “La precisión posicional es de 60dm en áreas rurales y de 30 dm en áreas urbanas” 1.Dimensión Temporal 2.Dimension Espacial 3.Dimensión Temática Definiciones (2): QDE en la 3ª dimensión Introduction Definitions (2) Dealing with SDQ Future Research

15 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM15 Exactitud (accuracy): desviación del ‘verdadero’ valor Precision: nivel de detalle Bias: Tendencia, sesgo Definiciones (3): exactitud, precision, sesgo

16 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM16 P. Están estimadas correctamente las posiciones de los puntos? Todos los puntos están sesgados Debido al sesgo, y1 es inexacto: todos los puntos se desvían de su verdadera posición Después de quitar el sesgo, y1es preciso Ejercicio: sesgo P. Está correctamente estimada el área del polígono? R. no R. si P. En qué otra operación SIG hay un problema con el sesgo ?R. recubrimiento

17 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM17 y2 is no sesgado y2 is inexacto y2 is impreciso Ejercicio: imprecision P. Están las posiciones de los puntos estimadas correctamente? P. Está estimada correctamente el área del polígono? R. No, en promedio: si Introduction Definitions (3) Dealing with SDQ Future Research

18 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM18 Modelos de error para cuantificar las implicaciones de QDE. Mejores formas de comunicación del error; Prevenir mal uso de los datos espaciales; Aprender a vivir con los errores. Prospección de Futuro Introduction Definitions Dealing with SDQ Future Research

19 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM19 Modelos de error: Perturbación de los límites de polígonos La posición de cada punto de cada polígono está perturbada, de acuerdo con exactitud posicional de los puntos. 1000 2000 3000 4000 6000 5000 Introduction Definitions Dealing with SDQ Future Research

20 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM20 Modelos de error: Perturbing polygon boundaries De acuerdo con el mapa, el polígono tiene una superficie de 893,703. De acuerdo a otra fuente, el polígono tiene un área de 908,117. Pr. Puede deberse esa diferencia de superficies a errores posicionales en el mapa? Resp. Si, es posible, pero la otra fuente es muy probablemente incorrecta. Introduction Definitions Dealing with SDQ Future Research

21 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM21 Modelos de error: Una matriz de error Las probabilidades de la matriz de error de que las clases se confundan una con otra son : Pr(actual = Forest | classified = Forest) = 20 / 22.1 = 0.90 Pr(actual = Arable | classified = Forest) = 2 / 22.1 = 0.09

22 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM22 Modelos de Error: perturbaciones en las clases de cubiertas del suelo Crear 100 Mapas Reclasificados, basados en probabilidades de la matriz de error Poner en marcha un modelo con cada uno de estos mapas;  Incertidumbre en el modelo de salida debido a la QDE. Introduction Definitions Dealing with SDQ Future Research

23 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM23 Utilidad: uso de modelos de error Calcular las probabilidades basadas en QDE, utilizando modelos de error El riesgo se expresa en Euros, en número de personas afectadas, etc.

24 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM24 Modelado de errores: ¿que hace que sea tan duro? A menudo, el gran número de datasets combinados hace difícil modelar el error de progación. Están correlados los errores entre los datasets?  Esto no se conoce. La calidad se describe para cada dataset por separado. La IQDE no está disponible para todos los datasets o está pobremente descrita. El Software no proporciona herramientas para implementar modelos de errores, por lo que tienes que programarlo tu mismo.  Sabes como?  Piensas que merece la pena este gasto de tiempo? Introduction Definitions Dealing with SDQ Future Research

25 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM25 Alternativas para valorar la utilidad  Preguntar al productor de datos si el dataset sirve para el trabajo específico que vamos a hacer.  Prueba y error  Mirar la calidad que se requiere para aplicaciones similares  Utilizar el mejor dato disponible  Ser honesto en el hecho de que no hay datasets perfectos. Comenzar pensando en qué hacer cuando algo vaya mal.. Introduction Definitions Dealing with SDQ Future Research

26 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM26 Vivir con el error: mantener la credibilidad Ejemplo Un gobierno utiliza un mapa para calcular las compensaciones a los granjeros debido a una inundación.. Se compensa a los granjeros. Debido a que el mapa no es perfecto, algunos granjeros que deberían haber sido compensados no lo han sido. De desarrolla un procedimiento que permita a esos granjeros probar que han sufrido daños y poder cobrar la subvención Todos los granjeros son informados de este procedimiento.. Introduction Definitions Dealing with SDQ Future Research

27 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM27 Comunicación del error: metadatos en clearinghouses (1) Introduction Definitions Dealing with SDQ Future Research En este caso el productor informa de los usos sobre los que puede utilizarse este dataset

28 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM28 Comunicación del error: metadatos en clearinghouses (1) Introduction Definitions Dealing with SDQ Future Research

29 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM29 Software para la gestión de la QDE: Software para detectar errores. Introduction Definitions Dealing with SDQ Future Research

30 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM30 Software para la gestión de la QDE Introduction Definitions Dealing with SDQ Future Research

31 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM31 Software para prevenir mal uso Introduction Definitions Dealing with SDQ Future Research

32 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM32 Investigación Futura (1) Estándares para documentar la calidad adoptada para los datos Continuación del trabajo sobre modelamiento del error y su comunicación Desarrollo de software Para facilitar el modelado del error y el análisis del riesgo Para mejorar la comunicación y los avisos Promocionar el análisis de riesgo para determinar la utilidad Introduction Definitions Dealing with SDQ Future Research

33 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM33 Futuras investigaciones (2) Mantener la integridad de la IQDE en las Infraestructuras de GeoDatos Org. 3 Piensa que la exactitud temática es del 100%, Pero encuentra el 90% Org. 1 Exactitud Temática: 100% isla Org. 2 Chequeo de consistencia: la isla se quita Mantener la integridad de la IQDE es un tema técnico y de gestión. Técnicamente: Cómo se hace? Puede automatizarse? Gestión: Quien es el responsable? Introduction Definitions Dealing with SDQ Future Research

34 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM34 Conclusiones La calidad de los datos es demasiado importante para ignorarla Los efectos de la calidad de los datos pueden ser cuantificados, pero se necesita mejorar la teoría y el software. Los métodos para recolectar datos se mejoran día a día y como resultado, la calidad de los datos mejora. Pero los errores no serán nunca eliminados del todo y tendremos que acostumbranos a vivir con cierta incertidumbre en nuestros datos. Introduction Definitions Dealing with SDQ Future Research

35 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM35 Gracias por su atención Preguntas?

36 Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM36 Algunos websites  Estándares http://www.isotc211.org/scope.htm#19114 http://mcmcweb.er.usgs.gov/sdts/SDTS_standard_nov97/part1toc.html  Modelamiento del Error http://www.clarklabs.org/IdrisiSoftware.asp?cat=2 http://www.esri.com/news/releases/03_2qtr/reviewer.html  Metadatos http://geodesk.girs.wau.nl/geokey/select.htm (in dutch) 1:250,000 scale Arkansas State Soil Geographic (STATSGO): http://geoserver2.wr.usgs.gov/servlet/FGDCServlet/retrieve?pn=1&el=F&db=curr ent&rp=3&mr=1&ac=current&cid=25