Metadatos y localización de datos

Presentación del tema: "Metadatos y localización de datos"— Transcripción de la presentación:

1 Metadatos y localización de datos

2 Los datos era simplemente datos
En un tiempo lejano… Los datos era simplemente datos Estación receptora HRPT Productos en tiempo real

3 Pero desde entonces … Los metadatos son también datos
Adopción de estándares y protocolos Interoperatividad y Arquitecturas Basadas en Servicios Servicio de catálogo, localización de recursos e intercambio de datos Sistemas de toma de decisiones Satélites e in_situ: Mayor volumen de datos Formatos diferentes Más plataformas y sensores

4 Los metadatos son también datos
OceanObs’09 Planificar acciones, orientar y definir políticas a llevar a cabo en la década siguiente Libro Blanco de la Comunidad: netCDF-CF-OPeNDAP: standards for ocean data interoperability and object lessons for community data standards processes. Convención CF de metadatos (vocabulario controlado & convención para la codificación de datos) Ampliamente adoptada como un estándar primario de metadatos Provee un mecanismo básico de búsqueda de metadatos (ACDD, ISO son más apropiados)

5 Interoperabilidad and SOA
Apoyada por GEOSS, GMES, INSPIRE, IOOS. NOAA IOOS DIF Pruebas de interoperabilidad Analiza los fallos en la interoperabilidad para 4 NOAA sistemas de toma de decisiones: Inundación Costera, Intensificación de Huracanes, Evaluación Integrada de los Ecosistemas y Floraciones Fitoplanctónicas nocivas. Se desarrolló una métrica. Los resultados mostraron un impacto positivo en las predicciones de intensificación. Ayudó a detectar fallos en el mundo real.

6 DWH Mancha de Petróleo de DWH

7 DWH Mancha de Petróleo de DWH

8 Adopción de estándares y protocolos
netCDF (Network Common Data Form) Independiente de la arquitectura de la computadora Autodescriptivo Es un estándar de facto CF-netCDF: estándar OGC para codificación binaria BUFR/GRIB Mantenido por WMO. Principal formato de intercambio de datos en el Sistema Mundial de Telecomunicaciones. Tablas asociadas (TDCF) Ed. 4 Migración a TDCF desde los códigos alfanuméricos tradicionales.

9 Nueva plantilla XBT WMO Manual on Codes
ftp://ftp.wmo.int/Documents/MediaPublic/Publications/CodesManual_WMO_No_306/WMO306_Vol_I.2_2012_en.pdf Nuevas Secuencias Comunes: Plantilla XBT Perfil de temperatura del agua Temperatura superficial del agua Nuevas tablas de códigos ( ) y entradas en otras tablas de códigos

10 Software Java Library Diagrama de Clases

11 Referencias sobre BUFR
Manual on Codes (WMO) Introduction to BUFR (Simon Elliot, EUMETSAT) Overview of BUFR Met. Obs. In BUFR (Stacie Bender, NCEP) ECMWF BUFR Software (Milan Dragosavac, ECMWF) Suitability of BUFR for archival (John Caron, UNIDATA) Writing BUFR Templates (Yves Pelletier, MSC)

12 Convención CF Localiza los datos en el espacio y tiempo
Describe el contenido de cada variable Los metadatos son legibles y los programas los pueden fácilmente identificar. Minimiza la redundancia Disminuye el número de errores Provee medatata básico de localización en los atributos globales: title, institution, source, history, comment,… Se basa en una tabla de nombres estándar

13 Convención CF

14 Convención CF Servido por los sistemas de distribución
Es una convención de metadatos no específica de netCDF. Podemos usarla también en otros formatos como XML.

15 Localización de datos ACDD: Attribute Convention for Data Discovery
Creada para facilitar la búsqueda de conjuntos de datos por parte de bibliotecas digitales y servicios de catalogación Identifica y define una lista de atributos (casi todos globales) que son usados por los sistemas de localización. Tipos: Identificación, palabras clave y frases, límites temporales y geoespaciales, e información de fuentes y validez. Adopta todos los atributos globales de CF Distingue entre atributos altamente recomendados, recomendados y sugeridos. Se puede mapear a ISO19115

16 ACDD: Ejemplo