Subida de datos al sistema WOD

Presentación del tema: "Subida de datos al sistema WOD"— Transcripción de la presentación:

1 Subida de datos al sistema WOD

2 Base de datos WOD con formato homogéneo
Flujo de datos “ideal” desde el proveedor a la base de datos Recorded measurements Medidas Centro de ensamblaje de datos Sistema de Observación I Base de datos WOD con formato homogéneo Centro de ensamblaje de datos Sistema de Observación II Recorded measurements Medidas Centro de ensamblaje de datos Sistema de Observación III Recorded measurements Medidas Centro de ensamblaje de datos Sistema de Observación IV Recorded measurements Medidas Todos los datos en el mismo formato desde la toma de datos hasta la base de datos principal de ensamplaje.

3 Base de datos WOD con formato homogéneo
Flujo real de datos desde el proveedor a la base e datos Rutas de llegada diferentes y variadas, múltiples formatos. Algunos datos sin ruta definida. Recorded measurements Medidas Centro de ensamblaje de datos Sistema de Observación I Base de datos WOD con formato homogéneo Recorded measurements Recorded measurements Recorded measurements Medidas BBDD proyecto Recorded measurements Recorded measurements Recorded measurements Medidas BBDD institucional Recorded measurements Centro de ensamblaje regional Recorded measurements Centro de ensamblaje nacional Recorded measurements Medidas

4 Tarea I: Asegurar que los datos se archivan, se respaldan y se poner accesibles al público
TAREA II: Migrar los datos a la base de datos TAREA III: Reportar al proveedor los problemas relacionados con los formatos o los datos

5 TAREA I: Asegurar que los datos se archivan, se respaldan y se ponen accesibles al público
Es importante preservar los datos originales – cada vez que convertirmos los datos entre formatos puede haber errores/interpretaciones erróneas/ falta de información. Preservar los datos es un objetivo a largo plazo: más allá de la duración del proyecto, posiblemente más allá de la existencia de la institución.Si no hay capacidad para preservar el contenido a largo plazo, enviar los datos a un Centro de Datos Oceanográfico Nacional. UN archivo a largo plazo (~permanente) no significa simplemente almacenar los datos– implica acceder, y ello implica migrar desde soportes obsoletoso a nuevas tecnologías [cinta -> disquetes -> discos duros -> ?]

6 TASK I: Asegurar que los datos se archivan, se respaldan y se poner accesibles al público
Obtener un Identificador de un Objeto de Datos (Data Object Identifier-DOI) para preservar los datos

7 TAREA I: Asegurar que los datos se archivan, se respaldan y se poner accesibles al público
Metadatos correspondientes a los datos de XBT del crucero del barco de NOAA Oscar Elton en 2015. Desde esta página, los datos originales están disponible de forma directa. Para alcanzar esta página usamos una búsqueda desde la página del GeoPortal de NCEI Clic en FTP para alcanzar a los archivos de datos

8 TAREA I: Asegurar que los datos se archivan, se respaldan y se poner accesibles al público
Metadatos correspondientes a los datos CTD del crucero realizado en 2011 por el barco de NOAA Oscar Elton. Clic en FTP para alcanzar a los archivos de datos

9 TAREA II: Migrar los datos a la base de datos
/ MK21 EXPORT DATA FILE (EDF) // File Information Raw Data Filename: C:\Program Files\Lockheed Martin\WinMK21\Data\TD_00002.RDF // System Information Units : Metric // Probe Information Probe Type : Deep Blue Terminal Depth : 760 m Depth Equation : Standard Depth Coeff. 1 : 0.0 Depth Coeff. 2 : Depth Coeff. 3 : Depth Coeff. 4 : 0.0 // Launch Information Num Info Fields : 6 Date of Launch : 05/08/2015 Time of Launch : 09:24:57 Sequence Number : 2 Latitude : N Longitude : E Serial Number : // Memo // Hardware MK21 Device : MK21/USB // Information - XBT Salinity : ppt // Post-Processing Operations : No // Data Fields Num Data Fields : 5 Field : Time (sec) Field : Resistance (ohms) Field : Depth (m) Field : Temperature (�C) Field : Sound Velocity (m/s) // Data Formato EDF para XBTs

10 TAREA II: Migrar los datos a la base de datos
* Sea-Bird SBE 9 Data File: * FileName = C:\Data\2011\SE-11-08\CTD Data\CTD001_11-08.hex * Software Version Seasave V 7.20c * Temperature SN = 2779 * Conductivity SN = 2326 * Number of Bytes Per Scan = 41 * Number of Voltage Words = 4 * Number of Scans Averaged by the Deck Unit = 1 * System UpLoad Time = Oct :31:29 * NMEA Latitude = N * NMEA Longitude = W * NMEA UTC (Time) = Oct :31:31 * Store Lat/Lon Data = Append to Every Scan ** Cruise: SE-11-08 ** Ship: Sette ** Station #: ** Date: ** CTD Depth: 100m # nquan = 12 # nvalues = 67744 # units = specified # name 0 = prDM: Pressure, Digiquartz [db] # name 1 = depSM: Depth [salt water, m] # name 2 = t090C: Temperature [ITS-90, deg C] # name 3 = c0mS/cm: Conductivity [mS/cm] # name 4 = sal00: Salinity, Practical [PSU] # name 5 = sbeox0ML/L: Oxygen, SBE 43 [ml/l] # name 6 = flSP: Fluorescence, Seapoint # name 7 = t190C: Temperature, 2 [ITS-90, deg C] # name 8 = c1S/m: Conductivity, 2 [S/m] # name 9 = sal11: Salinity, Practical, 2 [PSU] # name 10 = sbeox1ML/L: Oxygen, SBE 43, 2 [ml/l] # name 11 = flag: e+00 # span 0 = , # span 1 = , # </Sensors> # datcnv_date = Oct :40:09, 7.21c [datcnv_vars = 11] # datcnv_in = C:\Data\2011\SE-11-08\CTD Data\CTD001_11-08.hex C:\Data\2011\SE-11-08\CTD Data\CTD001_11-08.XMLCON # datcnv_skipover = 0 # datcnv_ox_hysteresis_correction = yes # datcnv_ox_tau_correction = yes # file_type = ascii *END* e e+00 e e+00 e e+00 e e+00 e e+00 e e+00 e e+00 Formato CNV de CTD Seabird

11 TAREA II: Migrar los datos a la base de datos
Problema: Muchos formatos diferentes, varias versiones del mismo formato Solución WOD: Una rutina principal para escribir en formato binario WOD con un conjunto de subrutinas que leen cada formato de llegada. Rutina principal: /OCL/conversion/OCLPinput.f Una subrutina para cada formato de entrada (edf, cnv, etc.) Para EDF: xbtedf.f , para CNV: ctd_cnv.f Para compilar: fortOCLP xbtedf, fortOCLP ctd_cnv (/OCL/tools/fortOCLP) Ficheros de información que abarcan tantas variantes de formato como sea posible

12 TAREA II: Migrar los datos a la base de datos
Year,-5,,, TimeJ,-6,,, Latitude,-3,,, Longitude,-4,,, PrDM,25,,,, Pr,25,,,, Dm,-1,,, SvC,-1,,, DepSM,-1,,, C0S/m,-1,,, C1S/m,-1,,, SIO_C0_adj,-1,,, NPS_CO_adj,-1,,, T090,-1,,, T090C,1,103,-1,,1 T190,-1,,, T190C,-1,,, Bat,-1,,, Xmiss,24,,469,11,1 Un fichero instrumentlist.txt para cada fichero edf: identifica el nombre del instrumento, código WOD, ecuación,… Sippican Fast Deep,213,0 Sippican Deep Blue,214,1 cnv nombre de variable var_cnv.txt para fichero cnv WOD código de variable WOD código de escala WOD código de calibración WOD código instrumento Ficheros de información: simples ficheros ASCII que le indican a las rutinas cómo interpretar cada sección de un fichero de datos. WOD código proveedor

13 TAREA II: Migrar los datos a la base de datos
Para crear un nuevo conjunto de datos (vacío) en WOD, añadir una línea en probefile.d con el nuevo nombre del conjunto de datos (11 characters max) PROBE AND PARAMETER INFORMATION 13 Probe Types 43 Measured Parameter Types 9 Calculated Parameter Types PLACE AN 'x' IN THE FIRST COLUMN IN FRONT OF DESIRED PARAMETERS AND PROBES. (EXCEPT FOR PTEMP AND PDENSE: PLEASE CONSULT MANUAL) ALSO PLACE AN 'x' IN FRONT OF EITHER OBSERVED OR STANDARD LEVELS (BUT NOT BOTH) Measured Parameter Information Parameter # Code 1 Let Code 4 Let Code xTemperature t Temp xSalinity s Sal xOxygen o O2 Phosphate p PO4 Probe Information xObserved Levels Standard Levels Type # Code #Parms Parameters OSD ||1-26,33-43 MBT ||1 XBT ||1 CTD ||1-3,11,24-26 SUR ||1-32 APB ||1,2,25,30-32 MRB ||1,2 PFL ||1-3,25 UOR ||1-3,11,24-26,30-32 DRB ||1-3,11,24-26 GLD ||1-3,11,24-26,30-32 OEXBT ||1 xOECTD ||1-3,11,24-26 Añade nombre de sensor (conjunto de datos) y los códigos de las variables ‘x’ delante de las variables medidas por el sensor Cuando se activa en probefile.d , ejecutar makedir.shell para cada sensor Asegurarse de incrementar el # de sensores

14 TAREA II: Migrar los datos a la base de datos
Para realizar la conversión, ejecuta xfile.d: Primera línea: número de ficheros (después 2 ceros) Seguda línea: directorio de ficheros Después, un lista de todos los ficheros a convertir 90 0 0 SE15_11-08_CTD CTD001_11-08c.cnv CTD001_11-08cb.cnv CTD002_11-08c.cnv CTD002_11-08cb.cnv Entonces ejecuta el programa“ctd_cnv” (o “xbt_edf”)

15 TAREA II: Migrar los datos a la base de datos
TOTAL PROFILES: 180 MEASURED PARAMETERS Temperature Salinity Oxygen Chlorophyll Pressure SECOND HEADER PARAMETERS Access# Project Platform depth_prec Cast_Direction 90 T-S_Probe Si el proceso de conversión se completa, se han leído todos los ficheros EL conjunto de datos es ahora parte del sistema WOD, y está disponible para todas las rutinas Un pequeño fichero de resultados detalla todos los datos en el nuevo conjunto de datos. Fichero OECTD2011..constat.i

16 TAREA III: Reportar al proveedor los problemas relacionados con los formatos o los datos
Después de la conversión, ejecutar ‘datacon.shell’ Ordena fisicamente la cabecera, los ficheros de variables por nombre Ejecuta los procesos de control de calidad para los niveles observados Ejecuta los procesos de control de calidad para los niveles estándar Genera ficheros de información (número de profundidades, distribución por año, distribución geográfica, etc.) Produce un reporte sobre el control de calidad OECTD2011 OEXBT2015

17 TAREA III: Reportar al proveedor los problemas relacionados con los formatos o los datos
Examinar el fichero de ‘recuento’, chequear por posibles problemas en el control de calidad. Asegurarse de que los problemas no se deben a la conversión de formato Informar al proveedor de cualquier problema de formato, datos dudosos. Ayuda al centro de ensamplaje, ayuda al proveedor Todos los ficheros de información y control de calidad se encuentran en los directorios ‘folder’ y ‘statfiles.dir’