Subida de datos al sistema WOD

Base de datos WOD con formato homogéneo Flujo de datos “ideal” desde el proveedor a la base de datos Recorded measurements Medidas Centro de ensamblaje de datos Sistema de Observación I Base de datos WOD con formato homogéneo Centro de ensamblaje de datos Sistema de Observación II Recorded measurements Medidas Centro de ensamblaje de datos Sistema de Observación III Recorded measurements Medidas Centro de ensamblaje de datos Sistema de Observación IV Recorded measurements Medidas Todos los datos en el mismo formato desde la toma de datos hasta la base de datos principal de ensamplaje.

Base de datos WOD con formato homogéneo Flujo real de datos desde el proveedor a la base e datos Rutas de llegada diferentes y variadas, múltiples formatos. Algunos datos sin ruta definida. Recorded measurements Medidas Centro de ensamblaje de datos Sistema de Observación I Base de datos WOD con formato homogéneo Recorded measurements Recorded measurements Recorded measurements Medidas BBDD proyecto Recorded measurements Recorded measurements Recorded measurements Medidas BBDD institucional Recorded measurements Centro de ensamblaje regional Recorded measurements Centro de ensamblaje nacional Recorded measurements Medidas

Tarea I: Asegurar que los datos se archivan, se respaldan y se poner accesibles al público TAREA II: Migrar los datos a la base de datos TAREA III: Reportar al proveedor los problemas relacionados con los formatos o los datos

TAREA I: Asegurar que los datos se archivan, se respaldan y se ponen accesibles al público Es importante preservar los datos originales – cada vez que convertirmos los datos entre formatos puede haber errores/interpretaciones erróneas/ falta de información. Preservar los datos es un objetivo a largo plazo: más allá de la duración del proyecto, posiblemente más allá de la existencia de la institución.Si no hay capacidad para preservar el contenido a largo plazo, enviar los datos a un Centro de Datos Oceanográfico Nacional. UN archivo a largo plazo (~permanente) no significa simplemente almacenar los datos– implica acceder, y ello implica migrar desde soportes obsoletoso a nuevas tecnologías [cinta -> disquetes -> discos duros -> ?] http://www.systweak.com/disk-speedup/ http://entertainment.howstuffworks.com/sound-editing3.htm https://www.extremetech.com/computing/90156-the-history-of-computer-storage-slideshow/7

TASK I: Asegurar que los datos se archivan, se respaldan y se poner accesibles al público Obtener un Identificador de un Objeto de Datos (Data Object Identifier-DOI) para preservar los datos

TAREA I: Asegurar que los datos se archivan, se respaldan y se poner accesibles al público Metadatos correspondientes a los datos de XBT del crucero del barco de NOAA Oscar Elton en 2015. Desde esta página, los datos originales están disponible de forma directa. Para alcanzar esta página usamos una búsqueda desde la página del GeoPortal de NCEI http://data.nodc.noaa.gov/geoportal/catalog/search/search.page Clic en FTP para alcanzar a los archivos de datos http://data.nodc.noaa.gov/cgi-bin/iso?id=gov.noaa.nodc:0155929

TAREA I: Asegurar que los datos se archivan, se respaldan y se poner accesibles al público Metadatos correspondientes a los datos CTD del crucero realizado en 2011 por el barco de NOAA Oscar Elton. Clic en FTP para alcanzar a los archivos de datos http://data.nodc.noaa.gov/cgi-bin/iso?id=gov.noaa.nodc:0155949

TAREA II: Migrar los datos a la base de datos / MK21 EXPORT DATA FILE (EDF) // File Information Raw Data Filename: C:\Program Files\Lockheed Martin\WinMK21\Data\TD_00002.RDF // System Information Units : Metric // Probe Information Probe Type : Deep Blue Terminal Depth : 760 m Depth Equation : Standard Depth Coeff. 1 : 0.0 Depth Coeff. 2 : 6.691 Depth Coeff. 3 : -0.00225 Depth Coeff. 4 : 0.0 // Launch Information Num Info Fields : 6 Date of Launch : 05/08/2015 Time of Launch : 09:24:57 Sequence Number : 2 Latitude : 13 6.96301N Longitude : 144 13.19922E Serial Number : 01232081 // Memo // Hardware MK21 Device : MK21/USB // Information - XBT Salinity : 34.00 ppt // Post-Processing Operations : No // Data Fields Num Data Fields : 5 Field1 : Time (sec) Field2 : Resistance (ohms) Field3 : Depth (m) Field4 : Temperature (�C) Field5 : Sound Velocity (m/s) // Data 0.0 4252.893 0.00 28.73 1541.86 0.1 4235.550 0.67 28.83 1542.08 0.2 4225.353 1.34 28.88 1542.21 0.3 4222.077 2.01 28.90 1542.26 0.4 4224.569 2.68 28.89 1542.24 0.5 4226.467 3.34 28.88 1542.23 0.6 4221.866 4.01 28.90 1542.30 0.7 4224.578 4.68 28.89 1542.28 0.8 4229.538 5.35 28.86 1542.23 0.9 4225.386 6.02 28.88 1542.29 1.0 4227.124 6.69 28.87 1542.28 1.1 4222.686 7.36 28.90 1542.34 1.2 4225.273 8.03 28.88 1542.33 1.3 4233.084 8.69 28.84 1542.24 1.4 4233.298 9.36 28.84 1542.25 Formato EDF para XBTs

TAREA II: Migrar los datos a la base de datos * Sea-Bird SBE 9 Data File: * FileName = C:\Data\2011\SE-11-08\CTD Data\CTD001_11-08.hex * Software Version Seasave V 7.20c * Temperature SN = 2779 * Conductivity SN = 2326 * Number of Bytes Per Scan = 41 * Number of Voltage Words = 4 * Number of Scans Averaged by the Deck Unit = 1 * System UpLoad Time = Oct 21 2011 04:31:29 * NMEA Latitude = 19 56.14 N * NMEA Longitude = 158 29.03 W * NMEA UTC (Time) = Oct 21 2011 04:31:31 * Store Lat/Lon Data = Append to Every Scan ** Cruise: SE-11-08 ** Ship: Sette ** Station #: ** Date: ** CTD Depth: 100m # nquan = 12 # nvalues = 67744 # units = specified # name 0 = prDM: Pressure, Digiquartz [db] # name 1 = depSM: Depth [salt water, m] # name 2 = t090C: Temperature [ITS-90, deg C] # name 3 = c0mS/cm: Conductivity [mS/cm] # name 4 = sal00: Salinity, Practical [PSU] # name 5 = sbeox0ML/L: Oxygen, SBE 43 [ml/l] # name 6 = flSP: Fluorescence, Seapoint # name 7 = t190C: Temperature, 2 [ITS-90, deg C] # name 8 = c1S/m: Conductivity, 2 [S/m] # name 9 = sal11: Salinity, Practical, 2 [PSU] # name 10 = sbeox1ML/L: Oxygen, SBE 43, 2 [ml/l] # name 11 = flag: 0.000e+00 # span 0 = 1.418, 1012.206 # span 1 = 1.409, 1003.582 # </Sensors> # datcnv_date = Oct 22 2011 19:40:09, 7.21c [datcnv_vars = 11] # datcnv_in = C:\Data\2011\SE-11-08\CTD Data\CTD001_11-08.hex C:\Data\2011\SE-11-08\CTD Data\CTD001_11-08.XMLCON # datcnv_skipover = 0 # datcnv_ox_hysteresis_correction = yes # datcnv_ox_tau_correction = yes # file_type = ascii *END* 3.115 3.096 26.4755 54.764282 35.1047 4.29406 1.0989e-01 26.4773 5.477433 35.1106 4.57201 0.000e+00 3.080 3.061 26.4755 54.764125 35.1046 4.29159 1.0989e-01 26.4765 5.477355 35.1106 4.57474 0.000e+00 3.066 3.047 26.4749 54.763812 35.1048 4.29397 9.8901e-02 26.4769 5.477347 35.1102 4.57489 0.000e+00 3.235 3.215 26.4745 54.763342 35.1047 4.29409 9.5238e-02 26.4763 5.477388 35.1109 4.57514 0.000e+00 3.129 3.110 26.4742 54.763185 35.1048 4.29406 9.1575e-02 26.4767 5.477307 35.1101 4.57522 0.000e+00 3.115 3.096 26.4742 54.763185 35.1048 4.29651 9.5238e-02 26.4763 5.476614 35.1054 4.57532 0.000e+00 3.129 3.110 26.4742 54.763499 35.1051 4.29662 9.8901e-02 26.4763 5.476977 35.1080 4.57817 0.000e+00 Formato CNV de CTD Seabird

TAREA II: Migrar los datos a la base de datos Problema: Muchos formatos diferentes, varias versiones del mismo formato Solución WOD: Una rutina principal para escribir en formato binario WOD con un conjunto de subrutinas que leen cada formato de llegada. Rutina principal: /OCL/conversion/OCLPinput.f Una subrutina para cada formato de entrada (edf, cnv, etc.) Para EDF: xbtedf.f , para CNV: ctd_cnv.f Para compilar: fortOCLP xbtedf, fortOCLP ctd_cnv (/OCL/tools/fortOCLP) Ficheros de información que abarcan tantas variantes de formato como sea posible

TAREA II: Migrar los datos a la base de datos Year,-5,,, TimeJ,-6,,, Latitude,-3,,, Longitude,-4,,, PrDM,25,,,, Pr,25,,,, Dm,-1,,, SvC,-1,,, DepSM,-1,,, C0S/m,-1,,, C1S/m,-1,,, SIO_C0_adj,-1,,, NPS_CO_adj,-1,,, T090,-1,,, T090C,1,103,-1,,1 T190,-1,,, T190C,-1,,, Bat,-1,,, Xmiss,24,,469,11,1 Un fichero instrumentlist.txt para cada fichero edf: identifica el nombre del instrumento, código WOD, ecuación,… Sippican Fast Deep,213,0 Sippican Deep Blue,214,1 cnv nombre de variable var_cnv.txt para fichero cnv WOD código de variable WOD código de escala WOD código de calibración WOD código instrumento Ficheros de información: simples ficheros ASCII que le indican a las rutinas cómo interpretar cada sección de un fichero de datos. WOD código proveedor

TAREA II: Migrar los datos a la base de datos Para crear un nuevo conjunto de datos (vacío) en WOD, añadir una línea en probefile.d con el nuevo nombre del conjunto de datos (11 characters max) PROBE AND PARAMETER INFORMATION 13 Probe Types 43 Measured Parameter Types 9 Calculated Parameter Types PLACE AN 'x' IN THE FIRST COLUMN IN FRONT OF DESIRED PARAMETERS AND PROBES. (EXCEPT FOR PTEMP AND PDENSE: PLEASE CONSULT MANUAL) ALSO PLACE AN 'x' IN FRONT OF EITHER OBSERVED OR STANDARD LEVELS (BUT NOT BOTH) Measured Parameter Information Parameter # Code 1 Let Code 4 Let Code xTemperature 1 t Temp xSalinity 2 s Sal xOxygen 3 o O2 Phosphate 4 p PO4 ---------------------------------------------------------------- Probe Information xObserved Levels Standard Levels Type # Code #Parms Parameters OSD 1 37||1-26,33-43 MBT 2 1||1 XBT 3 1||1 CTD 4 7||1-3,11,24-26 SUR 5 32||1-32 APB 6 6||1,2,25,30-32 MRB 7 2||1,2 PFL 8 4||1-3,25 UOR 9 10||1-3,11,24-26,30-32 DRB 10 7||1-3,11,24-26 GLD 11 10||1-3,11,24-26,30-32 OEXBT2015 12 1||1 xOECTD2011 13 7||1-3,11,24-26 Añade nombre de sensor (conjunto de datos) y los códigos de las variables ‘x’ delante de las variables medidas por el sensor Cuando se activa en probefile.d , ejecutar makedir.shell para cada sensor Asegurarse de incrementar el # de sensores

TAREA II: Migrar los datos a la base de datos Para realizar la conversión, ejecuta xfile.d: Primera línea: número de ficheros (después 2 ceros) Seguda línea: directorio de ficheros Después, un lista de todos los ficheros a convertir 90 0 0 SE15_11-08_CTD CTD001_11-08c.cnv CTD001_11-08cb.cnv CTD002_11-08c.cnv CTD002_11-08cb.cnv . . . . . . . Entonces ejecuta el programa“ctd_cnv” (o “xbt_edf”)

TAREA II: Migrar los datos a la base de datos TOTAL PROFILES: 180 MEASURED PARAMETERS Temperature 180 Salinity 180 Oxygen 180 Chlorophyll 180 Pressure 180 SECOND HEADER PARAMETERS Access# 180 Project 180 Platform 180 depth_prec 180 Cast_Direction 90 T-S_Probe 180 Si el proceso de conversión se completa, se han leído todos los ficheros EL conjunto de datos es ahora parte del sistema WOD, y está disponible para todas las rutinas Un pequeño fichero de resultados detalla todos los datos en el nuevo conjunto de datos. Fichero OECTD2011..constat.i

TAREA III: Reportar al proveedor los problemas relacionados con los formatos o los datos Después de la conversión, ejecutar ‘datacon.shell’ Ordena fisicamente la cabecera, los ficheros de variables por nombre Ejecuta los procesos de control de calidad para los niveles observados Ejecuta los procesos de control de calidad para los niveles estándar Genera ficheros de información (número de profundidades, distribución por año, distribución geográfica, etc.) Produce un reporte sobre el control de calidad OECTD2011 OEXBT2015

TAREA III: Reportar al proveedor los problemas relacionados con los formatos o los datos Examinar el fichero de ‘recuento’, chequear por posibles problemas en el control de calidad. Asegurarse de que los problemas no se deben a la conversión de formato Informar al proveedor de cualquier problema de formato, datos dudosos. Ayuda al centro de ensamplaje, ayuda al proveedor Todos los ficheros de información y control de calidad se encuentran en los directorios ‘folder’ y ‘statfiles.dir’