Silvia Lusa Unidad de Coordinación GBIF-ES Exportación de datos a GBIF: - Servicio de alojamiento de datos.

Presentación del tema: "Silvia Lusa Unidad de Coordinación GBIF-ES Exportación de datos a GBIF: - Servicio de alojamiento de datos."— Transcripción de la presentación:

1 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Exportación de datos a GBIF: - Servicio de alojamiento de datos de la Unidad de Coordinación Qué es Opciones de uso Características del servicio Procesos: Alta y actualizaciones Dónde y cómo se integra - Formato de Intercambio de datos: Darwin Core - Exportar datos a GBIF desde HERBAR Servicio de alojamiento Darwin Core Taller de iniciación al programa HERBAR ver. 3.5b 8-10 Mayo 2007

2 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Servicio de Alojamiento ¿Qué es? Es un servicio proporcionado por GBIF.es con el objetivo de conectar bases de datos pertenecientes a las distintas instituciones con la red de GBIF Trata de simplificar el proceso de integración en la red evitando a los proveedores de datos diversas dificultades: –Conexión permanente a internet, requerimientos hardware (server dedicado), IP estática, políticas de seguridad, etc –La instalación y administración del software requerido (DiGIR provider), copias de seguridad, etc

3 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Servicio de Alojamiento. Opciones de uso Dos opciones de uso: a./- Instituciones con servidor de base de datos disponible (Oracle, MS-SQLServer, MySQL) Conexión-Configuración del software (DiGIR provider) de la unidad de coordinación, mapeo con una vista/tabla de su servidor b./- Instituciones sin servidor de base de datos (MS-Access). Espacio físico en disco en nuestros servidores para alojar la/s base/s de datos (copias de seguridad semanales incluidas) Conexión y configuración a nuestro DiGIR. Mantenimiento del proceso para actualizaciones Esta segunda opción, es la utilizada por la mayoría de los proveedores de datos de este servicio.

4 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Servicio de Alojamiento. Características del servicio Características de uso: –Para poder utilizar esta infraestructura, los proveedores de datos han de estar registrados –Han de aceptar el Acuerdo de Intercambio de Datos en la Red de GBIFAcuerdo de Intercambio de Datos en la Red de GBIF –La gestión y control de la base de datos, queda en manos del proveedor de datos. En el caso de alojamiento físico de la/s base/s de datos, cada proveedor accederá a un espacio exlusivo y no compartido, sus base de datos tendrán entidad por sí mismas, esto es, sus registros no serán en ningún caso anexados a otros ni serán usados para otro fin que el de responder a las peticiones de las consultas de la red de GBIF. Características técnicas: –Estándar de intercambio utilizado: Darwin Core 2 Cada colección constará de una única tabla formada por los campos definidos según las especificaciones de DarwinCore 2 (versión 1.2)DarwinCore 2 (versión 1.2) –En el caso de Alojamiento físico de la base de datos: Formato: la Unidad de Coordinación puede alojar archivos de bases de datos tanto en MS- Access (.mdb) como en MySQL (.frm/.MYD/.MYI). Espacio en disco: cada Proveedor de datos podrá disponer de un directorio con un espacio máximo de 250 Mb. (El tamaño de una base de datos depende del número de registros, pero a modo de ejemplo, unos 14.000 registros de una tabla de DarwinCore en MS-Access, ocupan aproximadamente 8.5 Mb)

5 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Servicio de Alojamiento. Procesos: Alta y actualizaciones (I) Contacto con la Unidad de Coordinación lusa@gbif.es Información del Servicio + Alta: http://www.gbif.es/Alojamiento/ (aceptación del Acuerdo de Intercambio de Datos en la Red de GBIF)Acuerdo de Intercambio de Datos en la Red de GBIF Solicitud de Metadatos: Datos asociados a la institución y a la/s colección/es Opción de uso a. (Institución con servidor de base de datos) Opción de uso b. (Institución sin servidor de base de datos)

6 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Datos necesarios para el acceso por ftp seguro a nuestros servidores Validación : - Calidad de los datos -Técnica(Conexión y configuración de DiGIR) Integración de los datos alojados en el DiGIR de la Unidad de Coordinación en la red de GBIF Datos del servidor necesarios para su conexión. Servicio de Alojamiento. Procesos: Alta y actualizaciones (II) Creación de tabla/vista DarwinCore2. + Creación y Upload de la tabla/s DarwinCore2 + Actualizaciones

7 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Servicio de Alojamiento. Donde y cómo se integra DiGIR provider software Servicio de Alojamiento Usuario Equipo técnico de GBIF.es SFTP GBIF: http://www.gbif.net http://www.gbif.es/Datos Actualizaciones: -Metadatos -Datos Validación: -Calidad de datos -Técnica

8 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Formato de Intercambio de datos : Darwin Core Para asegurar la interoperabilidad a la hora de consultar diferentes bases de datos de biodiversidad repartidas por todo el mundo es necesario tener una formato común de intercambio Darwin Core2 es un estándar diseñado para facilitar el intercambio de información de datos primarios de biodiversidad a través de internet Características: –Para datos de colecciones y datos observacionales –Representa un mínimo común denominador en la la información a compartir. Trata de recopilar conceptos ampliamente utilizados por diferentes disciplinas que trabajan en biodiversidad –Información en espacio y tiempo: El qué, el cuando y el dónde. (+extensiones 1.4) –Simplicidad: minimizando las barreras entre los proveedores de datos maximizando la disponibilidad para los usuarios –Permite que los datos sean estructurados como documentos XML y que éstos puedan ser transmitidos a través de Internet – Para intercambio, no para modelado de datos Versiones: El documento que define el estándar es un XML Schema (*.xsd) –DwC 1.2 schema Primera versión (usada en GBIF)DwC 1.2 schema –DwC 1.4 schema Borrador bajo discusiónDwC 1.4 schema

9 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Darwin Core 1.2 XML Schema: http://digir.net/schema/conceptual/darwin/2003/1.0/darwin2.xsdhttp://digir.net/schema/conceptual/darwin/2003/1.0/darwin2.xsd Versión no oficial en castellano: http://www.gbif.es/ficheros/DarwinCore2_esp.pdfhttp://www.gbif.es/ficheros/DarwinCore2_esp.pdf Contiene 48 elementos no jerarquizados de los cuales 5 campos son obligatorios Constituye el formato de intercambio utilizado por DiGIR Proveedores que utilizan esta versión a nivel mundial (fuente: http://bigdig.ecoforge.net/wiki/SchemaStatus) http://bigdig.ecoforge.net/wiki/SchemaStatus Estructurados en: –Identificación: ScientificName, Kingdom, Phylum, Class, Order, Family, Genus, Species, Subspecies, ScientificNameAuthor, IdentifiedBy, YearIdentified, MonthIdentified, DayIdentified, TypeStatus. –Preparación y Conservación: InstitutionCode, CollectionCode, CatalogNumber, BasisOfRecord, Sex, PreparationType, IndividualCount. –Recolección y Notas: Collector, CollectorNumber, FieldNumber, Notes,PreviousCatalogNumber –El cuándo: YearCollected, MonthCollected, DayCollected, JulianDay, TimeOfDay. –El dónde: ContinentOcean, Country, StateProvince, County, Locality, Longitude,Latitude, CoordinatePrecision, BoundingBox, MinimumElevation, MaximumElevation, MinimumDepth, MaximumDepth

10 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Darwin Core 1.2 DateLastModified *InstitutionCode *CollectionCode *CatalogNumber * ScientificName *BasisOfRecordKingdomPhylum ClassOrderFamilyGenus SpeciesSubspeciesScientificNameAuthorIdentifiedBy YearIdentifiedMonthIdentifiedDayIdentifiedTypeStatus CollectorNumberFieldNumberCollectorYearCollected MonthCollectedDayCollectedJulianDayTimeOfDay ContinentOceanCountryStateProvinceCounty LocalityLongitudeLatitudeCoordinatePrecision BoundingBoxMinimumElevationMaximumElevationMinimumDepth MaximumDepthSexPreparationTypeIndividualCount PreviousCatalogNumberRelationshipTypeRelatedCatalogItemNotes * Indica los campos obligatorios. DateLastModified : Fecha y hora de la última modificación del registro según la norma ISO 8601. Va a ser el dato utilizado por el motor de indexación del portal internacional. Cad vez que el portal indexa, se comprueba para cada registro si este dato ha sido modificado, en caso afirmativo lo reindexa de nuevo.

11 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Darwin Core 1.4 Estado:Draft. Se encuentra bajo desarrollo para adaptarse a la nueva arquitectura del TDWG Formado por un núcleo central de elementos y una serie de extensiones con información adicional: –de una disciplina en concreto –simplemente información extra Independiente del protocolo DiGIR Incluye GlobalUniqueIdentifier XML Schema: Core: http://rs.tdwg.org/dwc/tdwg_dw_core.xsdhttp://rs.tdwg.org/dwc/tdwg_dw_core.xsd Extensión curatorial: http://rs.tdwg.org/dwc/tdwg_dw_curatorial.xsd http://rs.tdwg.org/dwc/tdwg_dw_curatorial.xsd Extensión geoespacial: http://rs.tdwg.org/dwc/tdwg_dw_geospatial.xsd http://rs.tdwg.org/dwc/tdwg_dw_geospatial.xsd Extensión Paleontológica

12 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Darwin Core 1.4 Core: – Elementos a nivel de registro: GlobalUniqueIdentifierGlobalUniqueIdentifier, DateLastModified, BasisOfRecord, InstitutionCode, CollectionCode, CatalogNumber, InformationWithheld, RemarksDateLastModifiedBasisOfRecordInstitutionCode CollectionCodeCatalogNumberInformationWithheldRemarks – Elementos taxonómicos: ScientificNameScientificName, HigherTaxon, Kingdom, Phylum, Class, Order, Family, Genus, SpecificEpithet, InfraspecificRank, InfraSpecificEpithet, AuthorYearOfScientificName, NomenclaturalCodeHigherTaxonKingdomPhylumClassOrderFamilyGenus SpecificEpithetInfraspecificRankInfraSpecificEpithet AuthorYearOfScientificNameNomenclaturalCode –Elementos de Identificación : IdentificationQualifer –Elementos referentes a la localidad y localización: HigherGeographyHigherGeography, Continent, WaterBody, IslandGroup, Island, Country, StateProvince, County, Locality, MinimumElevationInMeters, MaximumElevationInMeters, MinimumDepthInMeters, MaximumDepthInMetersContinentWaterBodyIslandGroupIslandCountry StateProvinceCountyLocalityMinimumElevationInMeters MaximumElevationInMetersMinimumDepthInMetersMaximumDepthInMeters –Elementos referentes al evento de recolección : CollectingMethodCollectingMethod, ValidDistributionFlag, EarliestDateCollected, LatestDateCollected, DayOfYear, CollectorValidDistributionFlagEarliestDateCollected LatestDateCollectedDayOfYearCollector –Elementos biológicos: SexSex, LifeStage, AttributesLifeStageAttributes –Elementos de referencia: ImageURLImageURL, RelatedInformationRelatedInformation

13 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Darwin Core 1.4 Extension Curacional: –Elementos a nivel de registro: CatalogNumberNumericCatalogNumberNumeric, IdentifiedBy, DateIdentified, CollectorNumber, FieldNumber, FieldNotes, VerbatimCollectingDate, VerbatimElevation, VerbatimDepth, Preparations, TypeStatus, GenBankNumber, OtherCatalogNumbers, RelatedCatalogedItems, Disposition, IndividualCountIdentifiedByDateIdentifiedCollectorNumber FieldNumberFieldNotesVerbatimCollectingDateVerbatimElevation VerbatimDepthPreparationsTypeStatusGenBankNumber OtherCatalogNumbersRelatedCatalogedItemsDispositionIndividualCount Extensión Geoespacial: –Elementos Geoespaciales: DecimalLatitudeDecimalLatitude, DecimalLongitude, GeodeticDatum, CoordinateUncertaintyInMeters, PointRadiusSpatialFit, VerbatimCoordinates, VerbatimLatitude, VerbatimLongitude, VerbatimCoordinateSystem, GeoreferenceProtocol, GeoreferenceSources, GeoreferenceVerificationStatus, GeoreferenceRemarks, FootprintWKT, FootprintSpatialFitDecimalLongitudeGeodeticDatum CoordinateUncertaintyInMetersPointRadiusSpatialFitVerbatimCoordinates VerbatimLatitudeVerbatimLongitudeVerbatimCoordinateSystem GeoreferenceProtocolGeoreferenceSourcesGeoreferenceVerificationStatus GeoreferenceRemarksFootprintWKTFootprintSpatialFit Extensión Paleontológica: –Elementos Paleontológicos: EarliestEonOrLowestEonothem, LatestEonOrHighestEonothem, EarliestEraOrLowestErathem, LatestEraOrHighestErathem, EarliestPeriodOrLowestSystem, LatestPeriodOrHighestSystem, EarliestEpochOrLowestSeries, LatestEpochOrHighestSeries, EarliestAgeOrLowestStage, LatestAgeOrHighestStage, LowestBiostratigraphicZone, HighestBiostratigraphicZone, LithostratigraphicTerms, Group, Formation, Member, Bed

14 Silvia Lusa Unidad de Coordinación GBIF-ES www.gbif.es lusa@gbif.es www.gbif.eslusa@gbif.es Exportar datos a GBIF desde HERBAR Casos prácticos de exportación de datos a GBIF desde Herbar : –Taller_Herbar_May07_C_alumno_2.pdf