Global Biodiversity Information Facility GLOBAL BIODIVERSITY INFORMATION FACILITY Ramón Pérez GBIF España Buenos Aires, 25 de Noviembre de 2005 I Reunión CYTED Como ser un Proveedor de Datos de GBIF

Global Biodiversity Information Facility Red de Datos de Biodiversidad l GBIF Internacional trabaja para construir la principal red de datos de biodiversidad a partir de fuentes que no están fácilmente accesibles, poniéndolas disponibles desde Internet y accesible por todos: l Especimenes l Observaciones l Nombres l Especies l Bibliografía l Meta-datos sobre lo anterior l ¿Como se proporcionan los datos a GBIF?

Global Biodiversity Information Facility Data Providers de GBIF (I) l Actualmente: l 143 Proveedores de datos l Sobre 79 millones de registros de especimenes/observaciones. l Se necesita un modelo simple que permita a las distintas instituciones compartir sus datos de forma estructurada independientemente de la forma que tengan sus datos en sus bases de datos.

Global Biodiversity Information Facility Data Providers de GBIF (II) l Características: l Responsable de proveer, mediante interfaces Web de intercambio, los meta-datos del proveedor, los datos de las colecciones y un acceso libre a los datos. l Usa un formato común para el intercambio de datos con una estructura fija de cómo la información debe de ser compartida: l Los datos debería ser compartidos de la forma más fácil posible para poder comparar y combinar la información desde distintas fuentes.

Global Biodiversity Information Facility Interface Web de Intercambio: DiGIR l Distributed Generic Information Retrieval es un protocolo cliente/Servidor para recopilar datos desde fuentes distribuidas. l Usa HTTP como protocolo de transporte y XML para la codificación de los mensajes entre cliente y servidor. l Tres tipos de mensajes: l Metadata: Obtiene los metadatos de los proveedores y de las fuentes de datos que publica. l Search: Encuentra registros de especimenes y observaciones que verifican una condición de búsqueda, por ejemplo: el nombre de una especie y/o un rectángulo que define un área de la superficie de la tierra y/o … l Inventory: Obtiene el conjunto de valores asociados a un concepto. Por ejemplo: Especies. l Establece la correspondencia entre las bases de datos de las colecciones a Darwin Core2 (estándar para compartir registros de especimenes y observaciones).

Global Biodiversity Information Facility Ventajas de DiGIR l Proporciona un simple punto de acceso que accede a muchas fuentes distribuidas de información. l Resource (Fuente): una colección de datos que tienen un esquema común. l Permite buscar y recibir datos de forma estructurada. l Hace que la localización y las características técnicas de las distintas fuentes sean totalmente transparentes al usuario. l No es el único software disponible ( BioCASE/ABCD Schema es otra herramienta que también puede ser usada ).

Global Biodiversity Information Facility DiGIR Provider: ¿Como Trabaja? (I) Resource WEB Server- DiGIR S/W Server Resource Provider Metadata Resource Metadata HTTP XML Metadata message Search/Inventory message

Global Biodiversity Information Facility DiGIR Provider: ¿Cómo trabaja? (II) l Proveedor: recibe las peticiones del portal. Estas son procesadas por el sistema y recibe los datos almacenados en las bases de datos que satisfacen la petición realizada por el portal. l Portal: Este es el punto de entrada para los usuarios y/o aplicaciones. El portal remitirá las peticiones a los correspondientes proveedores de forma totalmente transparente al usuario presentando la información en un formato común. l Registro: Provee las páginas amarillas de los proveedores existentes

Global Biodiversity Information Facility Formato de Intercambio de Datos: Darwin Core2 l Darwin Core2 es un modelo que permite que los datos de especimenes u observaciones estén estructurados y sean compartidos, en documentos XML, a través de Internet. l Es el formato de intercambio que usa DiGIR. l Adecuado para datos de colecciones y observaciones. l l 48 Campos: DateLastModified *InstitutionCode *CollectionCode *CatalogNumber * ScientificName *BasisOfRecordKingdomPhylum ClassOrderFamilyGenus SpeciesSubspeciesScientificNameAuthorIdentifiedBy YearIdentifiedMonthIdentifiedDayIdentifiedTypeStatus CollectorNumberFieldNumberCollectorYearCollected MonthCollectedDayCollectedJulianDayTimeOfDay ContinentOceanCountryStateProvinceCounty LocalityLongitudeLatitudeCoordinatePrecision BoundingBoxMinimumElevationMaximumElevationMinimumDepth MaximumDepthSexPreparationTypeIndividualCount PreviousCatalogNumberRelationshipTypeRelatedCatalogItemNotes

Global Biodiversity Information Facility Estructura de los campos de Darwin Core2 l Identificación: ScientificName, Kingdom, Phylum, Class, Order, Family, Genus, Species, Subspecies, ScientificNameAuthor, IdentifiedBy, YearIdentified, MonthIdentified, DayIdentified, TypeStatus. l Preparación y Conservación: InstitutionCode, CollectionCode, CatalogNumber, BasisOfRecord, Sex, PreparationType, IndividualCount. l Recolección y Notas: Collector, CollectorNumber, FieldNumber, Notes, PreviousCatalogNumber l El cuándo: YearCollected, MonthCollected, DayCollected, JulianDay, TimeOfDay. l El dónde: ContinentOcean, Country, StateProvince, County, Locality, Longitude, Latitude, CoordinatePrecision, BoundingBox, MinimumElevation, MaximumElevation, MinimumDepth, MaximumDepth - Documento traducido al español:

Global Biodiversity Information Facility Campos de Darwin Core2 (I) l DateLastModified: La fecha y hora de la ultima modificación del registro según norma ISO 8601 en UTC(GMT). Ejemplo: "5 de Noviembre 5, 1994, 8:15:30, Madrid (GMT+1:00)" sería " T7:15:30Z" l InstitutionCode: Un código que identifica la institución o centro a la que la colección pertenece. No existe ningún registro global para la asignación de los códigos; utiliza el código que es estándar dentro de tu disciplina. l CollectionCode: Un valor alfanumérico único que identifica la colección dentro de la institución. l CatalogNumber: Un texto alfanumérico único que identifica un registro individual dentro de una colección. Se recomienda que este valor proporcione una clave por la que el espécimen en cuestión puede ser identificado. Si el espécimen tiene varios elementos como por ejemplo varios tipos de preparación, este valor debería identificar la componente individual del espécimen. l ScientificName: nombre completo de menor rango especificado en la identificación del organismo. l BasisOfRecord: Una descripción que indica si el registro representa una observación (O), un organismo vivo (L), un espécimen testigo (S), germoplasma/semilla (G) etc. l Kingdom: El nombre del reino al que pertenece el organismo. l Phylum: El nombre de la división al que pertenece el organismo. l Class: El nombre de la clase al que pertenece el organismo. l Order: El nombre del orden al que pertenece el organismo. l Family: El nombre de la familia al que pertenece el organismo. l Genus: El nombre del género al que pertenece el organismo. l Species: El nombre de la especie al que pertenece el organismo. l Subspecies: El nombre de la subespecie al que pertenece el organismo. l ScientificNameAuthor: El autor o autores del nombre científico. Se debe ajustar a las convenciones de la disciplina taxonómica correspondiente.

Global Biodiversity Information Facility Campos de Darwin Core2 (II) l IdentifiedBy: El/los nombre/s de la/s persona/s que asignaron el nombre científico, actualmente aceptado, al objeto catalogado. l YearIdentified: El año de la identificación, con cuatro dígitos, p. ejemplo 1906, 2002 etc. l MonthIdentified: El mes de la identificación, con dos dígitos [01..12]. l DayIdentified: El día del mes de la identificación, con dos dígitos [01..31]. l TypeStatus: Indica la designación más reciente del ejemplar como tipo nomenclatural. l CollectorNumber: Un número identificador (en formato texto) aplicado al ejemplar en el momento de la recolección. Establece enlaces entre diferentes partes/preparaciones de un único espécimen y entre notas de campo y el espécimen. l FieldNumber: Un número identificador (en formato texto) aplicado en el momento de la recolección a un conjunto de material que se ha generado durante una única recolección. l Collector: El/los nombre/s del/los recolector/es responsable/s de la recolección o que hizo la observación. l YearCollected: El año durante el que el ejemplar ha sido recolectado en el campo, siempre con cuatro dígitos, p.ej l MonthCollected: El mes del calendario durante el que el ejemplar ha sido recolectado en el campo, siempre con dos dígitos, [01…12]. l DayCollected: El día del mes durante el que el ejemplar ha sido recolectado en el campo, siempre con dos dígitos, [01…31]. l JulianDay: El día ordinario del año (o sea, el número de días pasados desde el día 31 de Diciembre del año anterior, el 1 de Enero es JulianDay 1) en que el ejemplar ha sido recolectado. Puede ser calculado mediante los campos YearCollected, MonthCollected, y DayCollected.

Global Biodiversity Information Facility Campos de Darwin Core2 (III) l TimeOfDay: La hora en que el ejemplar ha sido recolectado, expresado como hora decimal desde medianoche, hora local (p.ej.: 12.0 y 13.5). l ContinentOcean: El nombre completo del continente u océano donde el ejemplar ha sido recolectado. l Country: El país o la unidad política mayor donde el espécimen ha sido recolectado, expresado según la norma ISO con código de dos letras, p.ej. España = ES. l StateProvince: El nombre completo de la provincia del que el ejemplar ha sido recolectado. l County: El nombre completo del municipio del que el ejemplar ha sido recolectado. l Locality: Descripción de la localidad de recolección. l Longitude: La longitud de la localización donde el ejemplar ha sido coleccionado, expresado en grados decimales. l Latitude: La latitud de la localización donde el ejemplar ha sido coleccionado, expresado en grados decimales. l CoordinatePrecision: Una estima de cómo de cerca ha sido especificada la localidad de recolección; expresada en la distancia en metros que corresponde al radio alrededor de la localidad. Utiliza NULL si el error es desconocido, si no se puede estimar o si no aplica. l BoundingBox: Proporciona un mecanismo para ejecutar búsquedas utilizando un cerco. Un cerco normalmente no está presente en la base de datos, pero se puede generar a partir de los campos Latitude y Longitude. (este dato NO es devuelta en las búsquedas) l MinimumElevation: La distancia mínima en metros por encima (positivo) o por debajo (negativo) del nivel del mar en que se encuentra la localidad de recolección. l MaximumElevation: La distancia máxima en metros por encima (positivo) o por debajo (negativo) del nivel del mar en que se encuentra la localidad de recolección.

Global Biodiversity Information Facility Campos de Darwin Core2 (IV) MinimumDepth: La distancia mínima en metros por debajo de la superficie del agua donde la recolección ha sido realizada; todo el material recolectado tiene al menos esta profundidad. Positivo por debajo de la superficie, negativo por encima (p. ejemplo: recolecciones por encima del nivel del mar en zonas de marea). l MaximumDepth: La distancia máxima en metros por debajo de la superficie del agua donde la recolección ha sido realizada; todo el material recolectado tiene al menos esta profundidad. Positivo por debajo de la superficie, negativo por encima (p.ejemplo: recolecciones por encima del nivel del mar en zonas de marea). l Sex: Código que representa el sexo del organismo (propuesto: M=macho, F=hembra, H=hermafrodita, I=sin determinar (examinado pero no pudo ser determinado), U=desconocido (no examinado), T=transicional (entre sexos, útil para hermafroditas secuénciales) l PreparationType: Una lista de métodos de preparación y conservación del ejemplar (piel, cráneo, esqueleto, animal entero (ETHO), preparación microscópica, etc.). Se refiere a un único registro de colección. l IndividualCount: El número de individuos presentes en un lote o contenedor a que el número de catalogo se refiere. No es una estima de la abundancia o densidad en la localidad de recolección. l PreviousCatalogNumber: Lista de códigos de colección asignados previamente al ejemplar. Tiene que ser compuesto por el código del centro y del código de la colección, aunque quizás ya no existan. l RelationshipType: Un nombre o código que identifica el tipo de relación entre el registro de la colección y el registro de la colección referenciada. Valores que puede tener: "parasite of", "epiphyte on", "progeny of", etc. En futuras versiones del esquema este atributo podría ser interesante. l RelatedCatalogItem: El identificador completo del registro con el cual está relacionado (una referncia a otro espécimen); Compuesto por: Institution Code, Collection Code y Catalogue Number del registro con el que se relaciona (los tres elementos separados por un espacio). l Notes: Cualquier anotación que se desee realizar sobre el registro (espécimen u observación).

Global Biodiversity Information Facility DiGIR & Darwin Core2: Un Ejemplo (I) T18:30:19+02: search bioshare.com true

Global Biodiversity Information Facility DiGIR & Darwin Core2: Un Ejemplo (II) $Revision: 1.10 $ :33: <content xmlns:darwin=' xmlns:xsd=' xmlns:xsi=' T225000Z bioshare.com pyy 4 Diarsia mendica T220000Z bioshare.com pyy 6 Lycia lapponaria T220000Z bioshare.com pyy 7 Plutella maculipennis false l Respuesta obtenida según: ptual/darwin/brief/2003/1.0/darwin2brief. xsd ptual/darwin/brief/2003/1.0/darwin2brief. xsd

Global Biodiversity Information Facility DiGIR proporciona Paquetes Software l El paquete software de GBIF DiGIR Provider: l PHP l GBIF Data Repository Tool: Una herramienta para Nodos que permite almacenar datos realizando el hospedaje de documentos en diferentes formatos, validación de datos y el intercambio mediante el protocolo de DiGIR. También incluye un servidos de imágenes. l Python, Zope l Disponible desde: GBIF tools download ( tools downloadhttp://

Global Biodiversity Information Facility Paquete GBIF DiGIR Provider l Incluye: l El software del DiGIR Provider. l Servidor Web Apache2 l Y librerías de PHP. l Solo se necesita tener conocimientos básicos del sistema operativo. l Disponibles para: ( l Linux (RedHat 7.3, 8, 9) l MS Windows (2000, XP) l Bases de datos soportadas: l MySQL, PostgreSQL l MS SQL Server, MS Access (solo para la instalación sobre MS Windows) l Oracle 8i/9i l Permite registrar nuestro proveedor de datos de forma automática en el Servidor UDDI de GBIF (GBIF UDDI Registry: ) l Otras características: l Mantiene una cache para acelerar las respuestas (se limpia desde el script de arranque) l Rotaciones de los ficheros de log (servidor Web, DiGIR provider)

Global Biodiversity Information Facility Instalación del DiGIR Provider l Completada en 4 pasos: l Instalación del paquete de GBIF DiGIR Provider. l Definición de los metadatos del proveedor. l Definición de las fuente(s) de datos. l Registrarse en el Servidor UDDI de GBIF.

Global Biodiversity Information Facility Instalación del Paquete de DiGIR Provider (I) l Ir a acceder al directorio del S. Operativo que tengan y descargar la guía del usuario. l Leer la respectiva Guía del usuario. l Seguir las instrucciones de la Guía del usuario para arrancar / parar tu DiGIR provider. l (p.ejemplo, %DIGIR_HOME%\bin\DigirProvider Start,Stop.bat) l Realización por parte de los alumnos.

Global Biodiversity Information Facility Instalación del Paquete de DiGIR Provider (II) l Crear el directorio TallerGBIF en la unidad C: l Seguir el enlace (GBIF tools download): -> DiGIR Provider -> Windows ProviderWindows ( l Descargar y guardar en C:\TallerGBIF los ficheros: l BiotellaTrainDB BiotellaTrainDB l DiGIR Provider package (Windows 2000, XP) - FOR TRAINING - with Perl libraries DiGIR Provider package (Windows 2000, XP) - FOR TRAINING - with Perl libraries

Global Biodiversity Information Facility Instalación del Paquete de DiGIR Provider (II) Descomprimir el fichero FOR_TRAINING_ WinPackageDiGIR.zip a una carpeta dentro del disco C: Ejecutar el archivo DiGIRProviderInstall.exe l Rellenar los diferentes campos. l Usar el puerto 80 para el servidor Web. l Iniciar / Parar el Proveedor usando los accesos directos existentes en el escritorio. l Verificar que el DiGIR Provider está funcionando correctamente accediendo a la URL:

Global Biodiversity Information Facility Definir los Metadatos del Proveedor l Acceder a la URL: e identificarse con el usuario admin y la contraseña establecida en el paso 2 de la instalación del DiGIR Provider l Hacer click en el enlace de la parte superior de la página debajo de la palabra provider. l Rellenar los campos del formulario y pulsar en save changes. l Campo Name dentro de Host poner TEST seguido del nombre de la institución. l : Usa el enlace: para encontrar el código de tu institución. l Demostración l Definición de los metadatos de los alumnos en sus instalaciones del DiGIR Provider. l Recordar reiniciar el proveedor para que los cambios surtan efecto.

Global Biodiversity Information Facility Gestionar las fuentes: Nuestra BD de Ejemplo l Familiarizándose con la base de datos de entrenamiento: l Biotella: Una de las muchas herramientas para gestionar datos de especimenes y observaciones. l l Código Abierto: Aplicación limitada a la licencia de Microsoft Access l Puede actuar como fuente de un DiGIR Provider (para instalaciones bajo MS Windows) l La base de datos de entrenamiento contiene datos de Lepidoptera.

Global Biodiversity Information Facility Esquema de la BD de Biotella Main Tables

Global Biodiversity Information Facility Correspondencia entre la BD y Darwin Core2 l Alternativas l Mapeando en la Base de Datos (rápidas consultas con índices, disponible en Biotella). Mediante una vista, consulta, … Aconsejada l Mapeando directamente desde DiGIR Provider (no es necesario del trabajo de la base de datos)

Global Biodiversity Information Facility Definición de las fuente(s) del Proveedor. l Acceder a la URL e identificarse con el usuario admin. l Click en el botón add resource. l Rellenar los formularios: l 1. Metadata l RecordIdentifier: Usa el formato ParticipantCode:InstitutionCode:CollectionCodeParticipantCode l 2. Data Source l 3. Tables l 4. Filter l 5. Mapping l Demostración l Definir la(s) fuente(s) en las instalaciones de los alumnos.

Global Biodiversity Information Facility Definición de una fuente local Creación de una nueva fuente de datos en el DiGIR Provider para la base de datos de biotellaTrainDB.mdb (MS Access). Localización: C:\TallerGBIF l Driver:Microsoft Access/Jet (using ADO) l Root Table:DarwinCore l Key Field:CatalogNumber

Global Biodiversity Information Facility Definición de una fuente remota Ejemplo de cómo crear una nueva fuente en el DiGIR Provider para la base de datos pyyf (PostgreSQL). l Location: datasource: :10550 l Port:10550 l Driver:PostrgreSQL 7 or later l Username:giorgos l Root Table:cache l Key Field:id l DateLastModified timereported l ScientificName taxonname l YearCollected yeacoll l MonthCollected moncoll l DayCollected daycoll

Global Biodiversity Information Facility Registro en el UDDI Registry de GBIF (I) l Universal Description Discovery & Integration es un directorio especial que provee métodos para publicar y encontrar información de negocios y especificaciones de servicios. l UDDI está basado en estándares tales como XML y SOAP. l Los 4 principales tipos de datos: l businessEntity: representa la información básica del negocio. Por ejemplo, información de contacto, clasificación, descripciones, etc. l businessService: describe un servicio proporcionado por el negocio. l bindingTemplate: contiene una descripción opcional del servicio, la URL de su punto de acceso y una referencia a uno o más tModel l tModel: descripción abstracta de una especificación o comportamiento particular el cual forma el Servicio Web. businessEntity tModel businessService bindingTemplate businessService bindingTemplate tModel

Global Biodiversity Information Facility Registro en el UDDI Registry de GBIF (III) l Registro automático en el GBIF UDDI registry. l Utilización de los valores de los elementos definidos como metadatos del proveedor (más alguna información extra). l Business Entity l business name: {el del de la institución} l description: {la localización (URL) que apunta al de la institution } l Business Service l service name: {El común del proveedor} (tu.nombre.servidor) l description: {Un de la información del } l Binding Template l access point: l description: Punto de acceso del { } l Demostración l Registro de los DiGIR Provider de los alumnos.

Global Biodiversity Information Facility Registro en el UDDI Registry de GBIF (IV) Utilización de la herramienta de registro on-line [recomendado] l Acceder a la URL: l Rellenar el primer campo de texto con el punto de acceso de nuestro DiGIR Provider. Por ejemplo or l Seleccionar el participante de GBIF de tu área, país y presiona el botón Accept. l Tu proveedor será registrado y el GBIF Helpdesk informará al gestor del Nodo del dominio

Global Biodiversity Information Facility Navegación por el GBIF UDDI Registry (I)

Global Biodiversity Information Facility l Encontrar la información que ha sido registrada en el UDDI registry concerniente a tu proveedor: l Acceder a la URL l Click sobre el enlace Find business situado debajo en la parte derecha de la página. Introduce % en el campo Business name*: y pulsa sobre el botón de búsqueda (Search). l Entra en el enlace de tu institución ( ). l Navega por los diferentes enlaces. Navegación por el GBIF UDDI Registry (II)

Global Biodiversity Information Facility Navegación por el GBIF UDDI Registry (III) l Encuentra todas las entradas de negocio correspondientes a Proveedores de datos bajo un nodo Participante: l Acceder a la URL l Entrar en el enlace navegación ( Browse) bajo el árbol de Taxonomía (Taxonomies). l Entra en el enlace gbif:nodes. l Hacer clic en el enlace de Argentina en la parte de Categorías ( Categories). l Presiona sobre el botón encontrar negocios (Find business).

Global Biodiversity Information Facility Uso del Portal de Búsqueda (I)

Global Biodiversity Information Facility l Encuentra todos los registros de una fuente de datos donde el conceptoGenus de Darwin Core2 contenga la palabra Colias: l Acceder a la URL e y presionar sobre el botón de consulta (Build query). e l Hacer clic sobre una de las fuentes disponibles en la sección de Select data providers. l Seleccionar la opción Genus de la lista de selección Select a concept en la sección Select query conditions. Seleccionar like como comparador Select a comparator y teclea Colias en el cuadro de texto más a la izquierda. l Presiona el botón enviar consulta (Submit query). Uso del Portal de Búsqueda (II)

Global Biodiversity Information Facility Funcionamiento del Data Provider en la arquitectura de GBIF Portal Data provider Provider Services Provider query Request Manager Query Engine Available providers UDDI Registry Institutions Services (Providers) AccessPoints Resource Metadata Resource Metadata Index Metadata and name query Metadata response Data query Data response Metadata and logs Name provider Provider Services Resource Metadata Resource Metadata Synonyms, GUIDs Publish availability Cache Metadata Accounting SOAP DiGIR HTTP

Global Biodiversity Information Facility Portal de Datos -- Portal de Datos --

Global Biodiversity Information Facility Preguntas Respuestas y Respuestas