MANEJO DE COLECCIONES DE DATOS CIENTIFICOS EN LA WEB Santa Bárbara del Zulia, julio de 2007 Ing. Rodrigo Torréns (torrens@ula .ve) Geóg. Zulay Méndez (zulay@ula.ve) 15/11/2018

Los datos producto de una investigación científica Los datos que yo necesito existen? Dónde están? Cómo los obtengo? Ubicar Accesar Recuperar Compartir? …datos 15/11/2018

Degradación de los datos a través del tiempo Momento de publicación Detalles específicos acerca de la recolección de los datos se pierden al pasar el tiempo Retiro o cambio de carrera del científico recolector Accidente puede destruir datos y documentación Muerte del investigador y subsecuente pérdida de registros restantes Tiempo 15/11/2018 Tomado de: [Michener, 1997]

Uso secundario y a largo plazo de los datos científicos Depende de que sean: Organizados y de fácil acceso Consistentes Bien documentados Facilidad de comprensión por parte de usuarios Si no se documentan los datos, pierden su valor y hay que desecharlos. 15/11/2018

Tecnologías de Información y Comunicaciones Uso secundario y a largo plazo de los datos científicos Ubicar, accesar, recuperar y compartir la información Garantizar permanencia de los datos en el tiempo Herramientas organizativas y tecnológicas Formación de Redes de colaboración entre científicos y entre usuarios de información Tecnologías de Información y Comunicaciones Uso de metadatos y estándares de intercambio de información 15/11/2018

Metadatos Qué son? " Datos sobre los datos " . "Nivel superior de la información, o instrucciones que describen el contenido, contexto, calidad, estructura, y accesibilidad de una colección de datos específica" (J.K. Michener 1997). 15/11/2018

Aspectos fundamentales que describen los metadatos Identificación: Cuál es el nombre de la colección de datos (dataset)? Quien creó la colección? Qué temas se incluyen: Cuan actualizada está la información? Hay restricciones para acceder o usar los datos?. Calidad de los datos: Existe información que permite a los usuarios decidir si los datos se adaptan a sus propósitos? Los datos están completos? ¿Son consistentes? Información sobre entidades y atributos: Qué información (parámetros, variables, columnas de datos) está incluida? Cómo está codificada la información? Distribución: Quien posee los datos? En qué formatos están disponibles? Están disponibles en Internet? Cómo puedo contactar al dueño de los datos? Cuanto cuestan los datos?. 15/11/2018

Importancia de los Metadatos Facilitan el procesamiento, análisis y modelado de los datos. Facilitan la determinación de la conveniencia de los datos para cumplir con un objetivo específico. Permiten organizar y mantener el acervo del conjunto de datos de una organización. Permiten ayudar a encontrar y utilizar los datos que apoyen las investigaciones y la toma de decisiones. En consecuencia, la utilización y manejo de metadatos respaldado por estándares nacionales, guías y políticas, beneficia el crecimiento económico y los intereses sociales y ambientales de una nación. 15/11/2018

Estándares de Metadatos Qué son? Un sistema común de terminología y de definiciones para documentar datos. Para qué estándares? Los estándares permiten la localización rápida de cierto elemento. Si se utiliza un estándar, encontrar la información específica en un catálogo de metadatos será mucho más fácil que si no se utiliza ningún estándar. 15/11/2018

Estándares de Metadatos Qué son? Un sistema común de terminología y de definiciones para documentar datos. Para qué estándares? Los estándares permiten la localización rápida de cierto elemento. Si se utiliza un estándar, encontrar la información específica en un catálogo de metadatos será mucho más fácil que si no se utiliza ningún estándar. 15/11/2018

Estándares para metadatos geoespaciales, biológicos y ambientales más usados Los FGDC-CSDGM. Content Standard for Digital Geospatial Metadata. Federal Geographic Data Committe (1994): Datos geoespaciales. [http://www.fgdc.gov] FGDC-NBII. Perfil Biológico de FGDC. Biología y ciencias naturales. [http://www.nbii.gov]. Global Change Master Directory Interchange Format – DIF. (1993) Ciencias de la Tierra. [http://gcmd.gsfc.nasa.gov] Darwin Core (DwC). Colecciones de Historia Natural. Descriptores para Metadatos no-geoespaciales. NCEAS-LTER (1997) Datos ecológicos. Base del estándar EML [http://knb.ecoinformatics.org/software/eml/eml-2.0.1/index.html/]. 15/11/2018

Ficha bibliohemerográfica Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándares Publisher's Cataloging In Publication Data (Prepared by Quality Books, Inc.) Bell, Patricia J. Roughing it elegantly: a practical guide to canoe camping / by Patricia J. Bell ; illustrated by Linda Oliver Isakson. -2nd ed. p. cm. Includes bibliographical references and index. LCCN: 93-74305 ISBN 0-9618227-0-8 1. Camping-United States2. Camping-United States-Equipment and supplies 3. Canoes and canoeing-United States I. Title GV790.B45 1994   796.54'0973 QBI96-86 Ficha bibliohemerográfica 15/11/2018

Muestra datos NBII http://www.nbii.gov/ Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándares Documentación de datos geoespaciales (estándar FGDC) http://cndg.clearinghouse.gub.uy Muestra datos NBII http://www.nbii.gov/ 15/11/2018

Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándares Documentación de datos geoespaciales (Interfaz a Clearinghouse FGDC y GCMD Data Documenter) 15/11/2018

Roles en el manejo de los datos y metadatos Perfil Rol Científico Recolector 1. Proveedor de Datos Científicos (el que recolecto los datos u otro) Estudiantes Sistemas de información Gobierno, etc. 4. Usuarios Encargado de servicios de información asociados a colecciones de datos 3. Gerentes centrales de información (Proveedores de servicios) Técnico sistemas información Encargado de colecciones de datos 2. Gerentes locales de información 15/11/2018

Roles en el manejo de los datos y metadatos Oficina central de manejo de información de la red Científicos o proveedores de datos sitio #1 Gerente de información local #1 Gerente de información central Científico o proveedor de datos sitio #2 Gerente de información local #2 Objetos de información / colecciones de datos ... ... 15/11/2018

Roles en el manejo de los datos y metadatos 1. Proveedor de datos: Genera, crea o captura el recurso de información (datos). Por lo general, es un científico que trabaja en un proyecto de investigación que necesita capturar y analizar datos. También puede ser personal técnico que está encargado de los instrumentos de captura de los datos. Son las personas más adecuadas para documentar los datos. 15/11/2018

Roles en el manejo de los datos y metadatos 2. Gerente local de información: Organiza todos los datos recolectados antes de su publicación o distribución. También ejerce una función principal en la documentación de los datos (generar los metadatos). 15/11/2018

Roles en el manejo de los datos y metadatos 3. Gerente central de información Ofrece a los usuarios servicios relacionados con el uso de los recursos de información o metadatos. Cuando se trata de distribución de información en formato digital, el proveedor de servicios realiza variadas tareas que tienen que ver con ayudar al usuario a identificar los contenidos y fuentes de información relevantes, servicios de seguridad y autenticación de los datos, servicios de catalogación, etc. 15/11/2018

Roles en el manejo de los datos y metadatos 4. Usuario Usa (o re-usa) los metadatos y datos. Puede ser el mismo científico que los capturó, o puede ser un usuario secundario que necesita que los datos estén bien documentados (posean metadatos) para que pueda ubicar los datos y luego usarlos en su investigación. 15/11/2018

Manejo de colecciones de datos científicos: Algunas experiencias locales Red de Estaciones Bioclimáticas del Estado Mérida (redbc) Red de Estaciones Ecológicas de Venezuela (ECORED) 15/11/2018

Red de Estaciones Bio-climáticas del Estado Mérida (redbc) Justificación Dificultades que existen en Venezuela para ubicar y usar colecciones de datos bio-climáticos. Interés de organizaciones, instituciones y personas que tienen datos históricos los cuales desean preservar o compartir para su uso a largo plazo. Necesidad de implementar un sistema de información que permita realizar análisis y descubrir correlaciones entre diferentes conjuntos de información, que ayuden a la toma de decisiones e investigación científica. 15/11/2018

Red de Estaciones Bio-climáticas del Estado Mérida (redbc) Objetivos principales Manejo, identificación, y preservación en el tiempo, de recursos de información relacionados con la biología y el clima usando estándares internacionales de formato y contenidos. Generación de un Sistema de Información a través del Web que permita el fácil acceso de investigadores, productores y organizaciones que necesiten la información producida por la red de estaciones. 15/11/2018

Red de Estaciones Bio-climáticas del Estado Mérida (redbc) Objetivos secundarios Mantener en el tiempo las colecciones de datos y desarrollar mecanismos de almacenamiento, catalogación y distribución de la información generada. Realizar permanentemente labores de identificación de nuevas fuentes de información que puedan incorporarse a las colecciones existentes. Concientizar a los científicos sobre la importancia de la preservación de los datos generados en sus investigaciones. 15/11/2018

Funcionamiento de la redbc Sistema de Información Bioclimático basado en el web Ubicación de características de colecciones de datos. Utilización de tecnologías Internet-Web, que aceleran y facilitan grandemente el proceso de captura, actualización y difusión de la información bio-climática permitiendo varios niveles de acceso y recuperación de dicha información. Actualmente sólo se proveen datos sin procesar (archivos de datos provenientes de las estaciones meteorológicas) y sus respectivos metadatos. En el futuro se podrá acceder a información previamente procesada (gráficos, tablas, etc). Libre acceso a colecciones de datos (datasets) producidos por miembros de la red y (en lo posible) por cualquier persona o institución que los necesite. 15/11/2018

Funcionamiento de la redbc Sistema de manejo de datos Datos llegan por varias vías (enviados por gerentes locales de información): -E-mail -Web -CD -Entregas personales Gerente Central de información los procesan de ser necesario y los publican en Internet Miembros de la REDBC Servidor (CECALCULA) Internet 15/11/2018

Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Es 15/11/2018

Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Formato de metadatos html xml txt Enlace 15/11/2018

Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Metadatos xml (para intercambio con otros sistemas y procesamiento automático) Metadatos html (para visualización por Web) 15/11/2018

Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Presentación de datos Datos originales (sin procesar) Datos ordenados (Por año y por mes) Enlace 15/11/2018

Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Datos sin procesar Datos sin procesar, tal como vienen de los instrumentos o científicos que los capturan 15/11/2018

Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Datos ordenados Datos procesados Datos con algún tipo de procesamiento 15/11/2018

Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Datos enviados a KNB: http://knb.ecoinformatics.org 15/11/2018

Formas de envío y publicación de metadatos y datos Afiliarse a la redbc Contactar por e-mail o teléfono al Proveedor de metadatos Documentar los datos Llenar Planilla de documentación de datos proporcionada por el gerente central de información. Se pueden configurar planillas de diferentes tipos: Web, Word, txt, etc. 15/11/2018

Dificultades en el desarrollo de proyectos de este tipo Escaso conocimiento de la importancia de la preservación y posibilidades de uso secundario de los datos. Poca disposición de los científicos para compartir los datos. Poca receptividad para aportar metadatos que documenten las colecciones de datos. Confusiones que tienen que ver con los derechos de propiedad y uso de los datos. Información incorrecta sobre la calidad y cantidad de información que dicen poseer algunas instituciones (entorpece la investigación). Bajo interés por parte de algunos gerentes de información local en publicar sus colecciones de datos (retardo en envío de datos-pérdida de información). Algunos gerentes locales no disponen de conexión a internet. Costos de los instrumentos de captura de datos. No existe la figura de “gerente local de información”. 15/11/2018

El Futuro Usos futuros: Redes de manejo de conocimientos basadas en datos y metadatos (intención de KNB) Acceso a herramientas analíticas "en-línea" para integrar varias herramientas como SAS, MATLAB, etc. con acceso a datos de red de científicos (LTER) Herramientas para producir formas alternativas de metadatos que permitan a cualquier sitio participar fácilmente en otras bases de datos internacionales y Clearinghouses de datos (FGDC, GCMD, NBII, etc.) 15/11/2018

Por su atención Muchas Gracias www.cecalc.ula.ve/redbc/ 15/11/2018