1 MANEJO DE COLECCIONES DE DATOS CIENTIFICOS EN LA WEB Geóg. Zulay Méndez Ing. Rodrigo Torréns Santa Bárbara del Zulia, julio de 2007

2 Los datos que yo necesito existen? Dónde están? Cómo los obtengo? Ubicar Accesar Recuperar Compartir? …datos Los datos producto de una investigación científica

3 Degradación de los datos a través del tiempo Momento de publicación Detalles específicos acerca de la recolección de los datos se pierden al pasar el tiempo Retiro o cambio de carrera del científico recolector Accidente puede destruir datos y documentación Muerte del investigador y subsecuente pérdida de registros restantes Tiempo Tomado de: [Michener, 1997]

4 Organizados y de fácil acceso Consistentes Bien documentados Facilidad de comprensión por parte de usuarios Uso secundario y a largo plazo de los datos científicos Si no se documentan los datos, pierden su valor y hay que desecharlos. Depende de que sean:

5 Ubicar, accesar, recuperar y compartir la información Garantizar permanencia de los datos en el tiempo Uso secundario y a largo plazo de los datos científicos Herramientas organizativas y tecnológicas Formación de Redes de colaboración entre científicos y entre usuarios de información Tecnologías de Información y Comunicaciones Uso de metadatos y estándares de intercambio de información

6 Metadatos Qué son? " Datos sobre los datos ". "Nivel superior de la información, o instrucciones que describen el contenido, contexto, calidad, estructura, y accesibilidad de una colección de datos específica" (J.K. Michener 1997).

7 Aspectos fundamentales que describen los metadatos Identificación: Cuál es el nombre de la colección de datos (dataset)? Quien creó la colección? Qué temas se incluyen, cuan actualizada está la información? Hay restricciones para acceder o usar los datos?. Calidad de los datos: Existe información que permite a los usuarios decidir si los datos se adaptan a sus propósitos? Los datos están completos? ¿Son consistentes? Información sobre entidades y atributos: Qué información (parámetros, variables, columnas de datos) está incluida? Cómo está codificada la información? Distribución: Quien posee los datos? En qué formatos están disponibles? Están disponibles en Internet? Cómo puedo contactar al dueño de los datos? Cuanto cuestan los datos?.

8 Facilitan el procesamiento, análisis y modelado de los datos. Facilitan la determinación de la conveniencia de los datos para cumplir con un objetivo específico. Permiten organizar y mantener el acervo del conjunto de datos de una organización. Permiten ayudar a encontrar y utilizar los datos que apoyen las investigaciones y la toma de decisiones. En consecuencia, la utilización y manejo de metadatos respaldado por estándares nacionales, guías y políticas, beneficia el crecimiento económico y los intereses sociales y ambientales de una nación. Importancia de los Metadatos

9 Estándares de Metadatos Qué son? Un sistema común de terminología y de definiciones para documentar datos. Para qué estándares? Los estándares permiten la localización rápida de cierto elemento. Si se utiliza un estándar, encontrar la información específica en un catálogo de metadatos será mucho más fácil que si no se utiliza ningún estándar.

10 Estándares de Metadatos Qué son? Un sistema común de terminología y de definiciones para documentar datos. Para qué estándares? Los estándares permiten la localización rápida de cierto elemento. Si se utiliza un estándar, encontrar la información específica en un catálogo de metadatos será mucho más fácil que si no se utiliza ningún estándar.

11 Estándares para metadatos geoespaciales, biológicos y ambientales más usados Los FGDC-CSDGM. Content Standard for Digital Geospatial Metadata. Federal Geographic Data Committe (1994): Datos geoespaciales. [ FGDC-NBII. Perfil Biológico de FGDC. Biología y ciencias naturales. [ Global Change Master Directory Interchange Format – DIF. (1993) Ciencias de la Tierra. [ Darwin Core (DwC). Colecciones de Historia Natural. Descriptores para Metadatos no-geoespaciales. NCEAS-LTER (1997) Datos ecológicos. Base del estándar EML [

12 Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándares Publisher's Cataloging In Publication Data (Prepared by Quality Books, Inc.) Bell, Patricia J. Roughing it elegantly: a practical guide to canoe camping / by Patricia J. Bell ; illustrated by Linda Oliver Isakson. -2nd ed. p. cm. Includes bibliographical references and index. LCCN: ISBN Camping-United States2. Camping-United States-Equipment and supplies 3. Canoes and canoeing-United States I. Title GV790.B '0973 QBI96-86 Fichabibliohemerográfica

13 Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándares Muestra datos NBII Documentación de datos geoespaciales (estándar FGDC)

14 Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándares Documentación de datos geoespaciales (Interfaz a Clearinghouse FGDC y GCMD Data Documenter)

15 Roles en el manejo de los datos y metadatos PerfilRol Científico Recolector 1. Proveedor de Datos Científicos (el que recolecto los datos u otro) Estudiantes Sistemas de información Gobierno, etc. 4. Usuarios Encargado de servicios de información asociados a colecciones de datos 3. Gerentes centrales de información (Proveedores de servicios) Científico Técnico sistemas información Encargado de colecciones de datos 2. Gerentes locales de información

16 Roles en el manejo de los datos y metadatos Gerente de información central Objetos de información / colecciones de datos Oficina central de manejo de información de la red Gerente de información local #1 Científicos o proveedores de datos sitio #1 Gerente de información local #2 Científico o proveedor de datos sitio #2...

17 Roles en el manejo de los datos y metadatos Genera, crea o captura el recurso de información (datos). Por lo general, es un científico que trabaja en un proyecto de investigación que necesita capturar y analizar datos. También puede ser personal técnico que está encargado de los instrumentos de captura de los datos. Son las personas más adecuadas para documentar los datos. 1. Proveedor de datos:

18 Roles en el manejo de los datos y metadatos Organiza todos los datos recolectados antes de su publicación o distribución. También ejerce una función principal en la documentación de los datos (generar los metadatos). 2. Gerente local de información:

19 Roles en el manejo de los datos y metadatos Ofrece a los usuarios servicios relacionados con el uso de los recursos de información o metadatos. Cuando se trata de distribución de información en formato digital, el proveedor de servicios realiza variadas tareas que tienen que ver con ayudar al usuario a identificar los contenidos y fuentes de información relevantes, servicios de seguridad y autenticación de los datos, servicios de catalogación, etc. 3. Gerente central de información

20 Roles en el manejo de los datos y metadatos Usa (o re-usa) los metadatos y datos. Puede ser el mismo científico que los capturó, o puede ser un usuario secundario que necesita que los datos estén bien documentados (posean metadatos) para que pueda ubicar los datos y luego usarlos en su investigación. 4. Usuario

21 Manejo de colecciones de datos científicos: Algunas experiencias locales Red de Estaciones Ecológicas de Venezuela (ECORED) Red de Estaciones Bioclimáticas del Estado Mérida (redbc)

22 Justificación Dificultades que existen en Venezuela para ubicar y usar colecciones de datos bio-climáticos. Interés de organizaciones, instituciones y personas que tienen datos históricos los cuales desean preservar o compartir para su uso a largo plazo. Necesidad de implementar un sistema de información que permita realizar análisis y descubrir correlaciones entre diferentes conjuntos de información, que ayuden a la toma de decisiones e investigación científica. Red de Estaciones Bio-climáticas del Estado Mérida ( redbc )

23 Manejo, identificación, y preservación en el tiempo, de recursos de información relacionados con la biología y el clima usando estándares internacionales de formato y contenidos. Generación de un Sistema de Información a través del Web que permita el fácil acceso de investigadores, productores y organizaciones que necesiten la información producida por la red de estaciones. Objetivos principales Red de Estaciones Bio-climáticas del Estado Mérida ( redbc )

24 Mantener en el tiempo las colecciones de datos y desarrollar mecanismos de almacenamiento, catalogación y distribución de la información generada. Realizar permanentemente labores de identificación de nuevas fuentes de información que puedan incorporarse a las colecciones existentes. Concientizar a los científicos sobre la importancia de la preservación de los datos generados en sus investigaciones. Objetivos secundarios Red de Estaciones Bio-climáticas del Estado Mérida ( redbc )

25 Funcionamiento de la redbc Sistema de Información Bioclimático basado en el web Sistema de Información Bioclimático basado en el web Ubicación de características de colecciones de datos. Utilización de tecnologías Internet-Web, que aceleran y facilitan grandemente el proceso de captura, actualización y difusión de la información bio-climática, permitiendo varios niveles de acceso y recuperación de dicha información. Actualmente sólo se proveen datos sin procesar (archivos de datos provenientes de las estaciones meteorológicas) y sus respectivos metadatos. En el futuro se podrá acceder a información previamente procesada (gráficos, tablas, etc). Libre acceso a colecciones de datos (datasets) producidos por miembros de la red y (en lo posible) por cualquier persona o institución que los necesite.

26 Internet Miembros de la REDBC Servidor (CECALCULA) Sistema de manejo de datos Datos llegan por varias vías (enviados por gerentes locales de información): - -Web -CD -Entregas personales Gerente Central de información los procesan de ser necesario y los publican en Internet Funcionamiento de la redbc

27 Consultando las colecciones de datos Es Ejemplo: Colección de datos Estación Chama

28 Enlace html xml txt Formato de metadatos Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama

29 Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Metadatos xml (para intercambio con otros sistemas y procesamiento automático) Metadatos html (para visualización por Web)

30 Enlace Presentación de datos Datos originales (sin procesar) Datos ordenados (Por año y por mes) Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama

31 Datos sin procesar, tal como vienen de los instrumentos o científicos que los capturan Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Datos sin procesar

32 Datos ordenados Datos con algún tipo de procesamiento Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Datos procesados

33 Datos enviados a KNB: Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama

34 Afiliarse a la redbc Llenar Planilla de documentación de datos proporcionada por el gerente central de información. Se pueden configurar planillas de diferentes tipos: Web, Word, txt, etc. Documentar los datos Contactar por o teléfono al Proveedor de metadatos Formas de envío y publicación de metadatos y datos

35 Escaso conocimiento de la importancia de la preservación y posibilidades de uso secundario de los datos. Poca disposición de los científicos para compartir los datos. Poca receptividad para aportar metadatos que documenten las colecciones de datos. Confusiones que tienen que ver con los derechos de propiedad y uso de los datos. Información incorrecta sobre la calidad y cantidad de información que dicen poseer algunas instituciones (entorpece la investigación). Bajo interés por parte de algunos gerentes de información local en publicar sus colecciones de datos (retardo en envío de datos-pérdida de información). Algunos gerentes locales no disponen de conexión a internet. Costos de los instrumentos de captura de datos. No existe la figura de “gerente local de información”. Dificultades en el desarrollo de proyectos de este tipo

36 Usos futuros: Redes de manejo de conocimientos basadas en datos y metadatos (intención de KNB) Acceso a herramientas analíticas "en-línea" para integrar varias herramientas como SAS, MATLAB, etc. con acceso a datos de red de científicos (LTER) Herramientas para producir formas alternativas de metadatos que permitan a cualquier sitio participar fácilmente en otras bases de datos internacionales y Clearinghouses de datos (FGDC, GCMD, NBII, etc.) El Futuro

37 Por su atención Muchas Gracias