CodeSyntax www.codesyntax.com [2] Jornadas de Bibliotecas Digitales (JBiDi 2005) OAC: recolección y agregación de metadatos heterogéneos para un proveedor.

Presentación del tema: "CodeSyntax www.codesyntax.com [2] Jornadas de Bibliotecas Digitales (JBiDi 2005) OAC: recolección y agregación de metadatos heterogéneos para un proveedor."— Transcripción de la presentación:

1 CodeSyntax www.codesyntax.com [2] Jornadas de Bibliotecas Digitales (JBiDi 2005) OAC: recolección y agregación de metadatos heterogéneos para un proveedor de servicios OAI Díaz, Jacob, Abaitua, Quintana, Fernández, Sánchez, Echebarría [1] y Azpillaga [2] Universidad de Deusto [1] www.deli.deusto.es

2 DELi (UD) + CS OAC (JBiDi 2005)2 Presentación OAC: Open Archives CatalogerOAC: Open Archives Cataloger implementación de OAI (Open Archives Initiative) para el servidor web Zopeimplementación de OAI (Open Archives Initiative) para el servidor web Zope infraestructura básica de un gestor de recursos heterogéneos (y sus metadatos) dirigido a OAIinfraestructura básica de un gestor de recursos heterogéneos (y sus metadatos) dirigido a OAI –Motivación inicial –mejorar la gestión de metadatos de grandes corpora de documentos multilingües (DELi) –aportar soluciones para la normalización de criterios de catalogación (DELi + CodeSyntax) –difundir entre los agentes involucrados las bondades de compartir metadatos (DELi + CS)

3 DELi (UD) + CS OAC (JBiDi 2005)3 Índice Fundamentos de OAIFundamentos de OAI OAC: implementación de OAI en ZopeOAC: implementación de OAI en Zope Casos de uso de OACCasos de uso de OAC Usos novedosos de OAIUsos novedosos de OAI diseminación selectiva de metadatosdiseminación selectiva de metadatos diseminación de metadatos por consultadiseminación de metadatos por consulta Perspectivas futuras y conclusionesPerspectivas futuras y conclusiones

4 DELi (UD) + CS OAC (JBiDi 2005)4 > Índice Fundamentos de OAIFundamentos de OAI OAC: implementación de OAI en ZopeOAC: implementación de OAI en Zope Casos de uso de OACCasos de uso de OAC Usos novedosos de OAIUsos novedosos de OAI diseminación selectiva de metadatosdiseminación selectiva de metadatos diseminación de metadatos por consultadiseminación de metadatos por consulta Perspectivas futuras y conclusionesPerspectivas futuras y conclusiones

5 DELi (UD) + CS OAC (JBiDi 2005)5 recursosproveedordinámico de datos (ítems) proveedordeservicios repositorio(registros) recolector petición respuesta servidor protocoloOAI-PMH Fundamentos de OAI: básico

6 DELi (UD) + CS OAC (JBiDi 2005)6 Fundamentos de OAI: completo recursosproveedordinámico de datos (ítems) proveedordeservicios repositorio(registros) recolector servidor OAI-PMH proveedorestático (XML) pasarelaestática agregador recolector repositorio(registros) respuestapetición respuestapetición OAI-PMH

7 DELi (UD) + CS OAC (JBiDi 2005)7 Fundamentos de OAI: el protocolo OAI-PMH Usa la arquitectura HTTPUsa la arquitectura HTTP el recolector es una especie de navegador, que envía una petición HTTPel recolector es una especie de navegador, que envía una petición HTTP el repositorio es un servidor web, que produce una respuesta HTTP (específicamente en XML)el repositorio es un servidor web, que produce una respuesta HTTP (específicamente en XML) La petición habitual: deme sus registrosLa petición habitual: deme sus registros –http://foo.es/oai ? verb = ListRecords &... La respuesta habitual:La respuesta habitual: –conjunto de registros (metadatos) en XML

8 DELi (UD) + CS OAC (JBiDi 2005)8 Fundamentos de OAI: formatos de metadatos Recurso: “cualquier cosa con identidad”Recurso: “cualquier cosa con identidad” Respuesta XML ha de seguir un esquemaRespuesta XML ha de seguir un esquema obligatorio: Dublin Core sin calificar, para asegurar la máxima interoperabilidadobligatorio: Dublin Core sin calificar, para asegurar la máxima interoperabilidad opcional: otros formatos (BibTeX, EAD, MARC...), siempre que exista el esquema XMLopcional: otros formatos (BibTeX, EAD, MARC...), siempre que exista el esquema XML ProblemasProblemas conversión de otros formatos a Dublin Coreconversión de otros formatos a Dublin Core existencia de esquema XML para un formato dadoexistencia de esquema XML para un formato dado variabilidad entre formatos, adecuaciónvariabilidad entre formatos, adecuación

9 DELi (UD) + CS OAC (JBiDi 2005)9 Fundamentos de OAI: recolección selectiva (conjuntos) No es un enfoque de consulta (query)No es un enfoque de consulta (query) ConjuntosConjuntos jerarquía hasta cualquier profundidadjerarquía hasta cualquier profundidad un registro puede estar en 0 o más conjuntosun registro puede estar en 0 o más conjuntos una petición puede hacerse a un conjuntouna petición puede hacerse a un conjunto A tener en cuentaA tener en cuenta pedir todos los conjuntos puede no agotar el repositorio y/o obtener numerosos duplicadospedir todos los conjuntos puede no agotar el repositorio y/o obtener numerosos duplicados la jerarquía no tiene que ser una taxonomíala jerarquía no tiene que ser una taxonomía

10 DELi (UD) + CS OAC (JBiDi 2005)10 > Índice Fundamentos de OAIFundamentos de OAI OAC: implementación de OAI en ZopeOAC: implementación de OAI en Zope Casos de uso de OACCasos de uso de OAC Usos novedosos de OAIUsos novedosos de OAI diseminación selectiva de metadatosdiseminación selectiva de metadatos diseminación de metadatos por consultadiseminación de metadatos por consulta Perspectivas futuras y conclusionesPerspectivas futuras y conclusiones

11 DELi (UD) + CS OAC (JBiDi 2005)11 OAC: Open Archives Cataloger Implementación de OAI en Zope: zOACImplementación de OAI en Zope: zOAC producto de Zope (en fase final de desarrollo)producto de Zope (en fase final de desarrollo) software libre (licencia GPL)software libre (licencia GPL) http://sourceforge.net/projects/zoac/http://sourceforge.net/projects/zoac/ Basada en el producto ZOpenArchivesBasada en el producto ZOpenArchives desarrollado por Pentila (http://www.pentila.com/)desarrollado por Pentila (http://www.pentila.com/) ya incluía el repertorio básico de funciones:ya incluía el repertorio básico de funciones: –recolector, agregador –servidor de metadatos, proveedor dinámico de datos (aunque con funcionalidad limitada)

12 DELi (UD) + CS OAC (JBiDi 2005)12 OAC: el producto zOAC Aspectos añadidos en zOACAspectos añadidos en zOAC –pasarela estática, proveedor estático de datos –mejora del servidor de metadatos y del proveedor dinámico de datos adaptación a objetos Zope específicosadaptación a objetos Zope específicos gestión de formatos de metadatos diversosgestión de formatos de metadatos diversos –proveedor de servicios, mejora del agregador –gestión de suscripciones –interfaces de administración web

13 DELi (UD) + CS OAC (JBiDi 2005)13 OAC: formatos de metadatos zOAC: formatos de metadatos soportadoszOAC: formatos de metadatos soportados Dublin Core sin calificar y calificadoDublin Core sin calificar y calificado BibTeX, TEI, MARCBibTeX, TEI, MARC Solución: lenguaje neutro de metadatosSolución: lenguaje neutro de metadatos –superconjunto de metadatos (unión semántica, sin repetición de metadatos con la misma info) similar a lingua franca de Chan y Zeng [2004, 2005]similar a lingua franca de Chan y Zeng [2004, 2005] evita duplicar metadatosevita duplicar metadatos asegura tanto la importación como la exportación a los formatos soportadosasegura tanto la importación como la exportación a los formatos soportados

14 DELi (UD) + CS OAC (JBiDi 2005)14 OAC: gestor de recursos zOAC: infraestructura básica de un gestor de recursos dirigido a OAIzOAC: infraestructura básica de un gestor de recursos dirigido a OAI –gestor de recursos = proveedor de datos OAI posibilita añadir nuevos objetos Zope (recursos heterogéneos) y describirlos con metadatosposibilita añadir nuevos objetos Zope (recursos heterogéneos) y describirlos con metadatos los recursos y sus metadatos se reflejan automáticamente en el repositorio OAI a diseminarlos recursos y sus metadatos se reflejan automáticamente en el repositorio OAI a diseminar –el prov. de servicios usa la misma arquitectura las funciones del gestor de recursos y de Zope pueden usarse para las aplicacioneslas funciones del gestor de recursos y de Zope pueden usarse para las aplicaciones

15 DELi (UD) + CS OAC (JBiDi 2005)15 > Índice Fundamentos de OAIFundamentos de OAI OAC: implementación de OAI en ZopeOAC: implementación de OAI en Zope Casos de uso de OACCasos de uso de OAC Usos novedosos de OAIUsos novedosos de OAI diseminación selectiva de metadatosdiseminación selectiva de metadatos diseminación de metadatos por consultadiseminación de metadatos por consulta Perspectivas futuras y conclusionesPerspectivas futuras y conclusiones

16 DELi (UD) + CS OAC (JBiDi 2005)16 Casos de uso de OAC SARE-Bi (versión 2)SARE-Bi (versión 2) gestor documental de textos multilingües (v1, 2002) segmentados y alineados, y que pueden usarse como memorias de traducción (TMX)gestor documental de textos multilingües (v1, 2002) segmentados y alineados, y que pueden usarse como memorias de traducción (TMX) la “base de datos” son objetos Zope de diferentes clases; algunos llevan asociados metadatos (derivados del estándar TEI)la “base de datos” son objetos Zope de diferentes clases; algunos llevan asociados metadatos (derivados del estándar TEI) OAI/zOAC permite de forma inmediata la diseminación de los metadatos, de los segmentos y de las memorias de traducción, aportando un grado adicional de flexibilidadOAI/zOAC permite de forma inmediata la diseminación de los metadatos, de los segmentos y de las memorias de traducción, aportando un grado adicional de flexibilidad

17 DELi (UD) + CS OAC (JBiDi 2005)17 Casos de uso de OAC Gestión de publicaciones de DELiGestión de publicaciones de DELi zOAC puede adaptarse de forma sencilla a la gestión de publicaciones académicaszOAC puede adaptarse de forma sencilla a la gestión de publicaciones académicas se utiliza BibTeX como formato de metadatos de referenciase utiliza BibTeX como formato de metadatos de referencia interfaz de administración específica, adaptada a la gestión de referenciasinterfaz de administración específica, adaptada a la gestión de referencias convertir el gestor de publicaciones en un proveedor de datos OAI facilita su aprovechamiento (bibliografías, curricula...)convertir el gestor de publicaciones en un proveedor de datos OAI facilita su aprovechamiento (bibliografías, curricula...)

18 DELi (UD) + CS OAC (JBiDi 2005)18 > Índice Fundamentos de OAIFundamentos de OAI OAC: implementación de OAI en ZopeOAC: implementación de OAI en Zope Casos de uso de OACCasos de uso de OAC Usos novedosos de OAIUsos novedosos de OAI diseminación selectiva de metadatosdiseminación selectiva de metadatos diseminación de metadatos por consultadiseminación de metadatos por consulta Perspectivas futuras y conclusionesPerspectivas futuras y conclusiones

19 DELi (UD) + CS OAC (JBiDi 2005)19 Usos novedosos de OAI Petición OAI a un proveedor de datosPetición OAI a un proveedor de datos http://foo.es / pub / oai ?...http://foo.es / pub / oai ?... Diseminación selectiva de metadatosDiseminación selectiva de metadatos http://foo.es / pub / es / oai ?...http://foo.es / pub / es / oai ?... http://foo.es / pub / paper / oai ?...http://foo.es / pub / paper / oai ?... basada en los mecanismos de herencia y adquisición de Zopebasada en los mecanismos de herencia y adquisición de Zope “oai” sigue siendo el repositorio estándar OAI-PMH“oai” sigue siendo el repositorio estándar OAI-PMH recuerda a la recolección selectiva (conjuntos) de OAI, pero sin la funcionalidad completarecuerda a la recolección selectiva (conjuntos) de OAI, pero sin la funcionalidad completa

20 DELi (UD) + CS OAC (JBiDi 2005)20 Usos novedosos de OAI Diseminación de metadatos por consultaDiseminación de metadatos por consulta http://foo.es / pub / gomez / paper / es / oai ?...http://foo.es / pub / gomez / paper / es / oai ?... independiente de la organización de la base de datos documentalindependiente de la organización de la base de datos documental implementada mediante “filtros” asociados al proveedor de datosimplementada mediante “filtros” asociados al proveedor de datos aunque no aporta la funcionalidad completa de un lenguaje de consultas, tiene aplicacionesaunque no aporta la funcionalidad completa de un lenguaje de consultas, tiene aplicaciones “oai” sigue siendo el repositorio estándar OAI-PMH“oai” sigue siendo el repositorio estándar OAI-PMH

21 DELi (UD) + CS OAC (JBiDi 2005)21 > Índice Fundamentos de OAIFundamentos de OAI OAC: implementación de OAI en ZopeOAC: implementación de OAI en Zope Casos de uso de OACCasos de uso de OAC Usos novedosos de OAIUsos novedosos de OAI diseminación selectiva de metadatosdiseminación selectiva de metadatos diseminación de metadatos por consultadiseminación de metadatos por consulta Perspectivas futuras y conclusionesPerspectivas futuras y conclusiones

22 DELi (UD) + CS OAC (JBiDi 2005)22 Perspectivas futuras OAC-onto: aplicación de ontologías de metadatos bibliográficosOAC-onto: aplicación de ontologías de metadatos bibliográficos para potenciar el uso de catálogos y facilitar el descubrimiento de informaciónpara potenciar el uso de catálogos y facilitar el descubrimiento de información existen ontologías para BibTeX y Dublin Coreexisten ontologías para BibTeX y Dublin Core no se tiene noticia de ontologías temáticas, basadas en esquemas clasificatorios de contenidos (como LCC/LCSH, DDC, UDC, IFLA y otros)no se tiene noticia de ontologías temáticas, basadas en esquemas clasificatorios de contenidos (como LCC/LCSH, DDC, UDC, IFLA y otros) ¿bastaría una ontología de metadatos estructurales (BibTeX/DC) en conjunción con mecanismos de consulta conocidos (DBLP, Citeseer...)?¿bastaría una ontología de metadatos estructurales (BibTeX/DC) en conjunción con mecanismos de consulta conocidos (DBLP, Citeseer...)?

23 DELi (UD) + CS OAC (JBiDi 2005)23 Conclusiones Relevancia de la funcionalidad OAIRelevancia de la funcionalidad OAI –a considerar en el diseño de sistemas de gestión documental accesibles por web Adecuación de Zope como soporteAdecuación de Zope como soporte –tanto del gestor de recursos –como de la arquitectura OAI Producto zOACProducto zOAC –en fase final de desarrollo –software libre

24 DELi (UD) + CS OAC (JBiDi 2005)24 Conclusiones OAC ha sido subvencionado porOAC ha sido subvencionado por –Gobierno Vasco Dept. de Industria (proyectos OAC y OAC-onto, oct. 2003-dic. 2005)Dept. de Industria (proyectos OAC y OAC-onto, oct. 2003-dic. 2005) –CodeSyntax (Eibar, Spain) AgradecimientosAgradecimientos –Gari Araolaza, Eneko Astigarraga, Luistxo Fernández (CodeSyntax)

25 CodeSyntax www.codesyntax.com [2] Jornadas de Bibliotecas Digitales (JBiDi 2005) OAC: recolección y agregación de metadatos heterogéneos para un proveedor de servicios OAI Díaz, Jacob, Abaitua, Quintana, Fernández, Sánchez, Echebarría [1] y Azpillaga [2] Universidad de Deusto [1] www.deli.deusto.es