gLite Sistema de Información Henry Ricardo Mora CUBAENERGIA – LA HABANA - CUBA Tutorial EELA para usuarios Ciudad de Guatemala, 18 -19 de Octubre 2007

Esta presentación está basada en presentaciones previas realizadas en el marco de las actividades del proyecto EELA

Temas a tratar Como descubrir recursos ? Sistema de Información Diseño del sistema de información Sistema de información adoptado Sistema de información LCG Recolección de información BDII Arquitectura Grid Relacional de monitoreo (RGMA) Introducción al R-GMA Arquitectura Grid de Monitoreo (GMA) R-GMA R-GMA: Esquema - Registro - Mediador R-GMA: Productor – Consumidor GLUE SCHEMA

Como se descubren los recursos? Una vez que el usuario esta logeado en una interfaz de usuario (UI) se encuentra listo para utilizar los recursos disponibles en la GRID. Sin embargo, debe responderse la pregunta “ ¿ Existen recursos disponibles para realizar el trabajo ?” La respuesta a esta pregunta se obtienen a partir de la interacción con el Sistema de Información (IS).

Sistema de Información ¿Qué es ? Es el sistema encargado de la recolección de la información relacionada con el estado el recurso. ¿Para qué se utiliza? Descubrir recursos en la GRID y su naturaleza Tener datos útiles para saber quien está a cargo de la gestión de trabajo para hacerlo mas eficiente. Chequear el estado de los recursos. ¿Cómo se utiliza? Monitoreando el estado de los recursos localmente y publicando datos actualizados sobre el estado de los mismos. Adoptando un modelo de datos que DEBE ser bien conocido para todos los componentes que quieran acceder al monitoreo de información. Utilizando diferentes aproximaciones, las cuales veremos en las próximas diapositivas.

Sistemas de información adoptados Los datos publicados en el SI se corresponden con el GLUE (Grid Laboratory for a Uniform Environment) esquema. El GLUE Schema tiene como objetivo definir un modelo de datos conceptual común para ser usado por los recursos GRID. En LCG-2, la BDII (Berkeley DB Information Index) se adopta como SI Se basa en una versión actualizada del Servicio de Descubrimiento y Monitoreo (MDS), fue adoptada como principal proveedor del servicio de información. Esta basada en el Lightweight Directory Access Protocol (LDAP) servers. En gLite, R-GMA (Relational Grid Monitoring Architecture) se adopta como SI.

Sistemas de información adoptados La BDII (Berkeley DB Information Index) Ha sido adoptada en middleware de LCG como el proveedor del SI. Es una evolución del Monitoring and Discovery Service (MDS) Se basa en un servidor LDAP (Lightweight Directory Access Protocol). La Arquitectura Relacional de Monitoreo GRID R-GMA (Relational Grid Monitoring Architecture) Es una implementación de la Grid Monitoring Architecture (GMA) estandarizada por el forum Global GRID (GGF) Es una implementación relacional del GMA Está fuertemente orientada a servicios WEB Utiliza sintaxis SQL estándar

Sistema de Información MDS Sistema de Información

Sistema de Información del LCG LCG adopta una combinación de soluciones Globus MDS En el nivel más bajo del SI Descubrir, monitorear y publicar información Credenciales de seguridad de la información en la GRID (Grid Information Security (GSI) credentials) Caching BDII En el nivel mas alto del sistema Debido a que el MDS tiene algunos problemas en términos de escalabilidad Usado por el Resource Broker para el proceso de matchmaking Puede ser configurado para cada VO. Consultas periódicas al sistema (2 minutos)

Recolección de la Información Recolección de información en diferentes niveles Nivel bajo: Grid Resource Information Server (GRIS) Recoge información sobre el estado de un recurso determinado. Un GRIS en cada recurso Un conjunto de scripts y sensores que tratan de extraer información útil del recurso. Nivel Medio: Grid Index Information Server (GIIS) Recopila información sobre los recursos de un sitio determinado. Un GIIS para cada sitio Nivel Superior: BDII Recoge información de los recursos de una determinada VO. Una BDII para cada VO. (solución sugerida) Vías para recolectar la información Pull model (Los servidores de alto nivel periódicamente consultan los de menor nivel) Modelo de consulta LDAP (Se consulta directamente a los de más bajo nivel)

Los CE y los SE en un sitio ejecutan una parte del software denominado Proveedor de Información Que Genera la información relevante del recurso (Tipo de SE, capacidad, etc.) Esta información se publica a través del servidor LDAP llamado GRID Resource Information Server (GRIS) En cada sitio el elemento denominado Grid Index Information Server (GIIS) recopila todas las informaciones de los GRISes y las publica. La BDII consulta a su vez a las GIISes y actúa como un caché almacenando información acerca del estatus de la GRID en su BD.

R-GMA

Introducción al R-GMA Relational Grid Monitoring Architecture (R-GMA) Desarrollada como parte del proyecto EuropeanDataGrid (EDG) Ahora como parte del proyecto EGEE. Basado en la Arquitectura de monitoreo GRID (Grid Monitoring Architecture (GMA) del Global Grid Forum (GGF). Utiliza un modelo de datos relacionales Los datos son vistos como tablas La estructura de los datos se define por columnas Cada entrada es una fila (tuple). Consultas usando Structured Query Language (SQL).

Arquitectura de monitoreo GRID (GMA) Los productores almacenan sus localizaciones (URL) en el registro. PRODUCTOR Lugar de almacenamiento El Consumidor consulta el registro y obtienen la direcciones URLs de los productores. REGISTRO Transferencia de datos El consumidor contacta al productor para obtener los datos o puede escuchar al productor para obtener nuevos datos. CONSUMIDOR Búsqueda de Ubicación

R-GMA Relational Grid Monitoring Architecture (R-GMA) La información Adopta un modelo de base de datos con tablas y relaciones entre las mismas. Implementa una base de datos virtual. El usuario consulta la R-GMA de la misma forma que se consulta a una base de datos clásica (SQL string). Implementa diferentes tipos de consultas. La información Se produce y se accede de forma local. Siempre nueva. Puede ser recolectada por una entidad (productor secundario) para ser accedida de forma más rápida.

R-GMA: Schema-Registry-Mediator SCHEMA: Contiene los nombres y definiciones de todas las tablas en la base de datos virtual. REGISTRY: Contiene los detalles de todos los productores que están publicando información en las tablas de la base de datos virtual y además contiene los detalles de los consumidores “continuos”. MEDIATOR: Una serie de reglas para decidir que proveedor se puede contactar para dar respuesta a una solicitud determinada.

R-GMA: Productor-Consumidor Producers: Son los proveedores de datos par la base de datos virtual. Escribir datos en la BD se conoce como publicar. Los datos siempre se publican en filas completas (tuplas). Existen 3 tipos de productores: Primario, secundario, en demanda (Primary, Secondary and On-demand). P1 C1 SQL “INSERT” SQL “SELECT” P2 C2 Consumer: Representa una simple consulta SQL SELECT en la BD virtual. La consulta se realiza contra la lista de productores disponibles en el registro. El registro entonces selecciona el mejor grupo de productores a contactar por el consumidor (mediación), y este envía las consultas directamente a cada uno de los productores seleccionados para obtener las tuplas respuesta.

Consultas y tipos de almacenamiento Continuous: Tan pronto como están listo los nuevos datos son enviados a las partes interesadas. Latest: Corresponde a ideas intuitivas de información actual. History: Devuelve datos con secuencia temporal. TABLE 1,Producer P1 details TABLE 2,Producer P1 details TABLE 2,Producer P2 details TABLE 2,Producer P3 details TABLE 3,Producer P2 details TABLE 3,Producer P1 details TABLE 3,Producer P3 details REGISTRY El almacenamiento de las tuplas puede realizarse en memoria o en bases de datos. P1 LATEST RETENTION PERIOD (LRP) y HISTORY RETENTION PERIOD (RTP) Permite a los productores purgar periódicamente tuplas viejas, y de esta forma dar un preciso significado al termino “estado actual”. Almacenamiento Continuo&Histórico Almacenamiento -Último

GLUE Schema

Esquema GLUE Grid Laboratory Uniform Environment (GLUE) Schema Es un modelo de datos para describir con sentido información de los recursos GRID (información estática y dinámica) Como resultado de la colaboración entre los proyectos EU-DataTAG y iVDGL. EGEE, NorduGrid, LCG y Grid3/OSG contribuyeron a la definición del esquema

Referencias LCG-2 Guía de usuario Panorámica del R-GMA. https://edms.cern.ch/file/454439//LCG-2-UserGuide.html Panorámica del R-GMA. http://www.r-gma.org/ R-GMA en el proyecto EGEE http://hepunx.rl.ac.uk/egee/jra1-uk/ R-GMA Documentación http://hepunx.rl.ac.uk/egee/jra1-uk/glite-r1/ GLUE Schema http://infnforge.cnaf.infn.it/glueinfomodel/

Preguntas