EGEE-III INFSO-RI-222667 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Architecture of the gLite Data Management.

Presentación del tema: "EGEE-III INFSO-RI-222667 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Architecture of the gLite Data Management."— Transcripción de la presentación:

1 EGEE-III INFSO-RI-222667 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Architecture of the gLite Data Management System Virginia Martín-Rubio Pascual RedIRIS virginia.martinrubio@rediris.es gLite tutorial for users and applications developers 26-30 de Octubre de 2009 Madrid

2 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Índice -Introducción a la gestión de datos en Grid -DMS (Data Storage Management) -SE (Storage Element) Tipos de SE, protocolos soportados -SRM (Storage Resource Manager) -Nomenclatura ficheros Grid -LFC (LCG File Catalog) Arquitectura Ejemplos Comandos LFC -Herramienta de Gestión de réplicas LCG Comandos LCG

3 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Introducción Usuarios y programas producen y requieren datos, estos pueden ser de distinta naturaleza pero son tratados de la misma forma  archivos. Archivos: Generalmente son escritos una sola vez y leídos muchas Localizados en Storage Elements (SEs) Algunas réplicas de un archivo se encuentran en diferentes sitios Accesibles por los usuarios de Grid y aplicaciones desde “cualquier parte” Localizable por el WMS (requerimientos descritos en JDL) Ademas… WMS puede enviar datos hacia y desde los jobs: Input y Output Sandbox. Archivos pueden ser copiados desde los sistemas de ficheros locales (WNs, UIs) hacia el Grid (SEs) y viceversa.

4 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 El reto de DMS (Data Managament System)

5 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 DMS (Data Management System) DMS permite la manipulación de los datos: -El usuario no necesita conocer donde se encuentran los datos físicamente, solo su nombre lógico. -Los datos son consultados a través de interfaces estándares. -Los datos pueden ser replicados o transferidos a tantos sitios como sea necesario. -Los datos almacenados son compartidos con otros usuarios de la misma VO. DMS permite realizar todas las operaciones que el usuario esta acostumbrado a utilizar: -Subir/bajar archivos, -Crear/renombrar/borrar/mover/listar archivos/directorios, -Crear enlaces simbólicos.

6 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 SE (Storage Element) Storage Element: es el servicio que permite a un usuario o una aplicación almacenar datos para recuperarlos en el futuro. -Los archivos pueden escribirse una sola vez y leerse tantas veces como se requiera. -Los archivos no pueden cambiarse a menos que sean eliminados o reemplazados. -Permite administrar diferentes sistemas de almacenamiento de manera uniforme y transparente para el usuario (proporcionando una interfaz SRM). -Soporta protocolos de transferencia de archivos básicos: (donde GSI significa Grid Security Infraestructure) -Soporta un protocolo de acceso nativo I/O POSIX, librerias cliente I/O para acceso directo a datos (GFAL, Grid File Access Library).

7 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Tipos de SE Existen distintos tipos de Storage Elements: -Classic SE: servidor GridFTP, usa RFIO en modo no seguro (no está soportado por la interfaz SRM). Cercano a dejar de estar soportado. Sistemas de almacenamiento masivo: -CASTOR: CERN Advanced STORage manager. Es un sistema de ficheros virtual. Como usa el protocolo RFIO en modo no seguro y no soporta GSI, solo está permitido acceder a los archivos almacenados desde la misma LAN del SE. Disk pool managers: -dCache: consiste en un servidor y uno o más pool de discos, los discos se pueden añadir al pool de manera dináminca. dCache usa el protocolo gsicap. Se emplea como frontend buffer de disco en muchos sistemas de almacenamiento masivo (como por ejemplo HPSS o Enstore). -LCG Disk pool manager (DPM): es un gestor de pool de discos ligero donde los discos también pueden ser añadidos dinámicamente. Al igual que ocurre con CASTOR y dCache, esconde la complejidad de la arquitectura del pool de discos. Emplea el protocolo RFIO en modo seguro, lo que permite acceder desde una WAN.

8 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 SRM SRM (Storage Resource Manager) SRM ha sido diseñado como una interfaz única que se encarga de la interacción de los SE (tanto dispositvos de almacenamiento masivo como disk pool managers) con el almacenamiento local. Esquema de funcionamiento: 1. El cliente solicita un archivo al SRM. 2. El SRM solicita al sistema de almacenamiento la recuperación del archivo. 3. El sistema de almacenamiento notifica la disponibilidad del archivo y su ubicación. 4. El SRM devuelve la TURL (Transport URL), por ejemplo: la ubicación donde se puede acceder al archivo. 5. El cliente interactúa con el sistema de almacenamiento usando el protocolo especificado por la TURL. SE CASTOR SE DPM SE dCache Cliente

9 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Nomenclatura de los ficheros -Logical File Name (LFN), alias creado por el usuario que puede usarse para identificar un fichero: lfn:/grid/gilda/tutorials/input-file -Grid Unique Identifier (GUID), compartido por todas las réplicas de un fichero guid:4d57edef-fa5c-4512-a345-1c838916b357 -Storage URL (SURL), réplica del fichero localizada en un SE específico: srm://aliserv6.ct.infn.it/gilda/generated/2007-11-13/fileb366f371-b2c0-485d- b12c-c114edaf4db4 -Transport URL (TURL), réplica del fichero localizada en un SE específico y transportada con un determinado protocolo: gsiftp://gilda.ct.infn.it/gilda/generated/2007-11-13/fileb366f371-b2c0-485d-b12c- c114edaf4db4

10 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 LFC (LCG File Catalog) ¿Cómo llevar la cuenta de todos los ficheros que tenemos en el Grid? LFC es el servicio que mantiene localizadas las distintas réplicas de los ficheros Grid, guardando el mapeo entre los distintos LFNs, SURLs y GUIDs. -LFC publica el camino hasta los ficheros en el Sistema de Información para que puedan ser descubiertos por otras herramientas de gestión de datos u otros servicios (por ejemplo el WMS). -Consiste en un único catálogo donde los usuarios pueden acceder y administrar ficheros a través del LFN. -Sistema de metadatos y enlaces simbólicos. -Estructura de directorios en forma de árbol. Para cada VO soportada existe un directorio dentro del directorio “/grid” donde todos los miembros de esa VO tienen permisos de lectura-escritura.

11 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Ejemplo de LFC Espacio de nombre LFCDefinido por el usuario

12 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Arquitectura del catálogo LFC Más LFN pueden ser añadidos como SURLs enlaces simbólicos al LFN principal.

13 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Ejemplo 1: lanzamiento de un trabajo -Ficheros pequeños: InputSandbox / OutputSandbox (atributos del.jdl) -El tamaño máximo de estos ficheros es de 10MB.

14 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Ejemplo 2: gestión de datos en un trabajo(1/2) -Ficheros almacenados en un SE:

15 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Ejemplo 2: gestión de datos en un trabajo(2/2) Si el trabajo necesita un fichero de gran tamaño almacenado en un SE lo puede especificar en el jdl para que el WMS elija el CE más cercano a ese SE. Por ejemplo: DataRequirements = { [ InputData = {"lfn:/grid/gilda/emidio/test.txt"}; DataCatalogType = "DLI"; DataCatalog = "http://lfc-gilda.ct.infn.it:8085"; ] }; DataAccessProtocol = {"rfio","gsiftp"}; Introducción a gLite

16 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Comandos LFC -El usuario puede interactuar con el catálogo de ficheros (LFC) a través de la línea de comandos o de APIs para C. -Es necesario que la variable de entorno LFC_HOST contenga el nombre del servidor LFC: LFC_HOST=lfc-gilda.ct.infn.it -La estructura de directorios del espacio de nombres LFC tiene el siguiente aspecto: /grid/ / -Los comandos LFC permiten manipular los archivos y directorios registrados en el LFC.

17 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Listado de comandos LFC

18 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 ACL (Access Control List) LFC permite adjuntar a un fichero o a un directorio una lista de control de acceso (ACL), que consiste en una lista de permisos que indican quien puede acceder o modificar dicho fichero o directorio. -Los permisos son similares a los de los sistemas de ficheros UNIX: lectura(r), escritura(w) y ejecución (x) -En LFC todos los usuarios y grupos están definidos por identificadores de usuario (uids) o de grupo (gid) numéricos y virtuales (porque sólo existen en el espacio de nombres del LFC). Un usuario puede identificarse por un nombre, un uid virtual o un DN. Un grupo puede identificarse por un nombre, un gid virtual o el FQAN (Fully Qualified Attribute Name) de un VOMS. -Un directorio LFC tiene también una ACL por defecto, que es heredada por los ficheros y subdirectorios que existan dentro de este. -Al crear un subdirectorio su ACL por defecto es heredada de su directorio padre.

19 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 Herramienta LCG para la gestión de datos -La herramienta de gestión de datos LCG permite a los usuarios copiar ficheros entre la UI, WN y un SE, registrar las entradas en el LFC y duplicar ficheros entre SEs. -El paquete lcg-utils asegura la relación entre archivos en el SE y el LFC. -Es necesario que la variable de entorno LCG_GFAL_INFOSYS contenga el nombre del servidor top BDII: LCG-GFAL_INFOSYS=gilda-bdii.ct.infn.it:2170 lcg-cpCopia un archivo del grid a un destino local. lcg-crCopia un archivo a un SE y registra el archivo en el catálogo. lcg-delElimina un archivo lcg-repDuplica un archivo en dos SEs y registra la réplica en el catálogo lcg-gtBusca el TURL de un dado SURL y el protocolo de transferencia

20 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 20 Referencias gLite: Guía del usuario https://edms.cern.ch/file/722398/gLite-3-UserGuide.pdf Documentación oficial de LFC y DPM https://twiki.cern.ch/twiki/bin/view/LCG/DataManagementDocumentation Documentación del DMS http://egee-jra1-dm.web.cern.ch/egee-jra1-dm/doc.htm

21 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 21 Preguntas ¡Gracias por vuestra atención! ¿Preguntas?