La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Www.eu-eela.eu E-science grid facility for Europe and Latin America gLite Data Management Grupo Grid Universidad de Los Andes.

Presentaciones similares


Presentación del tema: "Www.eu-eela.eu E-science grid facility for Europe and Latin America gLite Data Management Grupo Grid Universidad de Los Andes."— Transcripción de la presentación:

1 E-science grid facility for Europe and Latin America gLite Data Management Grupo Grid Universidad de Los Andes

2 2 Overview gLite Data Management –Introduccion –Ejemplos –Convencion de Nombres –Storage Elemets –LCG File Catalog Practicas en Data Management FTS Overview Practicas de FTS

3 3 Data Management System (DMS) Permite a los usuarios la manipulacion de archivos y otros servicios del Grid. DMS permite ubicar o colocar, acceder y transferir data. –El usuariono necesita saber donde se encuentra la data fisicamente, solo el nombre logico. –La Data es accedida a traves de interfaces estandares. –La data puede ser replicada o transferida a tantos sitios como sea necesario. –La data es compartida con los usuarios de la VO.

4 4 Alcance de los servicios de Data en gLite Simplemente, DMS permite realizar todas las operaciones que el usuario esta acostubrado a utilizar: Subir y bajar archivos Crear archivos / directorios Renombrar archivos / directorios Borrar archivos / directorios Mover archivos / directorios Listar archivos / directorios Crear enlaces simbolicos Nota: Los archivos pueden escribirse una sola vez y leerse tantas veces como se quiera. –Los archivos no pueden cambiarse a menos que sean removidos y reemplazados. –No esta la intencion de proveer un sistema manejador de archivos global.

5 5 Data Issues and Grid Solutions Los centros de recursos necesitan cubrir las crecientes demandas de almacenamiento. – Storage Element capaces de manejar multiples arreglos de discos. Disk Pool Manager (DPM), dCache, CASTOR La data es almacenada utilizando diferentes sistemas de almacenamiento. –Common interface requerida para ocultar la complejidad. Storage Resource Manager (SRM) – storage management protocol GridFTP – Transferencia de archivos segura. La Data es almacenada en diferentes sitios con namespace separados –File catalogue (Catalogo de archivos) para proveer una vista uniforme de la data en el Grid. LCG File Catalog (LFC) Las aplicaciones necesarias para acceder a los servicios de manejo de data en el Grid. –Data management API GFAL

6 6 Data management exampleResourceBrokerStorageElementComputingElement DataSets info Input sandbox Input sandbox + Broker Info Output sandbox User interface LCG FileCatalogue (LFC) StorageElement Archivo replicado en 2 SEs

7 7 Data management exampleStorageElement1 User interface LCG FileCatalogue (LFC) Storage Element 2 Archivo replicado en 2 SEs Myfile.dat File_on_se1 File_on_se2 guid

8 8 Data management exampleStorageElement1 User interface LCG FileCatalogue (LFC) StorageElement2 Myfile.dat Logical filename File_on_se1 (SURL: site URL) File_on_se2 (SURL: site URL) GUID Global Unique Identifier

9 9 Convensiones de nombres Logical File Name (LFN) –Es un alias creado por un usuario para referirse a algun item de data, ejemplo. lfn:/grid/cms/ /corrida1/tests1 Globally Unique Identifier (GUID) –Un unico identificador no leeible por humanos para un item de data, por ejemplo: guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6 Storage URL (SURL) or Physical File Name (PFN) –La ubicacion actual de una parte de data en un sistema de almacenamiento, e.g. srm://pcrd24.cern.ch/flatfiles/cms/output10_1 (SRM) sfn://lxshare0209.cern.ch/data/alice/ntuples.dat (Classic SE) Transport URL (TURL) –Localizador temporal de una replica, mas el protocolo de acceso.Temporary locator of a replica + access protocol: understood by a SE, e.g. rfio://lxshare0209.cern.ch//data/alice/ntuples.dat

10 10 Storage Element Provee –Espacio de almacenamiento para los archivos –Interfaz SRM Interface –Protocolo de transferencia (gsiFTP) ~ GSI basado en un servidor FTP –Acceso a archivos POSIX-like Accesados via Grid File Access Layer (GFAL) Interfaz API Para leer partes de un archivo muy grande para ser copiado. Ejemplo de un SE es un Disk Pool Manager (DPM) –Manejo escalable para arreglos de discos independientes para los sitios. –Facil de instalar, configurar y administrar. –Volatil y Permanente. –Protocolo seguro de transferencia local y remota. GridFTP, secure RFIO

11 11 LFC Service LFC = LCG File Catalogue –LCG = LHC Compute Grid –LHC = Large Hadron Collider Provee –Mapeo entre LFN, GUID y SURL –Transaccion, sesion y preguntas. –Espacio de nombres jerarquicos, enlaces simbolicos. –Sistema de metadata –Unica cadena de metadata de usuarios. Todos los miembros de una VO dada tienen permiso de lectura y escritura en el directorio. Los comandos son como los de UNIX con lfc- como prefijo en la mayoria de los comandos.

12 12 LFC Users primarily access and manage files through logical filenames Mapeado por el LFC catalogue server Definida por el usuario LFC Namespace LFC tiene una estructura de directorios como un arbol /grid/ /

13 13 Dos conjuntos de comandos Comandos lfc –Utilice los comandos LFC para interactuar con el catalogo solamente: Para crear el directorio del catalogo Para listar archivos –Utilizado con lcg-utils lcg-utils –Operaciones de catalogos para el manejo de archivos Mantiene el Catalogo y el SE en un paso –Copia archivos de/para/entre SEs –Replicas

14 14 Comandos LFC Adiciona, reemplaza un comentariolfc-setcomment Asocia una lista de acceso a un archivo o directoriolfc-setacl Remover un archivo o directoriolfc-rm Renombrar un archivo o directoriolfc-rename Crear un directoriolfc-mkdir Lista los archivos directorios en un directoriolfc-ls Permite crear un enlace simbolico a un archivo/directoriolfc-ln Ver una lista de control de acceso de un archivo/directoriolfc-getacl Elimina el comentario asociado a un archivolfc-delcomment Cambia el propietario de un archivo/directorio del LFClfc-chown Cambia el modo de acceso de un archivo/directorio del LFClfc-chmod Resumen de los comandos LFC

15 15 Comandos lcg-utils Manejo de Replicas lcg-cpCopia un archivo del grid a un destino local. lcg-crCopia un archivo a un SE y registra el archivo en el catalogo. lcg-delElimina un archivo lcg-repReplicacion entre SEs y registra la replica en el catalogo lcg-gtBusca el TURL de un dado SURL y el protocolo de transferencia lcg-sdColoca el estatus Done para un dado SURL en una peticion SRM

16 16 Sobre… Listar directorios Subir un archivo a un SE y registar un nombre logico (lfn) en el catalogo Duplicar un archivo en otro SE Listar las replicas Crear un segundo nombre logico para un archivo Bajar un archivo del SE para el UI

17 17 File Transfer Service FTS es un servicio de manejo de data de bajo nivel Por que es necesario? –Para mejorar la confiabilidad de las transferencias –Provee transferencia de archivos de manera asincrona. Planifica las tranferencias cuando los recursos estan disponibles. –Provee propiedades que permite controlar las transferencias (concepto de channel) No permite las interacciones con los catalogo, los usuarios deben manejarlo con SURL

18 18 Conceptos FTS Transferencia de Trabajo –Un par de fuente/destino especifica los archivos a tranferir –Enviados para el procesamiento FTS Channel –Un trabajo es asignado para un channel despues del envio. –Representa un enlace de una red punto a punto. –Tma tantos channels como sean posibles. Todos a mi, de mi a todos. –Similar a una cola donde se especifica Compartir la VO para la cola Numero de tranferencias de archivos concurrentes Numero de streams (gridFTP)

19 19 Arquitectura FTS Todos los componentes estan desacolplados unos de otros. –Cada uno interactua con la bases de datos de manera independiente. Experimentos utilizando interfaces web –User: FileTransfer –Admin: ChannelManagement Los agentes de las VO asignan los jobs a los channels El agente Channel maneja las transferencias de archivos asignadas Monitorea y lleva las estadisticas que pueden ser almacenadas a traves de la base de datos.

20 20 Comandos FTS FTS client glite-transfer-submitEnvia una transferencia de job: necesita al menos una fuente y un destino SURL glite-transfer-statusDado uno o mas IDs de los trabajos, preguntas acerca del estatus del trabajo. glite-transfer-cancelBorrar la transferencia con el el ID del trabajo. glite-transfer-listPreguntar acerca del estatus de todos los trabajos de los usuarios soporta opciones de preguntas de restricciones. glite-transfer- channel-list Muestra todos los canales disponibles.

21 Preguntas 21


Descargar ppt "Www.eu-eela.eu E-science grid facility for Europe and Latin America gLite Data Management Grupo Grid Universidad de Los Andes."

Presentaciones similares


Anuncios Google