gLite Data Management Grupo Grid Universidad de Los Andes “s” gLite and LCG

Overview gLite Data Management Practicas en Data Management Introduccion Ejemplos Convencion de Nombres Storage Elemets LCG File Catalog Practicas en Data Management FTS Overview Practicas de FTS

Data Management System (DMS) Permite a los usuarios la manipulacion de archivos y otros servicios del Grid. DMS permite ubicar o colocar, acceder y transferir data. El usuariono necesita saber donde se encuentra la data fisicamente, solo el nombre logico. La Data es accedida a traves de interfaces estandares. La data puede ser replicada o transferida a tantos sitios como sea necesario. La data es compartida con los usuarios de la VO.

Alcance de los servicios de Data en gLite Simplemente, DMS permite realizar todas las operaciones que el usuario esta acostubrado a utilizar: Subir y bajar archivos Crear archivos / directorios Renombrar archivos / directorios Borrar archivos / directorios Mover archivos / directorios Listar archivos / directorios Crear enlaces simbolicos Nota: Los archivos pueden escribirse una sola vez y leerse tantas veces como se quiera. Los archivos no pueden cambiarse a menos que sean removidos y reemplazados. No esta la intencion de proveer un sistema manejador de archivos global.

Data Issues and Grid Solutions Los centros de recursos necesitan cubrir las crecientes demandas de almacenamiento. Storage Element capaces de manejar multiples arreglos de discos. Disk Pool Manager (DPM), dCache, CASTOR La data es almacenada utilizando diferentes sistemas de almacenamiento. Common interface requerida para ocultar la complejidad. Storage Resource Manager (SRM) – storage management protocol GridFTP – Transferencia de archivos segura. La Data es almacenada en diferentes sitios con namespace separados File catalogue (Catalogo de archivos) para proveer una vista uniforme de la data en el Grid. LCG File Catalog (LFC) Las aplicaciones necesarias para acceder a los servicios de manejo de data en el Grid. Data management API GFAL

Data management example LCG FileCatalogue (LFC) “User interface” Input “sandbox” DataSets info Output “sandbox” Resource Broker Input “sandbox” + Broker Info Output “sandbox” Storage Element Storage Element Slide inherited from EDG – European Data Grid Computing Element Archivo replicado en 2 SEs

Data management example LCG FileCatalogue (LFC) “User interface” “Myfile.dat” Myfile.dat File_on_se1 File_on_se2 guid Storage Element 2 Storage Element1 Slide inherited from EDG – European Data Grid Archivo replicado en 2 SEs

Data management example LCG FileCatalogue (LFC) “User interface” “Myfile.dat” File_on_se1 (“SURL”: site URL) Myfile.dat “Logical filename” “GUID” Global Unique Identifier File_on_se2 (“SURL”: site URL) Storage Element2 Storage Element1 Slide inherited from EDG – European Data Grid

Convensiones de nombres Logical File Name (LFN) Es un alias creado por un usuario para referirse a algun item de data, ejemplo. “lfn:/grid/cms/20080203/corrida1/tests1” Globally Unique Identifier (GUID) Un unico identificador no leeible por humanos para un item de data, por ejemplo: “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6” Storage URL (SURL) or Physical File Name (PFN) La ubicacion actual de una parte de data en un sistema de almacenamiento, e.g. “srm://pcrd24.cern.ch/flatfiles/cms/output10_1” (SRM) “sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” (Classic SE) Transport URL (TURL) Localizador temporal de una replica, mas el protocolo de acceso.Temporary locator of a replica + access protocol: understood by a SE, e.g. “rfio://lxshare0209.cern.ch//data/alice/ntuples.dat”

Storage Element Provee Ejemplo de un SE es un Disk Pool Manager (DPM) Espacio de almacenamiento para los archivos Interfaz SRM Interface Protocolo de transferencia (gsiFTP) ~ GSI basado en un servidor FTP Acceso a archivos POSIX-like Accesados via Grid File Access Layer (GFAL) Interfaz API Para leer partes de un archivo muy grande para ser copiado. Ejemplo de un SE es un Disk Pool Manager (DPM) Manejo escalable para arreglos de discos independientes para los sitios. Facil de instalar, configurar y administrar. Volatil y Permanente. Protocolo seguro de transferencia local y remota. GridFTP, secure RFIO

LFC Service LFC = LCG File Catalogue Provee LCG = LHC Compute Grid LHC = Large Hadron Collider Provee Mapeo entre LFN, GUID y SURL Transaccion, sesion y preguntas. Espacio de nombres jerarquicos, enlaces simbolicos. Sistema de metadata Unica cadena de metadata de usuarios. Todos los miembros de una VO dada tienen permiso de lectura y escritura en el directorio. Los comandos son como los de UNIX con “lfc-” como prefijo en la mayoria de los comandos.

Definida por el usuario LFC Users primarily access and manage files through “logical filenames” Definida por el usuario LFC Namespace LFC tiene una estructura de directorios como un arbol /grid/<nombre_vo>/ <ud crea este> Mapeado por el “LFC” catalogue server

Dos conjuntos de comandos Comandos lfc Utilice los comandos LFC para interactuar con el catalogo solamente: Para crear el directorio del catalogo Para listar archivos Utilizado con lcg-utils lcg-utils Operaciones de catalogos para el manejo de archivos Mantiene el Catalogo y el SE en un paso Copia archivos de/para/entre SEs Replicas

Comandos LFC Resumen de los comandos LFC Adiciona, reemplaza un comentario lfc-setcomment Asocia una lista de acceso a un archivo o directorio lfc-setacl Remover un archivo o directorio lfc-rm Renombrar un archivo o directorio lfc-rename Crear un directorio lfc-mkdir Lista los archivos directorios en un directorio lfc-ls Permite crear un enlace simbolico a un archivo/directorio lfc-ln Ver una lista de control de acceso de un archivo/directorio lfc-getacl Elimina el comentario asociado a un archivo lfc-delcomment Cambia el propietario de un archivo/directorio del LFC lfc-chown Cambia el modo de acceso de un archivo/directorio del LFC lfc-chmod

Comandos lcg-utils Manejo de Replicas lcg-cp Copia un archivo del grid a un destino local. lcg-cr Copia un archivo a un SE y registra el archivo en el catalogo. lcg-del Elimina un archivo lcg-rep Replicacion entre SEs y registra la replica en el catalogo lcg-gt Busca el TURL de un dado SURL y el protocolo de transferencia lcg-sd Coloca el estatus “Done” para un dado SURL en una peticion SRM

Sobre… Listar directorios Subir un archivo a un SE y registar un nombre logico (lfn) en el catalogo Duplicar un archivo en otro SE Listar las replicas Crear un segundo nombre logico para un archivo Bajar un archivo del SE para el UI

File Transfer Service FTS es un servicio de manejo de data de bajo nivel Por que es necesario? Para mejorar la confiabilidad de las transferencias Provee transferencia de archivos de manera asincrona. Planifica las tranferencias cuando los recursos estan disponibles. Provee propiedades que permite controlar las transferencias (concepto de channel) No permite las interacciones con los catalogo, los usuarios deben manejarlo con SURL

Conceptos FTS Transferencia de Trabajo Channel Un par de fuente/destino especifica los archivos a tranferir Enviados para el procesamiento FTS Channel Un trabajo es asignado para un channel despues del envio. Representa un enlace de una red punto a punto. Tma tantos channels como sean posibles. Todos a mi, de mi a todos. Similar a una cola donde se especifica Compartir la VO para la cola Numero de tranferencias de archivos concurrentes Numero de streams (gridFTP)

Arquitectura FTS Todos los componentes estan desacolplados unos de otros. Cada uno interactua con la bases de datos de manera independiente. Experimentos utilizando interfaces web User: FileTransfer Admin: ChannelManagement Los agentes de las VO asignan los jobs a los channels El agente Channel maneja las transferencias de archivos asignadas Monitorea y lleva las estadisticas que pueden ser almacenadas a traves de la base de datos.

Comandos FTS FTS client glite-transfer-submit Envia una transferencia de job: necesita al menos una fuente y un destino SURL glite-transfer-status Dado uno o mas IDs de los trabajos, preguntas acerca del estatus del trabajo. glite-transfer-cancel Borrar la transferencia con el el ID del trabajo. glite-transfer-list Preguntar acerca del estatus de todos los trabajos de los usuarios soporta opciones de preguntas de restricciones. glite-transfer-channel-list Muestra todos los canales disponibles.

Preguntas