IST E-infrastructure shared between Europe and Latin America Hands-on on the gLite Information System Christian Grunfeld, UNLP 8th EELA Tutorial, La Plata, 11/12-12/12, 2006

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, BDII – MDS: lcg-infosites y lcg-info R-GMA: rgma Information System

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Para consultar directamente al IS existen dos herramientas de alto nivel: lcg-infosites lcg-info Estas herramientas son suficientes para la mayoría de los casos que los usuarios necesitan y pueden ser usadas para ocultar la complejidad de las consultas LDAP. BDII - MDS

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Esta herramienta provee información relacionada a los servicios de la Grid: lcg-infosites --vo vo opción Es obligatorio incluir la vo y la opción. El parámetro --is especifica la BDII a consultar. Si no es suministrado, la BDII definida en la variable de entorno LCG_GFAL_INFOSYS será usada. Lista de opciones: Imprime las opciones disponibles help Agrupa todo lo anterior all Nombre del catalogo lfc para la VO del usuario lfc Nombres de los SEs junto con el espacio disponible y usado se Numero de CPUs, jobs running y waiting y los nombres de los CEs ce Nombre de los CEs donde la VO del usuario tiene autorización de ejecutar junto con sus correspondientes SEs cercanos. closeSE lcg-infosites

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 1 Obtener información sobre los CEs $ lcg-infosites --vo gilda ce

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, $ lcg-infosites --vo gilda ce valor del bdii: grid004.ct.infn.it:2170 #CPU Free Total Jobs Running Waiting ComputingElement trigrid- ce00.unime.it:2119/jobmanager-lcgpbs-short trigrid- ce00.unime.it:2119/jobmanager-lcgpbs-long trigrid- ce00.unime.it:2119/jobmanager-lcgpbs-infinite gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-long gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-short gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-infinite [..] Ejercicio 1

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 2 Obtener información sobre los SEs $ lcg-infosites --vo gilda se

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, $ lcg-infosites --vo gilda se Avail Space(Kb) Used Space(Kb) Type SEs disk cn02.be.itu.edu.tr disk grid009.ct.infn.it disk grid003.cecalc.ula.ve disk gildase.oact.inaf.it disk testbed005.cnaf.infn.it disk gilda-se-01.pd.infn.it disk cna03.cna.unicamp.br disk grid-se.bio.dist.unige.it Ejercicio 2

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 3 Obtener información sobre el software instalado $ lcg-infosites --vo gilda tag

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, $ lcg-infosites --vo gilda tag ************************************************************* Information for gilda relative to their software tags included in each CE ************************************************************* Name of the TAG: VO-gilda-GEANT Name of the TAG: VO-gilda-GKS05 Name of the CE:cn01.be.itu.edu.tr Name of the TAG: VO-gilda-slc3_ia32_gcc323 Name of the TAG: VO-gilda-CMKIN_5_1_1 Name of the TAG: VO-gilda-GEANT Name of the TAG: VO-gilda-GKS05 Name of the CE:grid010.ct.infn.it [..] Ejercicio 3

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 4 Listar los CEs relativos a la VO junto con los SEs más cercanos $ lcg-infosites --vo gilda closeSE

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, $ lcg-infosites --vo gilda closeSE valor del bdii: grid004.ct.infn.it:2170 Name of the CE: trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-short trigrid-ce01.unime.it Name of the CE: trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-long trigrid-ce01.unime.it Name of the CE: trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-infinite trigrid-ce01.unime.it Name of the CE: gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-long gildase01.roma3.infn.it Name of the CE: gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-short gildase01.roma3.infn.it Ejercicio 4

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Este comando permite al usuario consultar, de una manera más profunda, la BDII. Requiere que la variable de entorno LCG_GFAL_INFOSYS contenga el valor de la BDII a consultar, por ej: grid004.ct.infn.it:2170 Imprime la lista de CEs o SEs que satisfacen una dada condición (query) junto con la lista de los atributos especificados. $ lcg-info --vo vo opción --query query --attrs attrs La sintaxis del query es la siguiente: attr1=valor1,attr2=valor2,...,attrN=valorN – attrN es el nombre del atributo. –Diferentes condiciones deben estar separadas por comas y sin espacios en blanco. –La solicitud será el AND lógico entre todas las condiciones especificadas. lcg-info

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Restringe la salida a los CEs o SEs en donde la VO del usuario es autorizada. Obligatorio cuando atributos dependientes de la VO son consultados. --vo Especifica los atributos cuyos valores deben ser mostrados.--attrs Imprime la salida en un formato "sed-friendly".--sed Permite especificar la BDII en la forma :. Si no se especifica se usa el valor de la variable de entorno LCG_GFAL_INFOSYS. Si no está definida, el comando devuelve un error. --bdii Restringe la salida a los CEs o SEs que satisfacen la condición dada. --query Lista los SEs que satisfacen una condición, o todos los SEs si no se especifica ninguna condición. --list-se Lista los CEs que satisfacen una condición, o todos los CEs si no se especifica ninguna condición. --list-ce Imprime la lista de todos los atributos que pueden ser consultados. --list-attrs Opciones de lcg-info

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 5 Obtener la lista de atributos soportados $ lcg-info --list-attrs

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 5 $ lcg-info --list-attrs Attribute name Glue object class Glue attribute name MaxTime GlueCE GlueCEPolicyMaxWallClockTime CEStatus GlueCE GlueCEStateStatus TotalJobs GlueCE GlueCEStateTotalJobs CEVOs GlueCE GlueCEAccessControlBaseRule TotalCPUs GlueCE GlueCEInfoTotalCPUs FreeCPUs GlueCE GlueCEStateFreeCPUs CE GlueCE GlueCEUniqueID WaitingJobs GlueCE GlueCEStateWaitingJobs RunningJobs GlueCE GlueCEStateRunningJobs CloseCE GlueCESEBindGroup GlueCESEBindGroupCEUniqueID CloseSE GlueCESEBindGroup GlueCESEBindGroupSEUniqueID SEVOs GlueSA GlueSAAccessControlBaseRule UsedSpace GlueSA GlueSAStateUsedSpace AvailableSpace GlueSA GlueSAStateAvailableSpace Type GlueSE GlueSEType SE GlueSE GlueSEUniqueID Protocol GlueSEAccessProtocol GlueSEAccessProtocolType ArchType GlueSL GlueSLArchitectureType Processor GlueSubCluster GlueHostProcessorModel OS GlueSubCluster GlueHostOperatingSystemName Cluster GlueSubCluster GlueSubClusterUniqueID …

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 6 Listar todos los CEs en el BDII que satisfacen unas condiciones dadas $ lcg-info --list-ce --query ´TotalCPUs=10, Processor=PIII´ --attrs ´RunningJobs,FreeCPUs´

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 6 $ lcg-info --list-ce --query ´TotalCPUs=10,Processor=PIII´ --attrs ´RunningJobs,FreeCPUs´ - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-infinite - RunningJobs 0 - FreeCPUs 10 - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long - RunningJobs 0 - FreeCPUs 10 - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short - RunningJobs 0 - FreeCPUs 10 …

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, R-GMA Para iniciar la interfaz de línea de comandos del R-GMA ejecute: $ rgma Al iniciar aparecerá el siguiente mensaje: Welcome to the R-GMA virtual database for Virtual Organisations. ================================================================ Your local R-GMA server is: You are connected to the following R-GMA Registry services: You are connected to the following R-GMA Schema service: Type "help" for a list of commands. rgma>

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Entrada de comandos Para ejecutar un comando: Tipee el comando luego del prompt rgma> y ejecute presionando la tecla enter. La historia de comandos ejecutados puede ser accesada usando las teclas up y down. Para buscar un comando en la historia use CTRL-R y tipee las primeras letras del comando buscado. Soporta el autocompletado de comandos (use la tecla Tab para completar el comando).

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, help Muestra información general de ayuda. help Muestra ayuda para un comando especifico. exit or quit Sale de la interfaz de línea de comandos del R-GMA. show tables Muestra los nombres de todas las tablas existentes en el Esquema (Schema). describe Muestra toda la información sobre la estructura de una tabla. Comandos generales

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Solicitando Datos Para solicitar datos se usa la declaración estandar de SQL SELECT : rgma> SELECT * FROM GlueService El comportamiento del SELECT varía de acuerdo al tipo de solicitud ejecutada. En R-GMA hay tres tipos básicos de solicitudes: Solicitudes LATEST retorna solo las tuplas más recientes para cada clave primaria. Solicitudes HISTORY retorna todas las tuplas historicas para cada clave primaria. Solicitudes CONTINUOUS retorna continuamente tuplas como sean insertadas.

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Tipos de consultas El tipo de solicitud puede ser cambiado usando el comando SET QUERY : rgma> SET QUERY LATEST o rgma> SET QUERY CONTINUOUS El tipo actual de solicitud puede ser mostrado usando el comando rgma> SHOW QUERY

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicios 1.Muestre todas las tablas del Esquema rgma> show tables 2.Muestre la información acerca de la tabla GlueSite rgma> describe GlueSite 3.Haga una solicitud sobre la tabla llamada GlueSite rgma> set query latest rgma> show query rgma> select Name,Latitude,Longitude from GlueSite

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Edad máxima de una tupla La edad máxima de las tuplas retornadas puede ser controlada. Para limitar la edad de las tuplas latest o history use el comando SET MAXAGE rgma> SET MAXAGE 2 minutes ó rgma> SET MAXAGE 120 La edad máxima actual de las tuplas puede ser mostrada usando rgma> SHOW MAXAGE Para deshabilitar la edad máxima rgma> SET MAXAGE none

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Solicitud timeout La propiedad final que afecta la solicitud es el timeout –Para una solicitud latest o history el timeout existe para prevenir problemas (p.e. fallas de red). –Para una solicitud continuous, el timeout indica cuán larga la solicitud continuará retornando nuevas tuplas. –Por defecto el timeout es de 1 minuto y puede ser cambiado usando: rgma>SET TIMEOUT 3 minutes ó rgma>SET TIMEOUT 180 El timeout actual puede ser mostrado usando: rgma>SHOW TIMEOUT

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Producer e Inserción de Datos La declaración SQL INSERT puede ser usada para insertar datos al sistema: rgma> INSERT INTO userTable VALUES (a, b, 3, 5) En R-GMA, los datos son insertados en el sistema usando un componente Producer, el cual maneja la declaración INSERT. Usando la interfaz de línea de comando se puede trabajar con un producer a la vez.

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Producer e Inserción de Datos El tipo de producer actual puede ser desplegado usando: rgma>show producer El tipo de producer puede ser configurado usando: rgma>set producer latest

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 1.Inserte y seleccione usando un Producer primario para soportar solicitudes Continuas + Historicas rgma> set producer continuous rgma> insert into userTable values ('cod', 'string', 1.4, 66) rgma> set query continuous rgma> set maxage 1 minutes rgma> set timeout 5 seconds rgma> select * from userTable

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Producer secundario Para instruir al producer secundario a consumir desde la tabla userTable: rgma> SECONDARYPRODUCER userTable El producer secundario puede ser configurado para responder a solicitudes latest y/o history: rgma> SET SECONDARYPRODUCER latest El tipo del actual del producer secundario puede ser mostrado usando: rgma> SHOW SECONDARYPRODUCER

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Ejercicio 2. Inserte y Seleccione usando un Producer secundario para soportar solicitudes latest. rgma> set secondaryproducer latest rgma> secondaryproducer userTable rgma> show producers of userTable rgma> set producer continuous rgma> insert into userTable values ('cod', 'string', 5.2, 44) rgma> set query latest rgma> select * from userTable

IST E-infrastructure shared between Europe and Latin America Santiago - Chile, EELA Tutorial, Preguntas