IST-2006-026409 www.eu-eela.org E-infrastructure shared between Europe and Latin America Hands-on on the gLite Information System Christian Grunfeld, UNLP.

Presentación del tema: "IST-2006-026409 www.eu-eela.org E-infrastructure shared between Europe and Latin America Hands-on on the gLite Information System Christian Grunfeld, UNLP."— Transcripción de la presentación:

1 IST-2006-026409 www.eu-eela.org E-infrastructure shared between Europe and Latin America Hands-on on the gLite Information System Christian Grunfeld, UNLP 8th EELA Tutorial, La Plata, 11/12-12/12, 2006

2 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 2 BDII – MDS: lcg-infosites y lcg-info R-GMA: rgma Information System

3 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 3 Para consultar directamente al IS existen dos herramientas de alto nivel: lcg-infosites lcg-info Estas herramientas son suficientes para la mayoría de los casos que los usuarios necesitan y pueden ser usadas para ocultar la complejidad de las consultas LDAP. BDII - MDS

4 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 4 Esta herramienta provee información relacionada a los servicios de la Grid: lcg-infosites --vo vo opción Es obligatorio incluir la vo y la opción. El parámetro --is especifica la BDII a consultar. Si no es suministrado, la BDII definida en la variable de entorno LCG_GFAL_INFOSYS será usada. Lista de opciones: Imprime las opciones disponibles help Agrupa todo lo anterior all Nombre del catalogo lfc para la VO del usuario lfc Nombres de los SEs junto con el espacio disponible y usado se Numero de CPUs, jobs running y waiting y los nombres de los CEs ce Nombre de los CEs donde la VO del usuario tiene autorización de ejecutar junto con sus correspondientes SEs cercanos. closeSE lcg-infosites

5 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 5 Ejercicio 1 Obtener información sobre los CEs $ lcg-infosites --vo gilda ce

6 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 6 $ lcg-infosites --vo gilda ce valor del bdii: grid004.ct.infn.it:2170 #CPU Free Total Jobs Running Waiting ComputingElement ---------------------------------------------------------- 2 02 1 1 trigrid- ce00.unime.it:2119/jobmanager-lcgpbs-short 2 02 1 1 trigrid- ce00.unime.it:2119/jobmanager-lcgpbs-long 2 0 2 0 2 trigrid- ce00.unime.it:2119/jobmanager-lcgpbs-infinite 4 4 0 0 0 gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-long 4 4 0 0 0 gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-short 4 4 0 0 0 gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-infinite [..] Ejercicio 1

7 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 7 Ejercicio 2 Obtener información sobre los SEs $ lcg-infosites --vo gilda se

8 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 8 $ lcg-infosites --vo gilda se Avail Space(Kb) Used Space(Kb) Type SEs --------------------------------------------------------------- 143547680 2472756 disk cn02.be.itu.edu.tr 168727984 118549624 disk grid009.ct.infn.it 13908644 2819288 disk grid003.cecalc.ula.ve 108741124 2442872 disk gildase.oact.inaf.it 28211488 2948292 disk testbed005.cnaf.infn.it 349001680 33028 disk gilda-se-01.pd.infn.it 31724384 2819596 disk cna03.cna.unicamp.br 387834656 629136 disk grid-se.bio.dist.unige.it Ejercicio 2

9 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 9 Ejercicio 3 Obtener información sobre el software instalado $ lcg-infosites --vo gilda tag

10 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 10 $ lcg-infosites --vo gilda tag ************************************************************* Information for gilda relative to their software tags included in each CE ************************************************************* Name of the TAG: VO-gilda-GEANT Name of the TAG: VO-gilda-GKS05 Name of the CE:cn01.be.itu.edu.tr Name of the TAG: VO-gilda-slc3_ia32_gcc323 Name of the TAG: VO-gilda-CMKIN_5_1_1 Name of the TAG: VO-gilda-GEANT Name of the TAG: VO-gilda-GKS05 Name of the CE:grid010.ct.infn.it [..] Ejercicio 3

11 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 11 Ejercicio 4 Listar los CEs relativos a la VO junto con los SEs más cercanos $ lcg-infosites --vo gilda closeSE

12 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 12 $ lcg-infosites --vo gilda closeSE valor del bdii: grid004.ct.infn.it:2170 Name of the CE: trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-short trigrid-ce01.unime.it Name of the CE: trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-long trigrid-ce01.unime.it Name of the CE: trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-infinite trigrid-ce01.unime.it Name of the CE: gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-long gildase01.roma3.infn.it Name of the CE: gildace01.roma3.infn.it:2119/jobmanager-lcgpbs-short gildase01.roma3.infn.it...... Ejercicio 4

13 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 13 Este comando permite al usuario consultar, de una manera más profunda, la BDII. Requiere que la variable de entorno LCG_GFAL_INFOSYS contenga el valor de la BDII a consultar, por ej: grid004.ct.infn.it:2170 Imprime la lista de CEs o SEs que satisfacen una dada condición (query) junto con la lista de los atributos especificados. $ lcg-info --vo vo opción --query query --attrs attrs La sintaxis del query es la siguiente: attr1=valor1,attr2=valor2,...,attrN=valorN – attrN es el nombre del atributo. –Diferentes condiciones deben estar separadas por comas y sin espacios en blanco. –La solicitud será el AND lógico entre todas las condiciones especificadas. lcg-info

14 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 14 Restringe la salida a los CEs o SEs en donde la VO del usuario es autorizada. Obligatorio cuando atributos dependientes de la VO son consultados. --vo Especifica los atributos cuyos valores deben ser mostrados.--attrs Imprime la salida en un formato "sed-friendly".--sed Permite especificar la BDII en la forma :. Si no se especifica se usa el valor de la variable de entorno LCG_GFAL_INFOSYS. Si no está definida, el comando devuelve un error. --bdii Restringe la salida a los CEs o SEs que satisfacen la condición dada. --query Lista los SEs que satisfacen una condición, o todos los SEs si no se especifica ninguna condición. --list-se Lista los CEs que satisfacen una condición, o todos los CEs si no se especifica ninguna condición. --list-ce Imprime la lista de todos los atributos que pueden ser consultados. --list-attrs Opciones de lcg-info

15 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 15 Ejercicio 5 Obtener la lista de atributos soportados $ lcg-info --list-attrs

16 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 16 Ejercicio 5 $ lcg-info --list-attrs Attribute name Glue object class Glue attribute name MaxTime GlueCE GlueCEPolicyMaxWallClockTime CEStatus GlueCE GlueCEStateStatus TotalJobs GlueCE GlueCEStateTotalJobs CEVOs GlueCE GlueCEAccessControlBaseRule TotalCPUs GlueCE GlueCEInfoTotalCPUs FreeCPUs GlueCE GlueCEStateFreeCPUs CE GlueCE GlueCEUniqueID WaitingJobs GlueCE GlueCEStateWaitingJobs RunningJobs GlueCE GlueCEStateRunningJobs CloseCE GlueCESEBindGroup GlueCESEBindGroupCEUniqueID CloseSE GlueCESEBindGroup GlueCESEBindGroupSEUniqueID SEVOs GlueSA GlueSAAccessControlBaseRule UsedSpace GlueSA GlueSAStateUsedSpace AvailableSpace GlueSA GlueSAStateAvailableSpace Type GlueSE GlueSEType SE GlueSE GlueSEUniqueID Protocol GlueSEAccessProtocol GlueSEAccessProtocolType ArchType GlueSL GlueSLArchitectureType Processor GlueSubCluster GlueHostProcessorModel OS GlueSubCluster GlueHostOperatingSystemName Cluster GlueSubCluster GlueSubClusterUniqueID …

17 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 17 Ejercicio 6 Listar todos los CEs en el BDII que satisfacen unas condiciones dadas $ lcg-info --list-ce --query ´TotalCPUs=10, Processor=PIII´ --attrs ´RunningJobs,FreeCPUs´

18 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 18 Ejercicio 6 $ lcg-info --list-ce --query ´TotalCPUs=10,Processor=PIII´ --attrs ´RunningJobs,FreeCPUs´ - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-infinite - RunningJobs 0 - FreeCPUs 10 - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long - RunningJobs 0 - FreeCPUs 10 - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short - RunningJobs 0 - FreeCPUs 10 …

19 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 19 R-GMA Para iniciar la interfaz de línea de comandos del R-GMA ejecute: $ rgma Al iniciar aparecerá el siguiente mensaje: Welcome to the R-GMA virtual database for Virtual Organisations. ================================================================ Your local R-GMA server is: https://rgmasrv.ct.infn.it:8443/R-GMA You are connected to the following R-GMA Registry services: https://rgmasrv.ct.infn.it:8443/R-GMA/RegistryServlet You are connected to the following R-GMA Schema service: https://rgmasrv.ct.infn.it:8443/R-GMA/SchemaServlet Type "help" for a list of commands. rgma>

20 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 20 Entrada de comandos Para ejecutar un comando: Tipee el comando luego del prompt rgma> y ejecute presionando la tecla enter. La historia de comandos ejecutados puede ser accesada usando las teclas up y down. Para buscar un comando en la historia use CTRL-R y tipee las primeras letras del comando buscado. Soporta el autocompletado de comandos (use la tecla Tab para completar el comando).

21 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 21 help Muestra información general de ayuda. help Muestra ayuda para un comando especifico. exit or quit Sale de la interfaz de línea de comandos del R-GMA. show tables Muestra los nombres de todas las tablas existentes en el Esquema (Schema). describe Muestra toda la información sobre la estructura de una tabla. Comandos generales

22 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 22 Solicitando Datos Para solicitar datos se usa la declaración estandar de SQL SELECT : rgma> SELECT * FROM GlueService El comportamiento del SELECT varía de acuerdo al tipo de solicitud ejecutada. En R-GMA hay tres tipos básicos de solicitudes: Solicitudes LATEST retorna solo las tuplas más recientes para cada clave primaria. Solicitudes HISTORY retorna todas las tuplas historicas para cada clave primaria. Solicitudes CONTINUOUS retorna continuamente tuplas como sean insertadas.

23 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 23 Tipos de consultas El tipo de solicitud puede ser cambiado usando el comando SET QUERY : rgma> SET QUERY LATEST o rgma> SET QUERY CONTINUOUS El tipo actual de solicitud puede ser mostrado usando el comando rgma> SHOW QUERY

24 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 24 Ejercicios 1.Muestre todas las tablas del Esquema rgma> show tables 2.Muestre la información acerca de la tabla GlueSite rgma> describe GlueSite 3.Haga una solicitud sobre la tabla llamada GlueSite rgma> set query latest rgma> show query rgma> select Name,Latitude,Longitude from GlueSite

25 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 25 Edad máxima de una tupla La edad máxima de las tuplas retornadas puede ser controlada. Para limitar la edad de las tuplas latest o history use el comando SET MAXAGE rgma> SET MAXAGE 2 minutes ó rgma> SET MAXAGE 120 La edad máxima actual de las tuplas puede ser mostrada usando rgma> SHOW MAXAGE Para deshabilitar la edad máxima rgma> SET MAXAGE none

26 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 26 Solicitud timeout La propiedad final que afecta la solicitud es el timeout –Para una solicitud latest o history el timeout existe para prevenir problemas (p.e. fallas de red). –Para una solicitud continuous, el timeout indica cuán larga la solicitud continuará retornando nuevas tuplas. –Por defecto el timeout es de 1 minuto y puede ser cambiado usando: rgma>SET TIMEOUT 3 minutes ó rgma>SET TIMEOUT 180 El timeout actual puede ser mostrado usando: rgma>SHOW TIMEOUT

27 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 27 Producer e Inserción de Datos La declaración SQL INSERT puede ser usada para insertar datos al sistema: rgma> INSERT INTO userTable VALUES (a, b, 3, 5) En R-GMA, los datos son insertados en el sistema usando un componente Producer, el cual maneja la declaración INSERT. Usando la interfaz de línea de comando se puede trabajar con un producer a la vez.

28 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 28 Producer e Inserción de Datos El tipo de producer actual puede ser desplegado usando: rgma>show producer El tipo de producer puede ser configurado usando: rgma>set producer latest

29 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 29 Ejercicio 1.Inserte y seleccione usando un Producer primario para soportar solicitudes Continuas + Historicas rgma> set producer continuous rgma> insert into userTable values ('cod', 'string', 1.4, 66) rgma> set query continuous rgma> set maxage 1 minutes rgma> set timeout 5 seconds rgma> select * from userTable

30 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 30 Producer secundario Para instruir al producer secundario a consumir desde la tabla userTable: rgma> SECONDARYPRODUCER userTable El producer secundario puede ser configurado para responder a solicitudes latest y/o history: rgma> SET SECONDARYPRODUCER latest El tipo del actual del producer secundario puede ser mostrado usando: rgma> SHOW SECONDARYPRODUCER

31 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 31 Ejercicio 2. Inserte y Seleccione usando un Producer secundario para soportar solicitudes latest. rgma> set secondaryproducer latest rgma> secondaryproducer userTable rgma> show producers of userTable rgma> set producer continuous rgma> insert into userTable values ('cod', 'string', 5.2, 44) rgma> set query latest rgma> select * from userTable

32 IST-2006-026409 E-infrastructure shared between Europe and Latin America www.eu-eela.org Santiago - Chile, EELA Tutorial, 06-07.09.2006 32 Preguntas