Www.eu-eela.eu E-science grid facility for Europe and Latin America Grupo Grid Universidad de Los Andes Grid.

Presentación del tema: "Www.eu-eela.eu E-science grid facility for Europe and Latin America Grupo Grid Universidad de Los Andes Grid."— Transcripción de la presentación:

1 www.eu-eela.eu E-science grid facility for Europe and Latin America Grupo Grid Universidad de Los Andes Grid

2 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 2 Overview Contenido Como Autentificarse en el Grid Como descubrir recursos Sistema de Información (SI) BDII –lcg-infosites Opciones Ejercicios –lcg-info Opciones Ejercicios

3 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 3 Como Autentificarse_ Entrar al terminal USER = gridxx PASSWD = ulaGRIDxx Donde xx = 01.. 20 Entrar al User Interface ssh -l usergridxx grid-ui.cecalc.ula.ve Con el mismo passwd

4 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 4 Como autentificarse En el UI ahora ejecutamos el siguiente comando Glite-voms-proxy-init –voms ula

5 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 5 Como descubrir recursos? Una vez que un usuario se conecta a un User Interface, él está listo para aprovechar todas las ventajas del Poder del Grid para sus propias aplicaciones Pero, ….. ¿ Cuáles son los recursos disponibles para llevar a cabo sus tareas? La respuesta a esta interrogante viene dada a través de la interacción con el Sistema de Información (SI).

6 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 6 Sistema de Información El Sistema de Información (SI) provee información acerca de los recursos del Grid y de su estado Esta información es esencial para la operación del Grid Por ejemplo, el SI puede localizar que CEs están disponibles para ejecutar trabajos y encontrar los SEs para guardar replicas de archivos en el Grid

7 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 7 Sistema de Información (2) La data publicada por el SI esta basada en el Esquema GLUE (Grid Laboratory for a Uniform Environment). El Esquema GLUE intenta definir un modelo de datos conceptual (que sea común) para ser usado por los recursos del Grid.

8 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 8 Sistema de Información (3) En LCG-2, adoptaron el BDII (Berkeley DB Information Index) como principal proveedor del Servicio de Información. El BDII esta basado en una versión actualizada del Monitoring and Discovery Service (MDS) de Globus. En gLite, el R-GMA (Relational-Grid Monitoring Architecture) es adoptado como proveedor del Servicio de Información.

9 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 9 Berkely Data Base Index Information (BDII)

10 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 10 Introducción al MDS Los recursos de cómputo y almacenamiento de un sitio implementan una entidad llamada Proveedor de Información, la cual genera información del recurso. Esta información es publicada por el Grid Resource Information (GRIS), usando un servidor LDAP En cada sitio un elemento llamado Grid Index Information Server (GIIS) recolecta toda la información de los diferentes GRIS y la publica. El BDII solicita la información a los GIIS y actúa como un cache, almacenando en una Base de Datos la información acerca del estado del Grid.

11 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 11 Introducción al MDS (2) BDII Site GIIS Local GRIS

12 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 12 ¿ Como consultar al SI ? Para consultar directamente a los elementos del SI, se dispone de dos herramientas de alto nivel lcg-infositeslcg-info Estas herramientas son suficientes para la mayoría de las necesidades comunes de los usuarios y evitan las preguntas crudas al LDAP.

13 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 13 lcg-infosites

14 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 14 lcg-infosites El comando lcg-infosites puede ser usado para obtener información de los recursos del Grid en la mayoría de los casos lcg-infosites --vo options -v \ --is

15 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 15 Opciones del lcg-infosites

16 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 16 Ejercicio 1 Obtener información sobre los CEs $ lcg-infosites --vo ula ce

17 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 17 $ lcg-infosites --vo ula ce These are the related data for ula vo: (in terms of queues and CPUs) **************************************************************** #CPU Free Total Jobs Running Waiting ComputingElement ------------------------------------------------------------------------------------------ 4 3 0 0 0 cn01.be.itu.edu.tr:2119/jobmanager-lcglsf-long 4 3 0 0 0 cn01.be.itu.edu.tr:2119/jobmanager-lcglsf-short 34 33 0 0 0 grid010.ct.infn.it:2119/jobmanager-lcgpbs-long 16 16 0 0 0 grid011f.cnaf.infn.it:2119/jobmanager-lcgpbs-long 1 1 0 0 0 grid006.cecalc.ula.ve:2119/jobmanager-lcgpbs-log [..]

18 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 18 Ejercicio 2 Obtener información sobre los SEs $ lcg-infosites --vo ula se

19 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 19 $ lcg-infosites --vo ula se ************************************************************** These are the related data for ula vo: (in terms of SE) ************************************************************** Avail Space(Kb) Used Space(Kb) Type SEs -------------------------------------------------------------------------------------- 143547680 2472756 disk cn02.be.itu.edu.tr 168727984 118549624 disk grid009.ct.infn.it 13908644 2819288 disk grid003.cecalc.ula.ve 108741124 2442872 disk ulase.oact.inaf.it 28211488 2948292 disk testbed005.cnaf.infn.it 349001680 33028 disk ula-se-01.pd.infn.it 31724384 2819596 disk cna03.cna.unicamp.br 387834656 629136 disk grid-se.bio.dist.unige.it

20 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 20 Ejercicio 3 Obtener información sobre el software instalado $ lcg-infosites --vo dteam tag

21 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 21 $ lcg-infosites --vo dteam tag *********************************************************************************** Information for dteam vo relative to their software tags included in each CE *********************************************************************************** Name of the CE: ce101.cern.ch VO-dteam-december05prod-v25Nov VO-dteam-ITUtest1 Name of the CE: ce102.cern.ch VO-dteam-december05prod-v25Nov VO-dteam-ITUtest1 Name of the CE: ce105.cern.ch VO-dteam-december05prod-v25Nov VO-dteam-ITUtest1 [..]

22 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 22 lcg-info

23 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 23 lcg-info Este comando puede ser usado para listar los CEs y SEs que satisfacen un conjunto de condiciones dadas y para mostrar los valores de un conjunto de atributos dados La información es tomada desde el BDII especificado por la variable de ambiente LCG_GFAL_INFOSYS. La sintaxis de la solicitud es : attr1 op1 valueN,..., attrN opN valueN

24 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 24 Opciones del lcg-info

25 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 25 Ejercicio 4 Obtener la lista de atributos soportados $ lcg-info --list-attrs

26 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 26 $ lcg-info --list-attrs Attribute name Glue object class Glue attribute name MaxTime GlueCE GlueCEPolicyMaxWallClockTime CEStatus GlueCE GlueCEStateStatus TotalJobs GlueCE GlueCEStateTotalJobs CEVOs GlueCE GlueCEAccessControlBaseRule TotalCPUs GlueCE GlueCEInfoTotalCPUs FreeCPUs GlueCE GlueCEStateFreeCPUs CE GlueCE GlueCEUniqueID WaitingJobs GlueCE GlueCEStateWaitingJobs RunningJobs GlueCE GlueCEStateRunningJobs CloseCE GlueCESEBindGroup GlueCESEBindGroupCEUniqueID CloseSE GlueCESEBindGroup GlueCESEBindGroupSEUniqueID SEVOs GlueSA GlueSAAccessControlBaseRule UsedSpace GlueSA GlueSAStateUsedSpace AvailableSpace GlueSA GlueSAStateAvailableSpace [….]

27 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 27 Ejercicio 5 Listar todos los CEs en el BDII que satisfacen unas condiciones dadas $ lcg-info --list-ce --query 'TotalCPUs = 10,OS=SL* ' --attrs 'RunningJobs,FreeCPUs'

28 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 28 $ lcg-info --list-ce --query 'TotalCPUs = 10,OS=SL* ' --attrs 'RunningJobs,FreeCPUs' - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-infinite - RunningJobs 0 - FreeCPUs 10 - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long - RunningJobs 0 - FreeCPUs 10 - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short - RunningJobs 0 - FreeCPUs 10

29 www.eu-eela.eu Ambientes y Herramientas para la e-Investigación. Mérida, 23.06.2008 29 Preguntas …