Www.eu-eela.eu E-science grid facility for Europe and Latin America SE-DPM Instalación y configuración Jesus De Oliveira GRyDs: Grupo de Investigación.

Presentación del tema: "Www.eu-eela.eu E-science grid facility for Europe and Latin America SE-DPM Instalación y configuración Jesus De Oliveira GRyDs: Grupo de Investigación."— Transcripción de la presentación:

1 www.eu-eela.eu E-science grid facility for Europe and Latin America SE-DPM Instalación y configuración Jesus De Oliveira GRyDs: Grupo de Investigación en Redes y Sistemas Distribuidos Universidad Simón Bolívar Caracas - Venezuela

2 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 2 Agenda Introducción al SE-DPM Presentación del proceso de instalación Instalación práctica del SE-DPM Pruebas al SE-DPM

3 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 3 El Storage Element/Disk Pool Manager es el servicio de almacenamiento de datos de un site Representa un recurso de almacenamiento en el Grid Sus responsabilidades son: – Gestionar replicas (almacenamiento físico, upload, download) – Responder a solicitudes de clientes a través de los protocolos GridFTP, glite I/O y LFC para gestionar y transferir datos – Publicar la información del espacio disponible y utilizado a traves del site_bdii Es una interfaz entre el Grid y el sistema de almacenamiento local (tambien llamado Storage Resource Manger / SRM) – Sistema de archivos estandar (ext2, ext3, etc...) – SAN/FiberChannel/ATA over Ethernet – Disk arrays – Tape robot's Introducción al SE-DPM

4 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 4 Introducción al SE-DPM Cada SE-DPM esta compuesto por un nodo principal (head node) y un servidor de discos (disc server) en la misma máquina. SE-DPM head node: Tendrá al menos un filesystem y además un número arbitrario de disk servers que pueden ser agregados mediante YAIM. El DPM es el encargado de manejar el almacenamiento en los Disk Servers. Maneja grupos de filesystems situados en uno o más disk servers, denominados pools.

5 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 5 Introducción al DPM-SE

6 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 6 Proceso de instalación –Establecer hostname de la máquina –Descargar los repositorios de paquetes requeridos para el componente (archivos.repo para yum) –Instalar java y autoridades certificadoras (con yum) –Instalar paquetes del middleware (ig_SE_dpm_mysql, con yum) –Adaptar archivo de configuración global (site-info.def y glite- bdii_site) –Configurar usando yaim

7 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 7 Práctica de Instalación Establecer correctamente el nombre completamente calificado de la máquina (FQDN) [hostXXX.cedia.org.ec] –nano /etc/hostname –nano /etc/sysconfig/network –hostname hostXXX.cedia.org.ec –nano /etc/hosts Desactivar actualizaciones automaticas: –chkconfig yum-autoupdate off Desactivar firewall –/etc/init.d/iptables stop –chkconfig iptables off

8 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 8 Práctica de Instalación Sincronizar reloj –service ntpd stop; ntpdate ntp.usb.ve; service ntpd start; Descargar definiciones de repositorios requeridos REPOS="ca dag ig jpackage gilda glite-se_dpm glite-se_dpm_disk sl-i386" for name in $REPOS; do wget http://www.cedia.org.ec/mrepo/repos/$name.repo -O /etc/yum.repos.d/$name.repo; done Instalar autoridades certificadoras –yum -y install lcg-CA –wget http://ftp.leg.uct.ac.za/pub/stuff/grid/grid018.ct.infn.it/mrepo/gilda_sl4- i386/RPMS.all/ca_GILDA_2009-1.0-14.i386.rpm && rpm -ivh ca_GILDA_2009-1.0-14.i386.rpm

9 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 9 Práctica de Instalación Instalar certificado y clave privada de host en /etc/grid- security wget "http://www.cedia.org.ec/tutorialgrid/certificates/host/$HOSTNAME/$HOSTNAM E-cert.pem" -O /etc/grid-security/hostcert.pem wget "http://www.cedia.org.ec/tutorialgrid/certificates/host/$HOSTNAME/$HOSTNAM E-key.pem" -O /etc/grid-security/hostkey.pem chmod 644 /etc/grid-security/hostcert.pem chmod 400 /etc/grid-security/hostkey.pem

10 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 10 Práctica de Instalación Instalar paquetes adicionales wget http://linuxsoft.cern.ch/dag/redhat/el4/en/i386/RPMS.dag/perl- SOAP-Lite-0.69-1.el4.rf.noarch.rpm yum -y localinstall perl-SOAP-Lite-0.69-1.el4.rf.noarch.rpm Descargar cache de repositorio yum (para acelerar la instalación) wget http://www.cedia.org.ec/generic/SE_yum_cache.tar.gz tar xvfz SE_yum_cache.tar.gz -C /var/cache/yum

11 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 11 Práctica de Instalación Instalar paquetes del middleware yum -y install ig_SE_dpm_mysql ig_SE_dpm_disk Instalar paquete gilda_utils yum -y install gilda_utils Anexar cuentas pool para gilda –cat /opt/glite/yaim/etc/gilda/gilda_ig-users.conf >> /opt/glite/yaim/examples/ig-users.conf –cat /opt/glite/yaim/etc/gilda/gilda_ig-groups.conf >> /opt/glite/yaim/examples/ig-groups.conf Modificar archivo de configuración global cp /opt/glite/yaim/examples/siteinfo/ig-site-info.def /opt/glite/yaim/examples/siteinfo/mysite-info.def nano /opt/glite/yaim/examples/siteinfo/mysite-info.def

12 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 12 Práctica de Instalación Variables importantes del archivo site-info.def:  DPM_HOST="hostXXX.cedia.org.ec" (reemplazar por su maquina)  MYSQL_PASSWORD=secret  SE_LIST="$DPM_HOST"  SE_GRIDFTP_LOGFILE=/var/log/dpm-gsiftp/dpm-gsiftp.log  DPMFSIZE=200M  SE_ARCH="multidisk"  RFIO_PORT_RANGE="20000 25000"  SITE_NAME=gilda_cedia  SITE_LAT=0.0  SITE_LONG=0.0  NTP_HOSTS_IP="159.90.100.7 ntp.usb.ve"

13 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 13 Práctica de Instalación Variables importantes del archivo site-info.def (cont.)  VOS="gilda"  ALL_VOMS_VOS="gilda"  QUEUES="gilda"  GILDA_GROUP_ENABLE=$VOS  VO_GILDA_SW_DIR=$VO_SW_DIR/gilda  VO_GILDA_DEFAULT_SE=$DPM_HOST  VO_GILDA_STORAGE_DIR=$CLASSIC_STORAGE_DIR/gilda  VO_GILDA_VOMS_SERVERS="'vomss://voms.ct.infn.it:8443/voms/gilda ?/gilda'"  VO_GILDA_VOMSES="'gilda voms.ct.infn.it 15001 /C=IT/O=INFN/OU=Host/L=Catania/CN=voms.ct.infn.it gilda'"  VO_GILDA_VOMS_CA_DN="'/C=IT/O=INFN/CN=INFN CA'"

14 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 14 Práctica de Instalación Editar archivo de configuración de servicio DPM_DISK: –nano /opt/glite/yaim/examples/siteinfo/services/glite-se_dpm_disk  DPMPOOL=GILDAPOOL  DPM_FILESYSTEMS="$DPM_HOST:/data" Editar archivo de configuración de servicio DPM_MYSQL: –nano /opt/glite/yaim/examples/siteinfo/services/glite-se_dpm_mysql  DPMPOOL=GILDAPOOL  DPM_FILESYSTEMS="$DPM_HOST:/data"  DPM_DB_USER=dpmmgr  DPM_DB_PASSWORD=secret  DPM_DB_HOST=$DPM_HOST  DPM_INFO_USER=dpminfo  DPM_INFO_PASS=secret

15 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 15 Práctica de Instalación Configurar usando YAIM: –/opt/glite/yaim/bin/ig_yaim -c -s /opt/glite/yaim/examples/siteinfo/mysite-info.def -n ig_SE_dpm_mysql -n ig_SE_dpm_disk Crear directorios predeterminados –/etc/cron.monthly/create-default-dirs-DPM.sh

16 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 16 Pruebas del SE-DPM Consultar al servicio GRIS para verificar la información del SE: ldapsearch -x -b "mds-vo-name=resource,o=grid" -h localhost -p 2170 | grep AvailableSpace Consultar estado del SE al servicio DPM /opt/lcg/bin/dpm-qryconf Copiar un archivo desde el UI: lcg-cr -l lfn:/grid/gilda/users/brunor/hostname.sh file:$HOME/hostname.sh -d hostXXX.cedia.org.ec (REEMPLAZAR POR SU MÁQUINA)

17 www.eu-eela.eu EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 17 Preguntas