E-science grid facility for Europe and Latin America SE-DPM Instalación y configuración Jesus De Oliveira GRyDs: Grupo de Investigación en Redes y Sistemas Distribuidos Universidad Simón Bolívar Caracas - Venezuela

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Agenda Introducción al SE-DPM Presentación del proceso de instalación Instalación práctica del SE-DPM Pruebas al SE-DPM

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ El Storage Element/Disk Pool Manager es el servicio de almacenamiento de datos de un site Representa un recurso de almacenamiento en el Grid Sus responsabilidades son: – Gestionar replicas (almacenamiento físico, upload, download) – Responder a solicitudes de clientes a través de los protocolos GridFTP, glite I/O y LFC para gestionar y transferir datos – Publicar la información del espacio disponible y utilizado a traves del site_bdii Es una interfaz entre el Grid y el sistema de almacenamiento local (tambien llamado Storage Resource Manger / SRM) – Sistema de archivos estandar (ext2, ext3, etc...) – SAN/FiberChannel/ATA over Ethernet – Disk arrays – Tape robot's Introducción al SE-DPM

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Introducción al SE-DPM Cada SE-DPM esta compuesto por un nodo principal (head node) y un servidor de discos (disc server) en la misma máquina. SE-DPM head node: Tendrá al menos un filesystem y además un número arbitrario de disk servers que pueden ser agregados mediante YAIM. El DPM es el encargado de manejar el almacenamiento en los Disk Servers. Maneja grupos de filesystems situados en uno o más disk servers, denominados pools.

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Introducción al DPM-SE

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Proceso de instalación –Establecer hostname de la máquina –Descargar los repositorios de paquetes requeridos para el componente (archivos.repo para yum) –Instalar java y autoridades certificadoras (con yum) –Instalar paquetes del middleware (ig_SE_dpm_mysql, con yum) –Adaptar archivo de configuración global (site-info.def y glite- bdii_site) –Configurar usando yaim

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Práctica de Instalación Establecer correctamente el nombre completamente calificado de la máquina (FQDN) [hostXXX.cedia.org.ec] –nano /etc/hostname –nano /etc/sysconfig/network –hostname hostXXX.cedia.org.ec –nano /etc/hosts Desactivar actualizaciones automaticas: –chkconfig yum-autoupdate off Desactivar firewall –/etc/init.d/iptables stop –chkconfig iptables off

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Práctica de Instalación Sincronizar reloj –service ntpd stop; ntpdate ntp.usb.ve; service ntpd start; Descargar definiciones de repositorios requeridos REPOS="ca dag ig jpackage gilda glite-se_dpm glite-se_dpm_disk sl-i386" for name in $REPOS; do wget -O /etc/yum.repos.d/$name.repo; done Instalar autoridades certificadoras –yum -y install lcg-CA –wget i386/RPMS.all/ca_GILDA_ i386.rpm && rpm -ivh ca_GILDA_ i386.rpm

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Práctica de Instalación Instalar certificado y clave privada de host en /etc/grid- security wget " E-cert.pem" -O /etc/grid-security/hostcert.pem wget " E-key.pem" -O /etc/grid-security/hostkey.pem chmod 644 /etc/grid-security/hostcert.pem chmod 400 /etc/grid-security/hostkey.pem

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Práctica de Instalación Instalar paquetes adicionales wget SOAP-Lite el4.rf.noarch.rpm yum -y localinstall perl-SOAP-Lite el4.rf.noarch.rpm Descargar cache de repositorio yum (para acelerar la instalación) wget tar xvfz SE_yum_cache.tar.gz -C /var/cache/yum

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Práctica de Instalación Instalar paquetes del middleware yum -y install ig_SE_dpm_mysql ig_SE_dpm_disk Instalar paquete gilda_utils yum -y install gilda_utils Anexar cuentas pool para gilda –cat /opt/glite/yaim/etc/gilda/gilda_ig-users.conf >> /opt/glite/yaim/examples/ig-users.conf –cat /opt/glite/yaim/etc/gilda/gilda_ig-groups.conf >> /opt/glite/yaim/examples/ig-groups.conf Modificar archivo de configuración global cp /opt/glite/yaim/examples/siteinfo/ig-site-info.def /opt/glite/yaim/examples/siteinfo/mysite-info.def nano /opt/glite/yaim/examples/siteinfo/mysite-info.def

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Práctica de Instalación Variables importantes del archivo site-info.def:  DPM_HOST="hostXXX.cedia.org.ec" (reemplazar por su maquina)  MYSQL_PASSWORD=secret  SE_LIST="$DPM_HOST"  SE_GRIDFTP_LOGFILE=/var/log/dpm-gsiftp/dpm-gsiftp.log  DPMFSIZE=200M  SE_ARCH="multidisk"  RFIO_PORT_RANGE=" "  SITE_NAME=gilda_cedia  SITE_LAT=0.0  SITE_LONG=0.0  NTP_HOSTS_IP=" ntp.usb.ve"

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Práctica de Instalación Variables importantes del archivo site-info.def (cont.)  VOS="gilda"  ALL_VOMS_VOS="gilda"  QUEUES="gilda"  GILDA_GROUP_ENABLE=$VOS  VO_GILDA_SW_DIR=$VO_SW_DIR/gilda  VO_GILDA_DEFAULT_SE=$DPM_HOST  VO_GILDA_STORAGE_DIR=$CLASSIC_STORAGE_DIR/gilda  VO_GILDA_VOMS_SERVERS="'vomss://voms.ct.infn.it:8443/voms/gilda ?/gilda'"  VO_GILDA_VOMSES="'gilda voms.ct.infn.it /C=IT/O=INFN/OU=Host/L=Catania/CN=voms.ct.infn.it gilda'"  VO_GILDA_VOMS_CA_DN="'/C=IT/O=INFN/CN=INFN CA'"

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Práctica de Instalación Editar archivo de configuración de servicio DPM_DISK: –nano /opt/glite/yaim/examples/siteinfo/services/glite-se_dpm_disk  DPMPOOL=GILDAPOOL  DPM_FILESYSTEMS="$DPM_HOST:/data" Editar archivo de configuración de servicio DPM_MYSQL: –nano /opt/glite/yaim/examples/siteinfo/services/glite-se_dpm_mysql  DPMPOOL=GILDAPOOL  DPM_FILESYSTEMS="$DPM_HOST:/data"  DPM_DB_USER=dpmmgr  DPM_DB_PASSWORD=secret  DPM_DB_HOST=$DPM_HOST  DPM_INFO_USER=dpminfo  DPM_INFO_PASS=secret

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Práctica de Instalación Configurar usando YAIM: –/opt/glite/yaim/bin/ig_yaim -c -s /opt/glite/yaim/examples/siteinfo/mysite-info.def -n ig_SE_dpm_mysql -n ig_SE_dpm_disk Crear directorios predeterminados –/etc/cron.monthly/create-default-dirs-DPM.sh

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Pruebas del SE-DPM Consultar al servicio GRIS para verificar la información del SE: ldapsearch -x -b "mds-vo-name=resource,o=grid" -h localhost -p 2170 | grep AvailableSpace Consultar estado del SE al servicio DPM /opt/lcg/bin/dpm-qryconf Copiar un archivo desde el UI: lcg-cr -l lfn:/grid/gilda/users/brunor/hostname.sh file:$HOME/hostname.sh -d hostXXX.cedia.org.ec (REEMPLAZAR POR SU MÁQUINA)

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/ /02/ Preguntas