Instalación y configuración del catálogo de datos (LFC) Javier Pérez-Griffo Callejon Centro Extremeño de Tecnologías Avanzadas (CIEMAT) Unidad de Sistemas.

Presentación del tema: "Instalación y configuración del catálogo de datos (LFC) Javier Pérez-Griffo Callejon Centro Extremeño de Tecnologías Avanzadas (CIEMAT) Unidad de Sistemas."— Transcripción de la presentación:

1 Instalación y configuración del catálogo de datos (LFC) Javier Pérez-Griffo Callejon Centro Extremeño de Tecnologías Avanzadas (CIEMAT) Unidad de Sistemas y Explotación 11th EELA Tutorial para Administradores Sevilla, 10-12th Septiembre 2007

2 1.Diapositivas basadas en presentaciones realizadas por: Tony Candalucci Antonio Juan Rubio Montero Omar Walid Llorente

3 Índice 1.Breve introducción al catálogo de datos (LFC) 2.Procedimiento de instalación del LFC para Gilda 3.Modificaciones necesarios para instalación en gLite 4.Procedimiento de validación de instalación de LFC 5.Referencias

4 Introducción LFC - Motivación Usuarios y programas manipulan, ya sea creando o usando, grandes cantidades de datos Los datos pueden estar almacenados en ficheros GRID (GRID datasets) Guardados en Sistemas de Almacenamiento (SE) Replicados en varios sitios Accesibles por usuarios y aplicaciones desde cualquier punto en la GRID. Localizables por el gestor de recursos (RB) a través de la definición dentro del descriptor del trabajo (JDL) Para que sirven los catalogo de datos? Para tener un sistema que permita saber donde están replicados los ficheros. Para tener un conjunto de herramientas y api's que permitan la manipulación de ficheros en la GRID.

5 Introducción LFC - Arquitectura Funcionalidades Nombre de espacios jerárquico Integración con sistemas de autentificación y autorización GSI Listas de Control de Acceso (Permisos Unix y POSIX ACLs) Estructura de la Base de Datos

6 Introducción LFC - Convenciones Nombre Lógico (LFN) lfn:cms/20030203/run2/track1 Identificador Global Unívoco (GUID) guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6 URL del Sitio (SURL) srm://pcrd24.cern.ch/flatfiles/cms/output10_1 URL de Transport (TURL) rfio://lxshare0209.cern.ch//data/alice/ntuples.dat

7 Instalación LFC - Requerimientos Tener instalado una Scientific Linux Tener instalado Java Comprobación # whereis javac Instalación # wget -c http://sunsite.rediris.es/mirror/GRID.infn.it/java/j2sdk- 1_4_2_14-linux-i586-rpm.bin # sh j2sdk-1_4_2_14-linux-i586-rpm.bin

8 Instalación LFC - Requerimientos Tener instalado gLite-Yaim y Gilda-Yaim Comprobación # ls -la /opt/glite/yaim/ -> Para gLite # ls -la /opt/glite/bin/ -> Para Gilda Instalación # wget -c http://sunsite.rediris.es/mirror/grid.infn.it/gilda/gilda_ig- yaim-latest.rpm # wget -c http://sunsite.rediris.es/mirror/grid.infn.it/gilda/gLite- yaim-latest.rpm # rpm -ivh gilda_ig-yaim-latest.rpm # rpm -ivh gLite-yaim-latest.rpm

9 Instalación LFC - Requerimientos Tener instalados certificados GRID Comprobación # ls -la /etc/grid-security/host* Instalación # mkdir -p /etc/grid-security # cd /etc/grid-security # wget http://sunsite.rediris.es/mirror/grid.infn.it/certificados/gridXX.cica.e s/gridXX.cica.es-cert.pem # wget http://sunsite.rediris.es/mirror/grid.infn.it/certificados/gridXX.cica.e s/gridXX.cica.es-key.pem # cp gridXX.cica.es-cert.pem /etc/grid-security/hostcert.pem # chmod 644 /etc/grid-security/hostcert.pem # cp gridXX.cica.es-key.pem /etc/grid-security/hostkey.pem # chmod 400 /etc/grid-security/hostkey.pem

10 Instalación LFC – Configuración de Site Copiamos el fichero de ejemplo del site en el directorio root # cp /opt/glite/yaim/examples/siteinfo/gilda_ig-site-info.def /root/my-site-info.def Modificamos las siguientes variables para definir nuestro sitio GRID (Site) # nano /root/my-site-info.def MY_DOMAIN -> Dominio dns del sitio GRID (cica.es) REG_HOST -> Máquina de registro para RGMA (rgmasrv.ct.infn.it) MON_HOST -> Máquina de almacenamiento de Información RGMA (rgmasrv.ct.infn.it) NTP_HOST -> Servidor de tiempo usado (chico.rediris.es) JAVA_LOCATION -> Localización de Java (/usr/java/j2sdk1.4.2_14/)

11 Instalación LFC – Configuración de Site Modificamos las siguientes variables para definir el catalogo de datos (LFC) dentro de nuestro sitio GRID (Site) # nano /root/my-site-info.def ---> No es necesario hacerlo en la práctica LFC_HOST -> Nombre dns de la máquina que se va instalar el catálogo de datos (gridxx.$MY_DOMAIN) LFC_DB_PASSWORD -> Contraseña del catálogo de datos (lfc_password) MYSQL_PASSWORD -> Contraseña de la base de datos (mysql_password) VOS -> Organizaciones virtuales que quieres configurar (gilda) LFC_CENTRAL -> Organizaciones virtual a las cual este catálogo de datos pertenece (gilda) LFC_LOCAL -> Organización virtual que es permitida en modo local por este catálogo (gilda)

12 Instalación LFC – Configuración de Site Ejemplo para esta práctica: MY_DOMAIN=cica.es MON_HOST=rgmasrv.ct.infn.it REG_HOST=rgmasrv.ct.infn.it NTP_HOSTS_IP="chico.rediris.es" LFC_HOST=gridXX.$MY_DOMAIN LFC_CENTRAL="gilda" LFC_LOCAL="gilda" MYSQL_PASSWORD="mysql_password" VOS="gilda"

13 Instalación LFC Una vez definido el fichero de configuración de nuestro sitio GRID (Site) podemos a empezar a usar el instalador y el configurador automático de gilda llamado gilda-yaim. Este se lanza en dos pasos Instalación de paquetes necesarios # /opt/glite/bin/gilda_ig_install_node /root/my-site-info.def GILDA_ig_LFC_mysql Configuración de paquetes previamente instalados # /opt/glite/bin/gilda_ig_configure_node /root/my-site- info.def GILDA_ig_LFC_mysql En caso de tener un firewall es necesarios habilitar los puertos 8085 y 5010 para que el catálogo de datos(LFC) se accesible.

14 Instalación LFC en gLite En gLite el instalador automático se llama gLite-yaim, con este el proceso de instalación y configuración es similar al de gilda. Los dos emplean el mismo fichero de configuración, este va a ser el que hemos previamente definido. Ell proceso de instalación y configuración se detalla a continuación Instalación de paquetes necesarios # /opt/glite/yaim/bin/yaim -i -s /root/my-site-info.def -m LFC_mysql Configuración de paquetes previamente instalados # /opt/glite/yaim/bin/yaim -c -s /root/my-site-info.def -n LFC_mysql En caso de tener un firewall es necesarios habilitar los puertos 8085 y 5010 para que el catálogo de datos(LFC) se accesible.

15 Testeo de LFC Conectarse a un User Interfaces (glite-tutor.ct.infn.it) Especificar el servidor LFC que habéis configurado export LFC_HOST=gridXX.cica.es Levantar vuestro certificado grid voms-proxy-init -voms gilda Vamos a crear un directorio en el servidor de LFC lfc-mkdir /grid/gilda/gridXX Vamos a comprobar las carpetas que están almacenadas en LFC lfc-ls -l /grid/gilda Declarar sistema de almacenamiento por defecto export VO_GILDA_DEFAULT_SE=aliserv6.ct.infn.it

16 Testeo de LFC II Copia un fichero al LFC echo "Hola Mundo" > $HOME/hola.mundo lcg-cr -v --vo gilda -l lfn:///grid/gilda/gridXX/hola file:/$HOME/hola.mundofile:/$HOME/hola.mundo Replica el fichero lcg-rep --vo gilda -d egee016.cnaf.infn.it lfn:///grid/gilda/gridXX/hola Comprobamos el estado del fichero lcg-lr --vo gilda lfn:///grid/gilda/gridXX/hola Borramos el fichero en local y lo recogemos de la GRID rm $HOME/hola.mundo lcg-cp --vo gilda lfn:///grid/gilda/gridXX/test file://$HOME/hola.mundo.grid

17 Referencias Guía de Administradores de LFC (Ingles) https://twiki.cern.ch/twiki/bin/view/LCG/LfcAdminGuide Guía de Uso de LFC (Ingles) https://grid.ct.infn.it/twiki/bin/view/GILDA/LFCMed Recetario de resolución de errores LFC (Ingles) https://twiki.cern.ch/twiki/bin/view/LCG/LfcTroubleshooting https://twiki.cern.ch/twiki/bin/view/LCG/LfcTroubleshooting Vision Generica de la Grid http://indico.eu- eela.org/getFile.py/access?contribId=13&sessionId=5&resId=0& amp;materialId=poster&confId=69

18 Edificio Bronce Plaza Manuel Gómez Moreno s/n 28020 Madrid. España Tel.: 91 212 76 20 / 25 Fax: 91 212 76 35 www.red.es Muchas Gracias por vuestra atención