Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-041 GOG GOG Grup d’Ordinadors per al Grid (Desde el punto de vista del usuario ATLAS.

Slides:



Advertisements
Presentaciones similares
FP62004Infrastructures6-SSA E-infrastructure shared between Europe and Latin America Jobs Especiales Moisés Hernández Duarte UNAM.
Advertisements

Tutorial EELA para usuarios E-infrastructure shared between Europe and Latin America gLite Arquitectura del WMS Henry Ricardo Mora CUBAENERGIA- Cuba Tutorial.
E-science grid facility for Europe and Latin America Instalación del Computing Element (CE) Vanessa Hamar Grupo Grid Universidad de Los.
Instalación y configuración del catálogo de datos (LFC) Javier Pérez-Griffo Callejon Centro Extremeño de Tecnologías Avanzadas (CIEMAT) Unidad de Sistemas.
E-science grid facility for Europe and Latin America Grupo Grid Universidad de Los Andes JDL.
gLite Data Management Grupo Grid Universidad de Los Andes
E-science grid facility for Europe and Latin America AeroVANT Simulaciones del comportamiento Aerodinámico de Vehículos Aéreos No Tripulados.
Proceso Certificación y Manejo de Datos en EGEE Gonzalo Merino PIC/IFAE XVIII Grupos de Trabajo de RedIRIS Sesión: EGEE-IrisGRID Toledo 25-Oct
Infraestructuras de Accounting en EGEE. sumario presentación Descripción general del CESGA Cálculo INTENSIVO Almacenamiento Accounting en el Cesga Accounting.
El mecanismo básico de interacción entre el usuario y un sitio web esta dado por el uso de formularios html. El server envía un formulario que el browser.
Aplicación de la tecnología Grid: Portal de recursos de supercomputación José Ruedas Sánchez Instituto de Astrofísica de Andalucía Consejo Superior de.
Proyecto e-CA: Organización Virtual y Testbed Susana Sánchez Expósito José Ruedas Sánchez II Reunión de e-Ciencia Andaluza 16-17, Octubre 2008.
Sistema de producción de datos de ATLAS Julio Lozano Bahilo Universidad de Granada.
Modelando aplicaciones
Algoritmos paralelos Lab. 1: Introducción
Programación II Ing. Diego J. Arcusin 3 – Uso del Shell.
SOFTWARE DE NACIMIENTOS GUIA DE INSTALACION RAPIDA Lima, Septiembre 2004.
OBJETO REQUEST. El objeto Request Por qué el objeto request Funcionamiento Colecciones: – Transferencia de variables por URL –Transferencia de variables.
Entornos de programación
Programación en Matlab
Directorio Activo- Active Directory
MS-Dos.
Servidores de Archivo SX-520 de XenData Una serie de servidores de archivo LTO basados en estándares IT, diseñados para los exigentes requisitos de la.
Sistema de Ficheros, Permisos de archivos y Propietarios de los Mismos.
Primer Taller Latino Americano de Administradores de Grid Storage Element Vanessa Hamar Noviembre del 2005 Mérida Venezuela.
Free Pascal 1. Introducción 2. Instalación 3. Uso 4. Documentación 5. Información Adicional.
FHS: organización de directorios en Linux
Sistema Operativo. ¿Qué es el Sistema Operativo? Un sistema operativo (SO) es el conjunto de programas y utilidades software que permiten al usuario interactuar.
UNIDAD IV ADMINISTRACIÓN DE SISTEMAS CONCEPTOS DE GESTIÓN Y ALMACENAMIENTO.
1º Encuentro de EID en Unidades de Internación del INR
Análisis Interactivo Tier3 Santiago González de la Hoz IFIC-Valencia III Reunión en Barcelona del Tier2 federado español de.
PAGINAS DINAMICAS PHP. INTRODUCCION PHP (Profesional Home Pages - Páginas Personales Profesionales) es un lenguaje para la creación de páginas web incrustado.
Bases de datos en la Web n Las bases de datos permiten almacenar de una forma estructurada y eficiente toda la información de un sitio web n Ventajas –Proporcionar.
File Ownerships and Permissions. Propiedades de Archivos regulares y Permisos.
1 Análisis Distribuido & User Support Farida Fassi IFIC (Instituto de Física Corpuscular) CSIC-Universitat de València III REUNIÓN ATLAS TIER-2 Federado,
EBay Inc. confidential 2009 Turbo Lister 2 – Vista general 2009.
Evolución y Status del Proyecto CROSSGRID
Spanish Teachers Programme CERN, 27 de julio de 2007 Informática Cientifica Miguel Angel Marquina 1 where the Web was born GRID e Informática Científica:
Reunión Informativa de Proyectos GRID Granada, 12 de Julio de 2002 Proyectos en Tecnologías GRID (II) J. Salt (IFIC)
Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID” J. Salt Grupo de GRID Computing del IFIC IFCA, Santander; de Junio.
Pasos para bootear un programa desde una USB
MS dos.
Sistema de análisis distribuido de ATLAS (ADA) Farida Fassi / Mª Dolores Jordán IFIC.
Teoría de Sistemas Operativos Administración de Archivos.
El árbol de directorios
COMPUTO III Ing. Jimmy Ojeda Arnica.
PEDRO ALBERTO ARIAS QUINTERO. El shell es un intérprete de órdenes, los intérpretes de órdenes de Linux son auténticos lenguajes de programación. Como.
INSTRUCCIONES. El alumno, seguirá los pasos que se le va indicando a continuación. En el recuadro en blanco, debe ir añadiendo un pantallazo con la.
Comandos internos y externos
Programación con MATLAB 5.3
Gestión de sistemas operativos de red
Las variables de entorno forman un conjunto de valores dinámicos que normalmente afectan el comportamiento de los procesos en una computadora.
INFORMÁTICA. HARDWARE Y SOFTWARE.
Gestión de datos en el Tier-2 L. March, J. Sánchez IFIC – Valencia Presentado por L. March Reunión Tier-2 federado de ATLAS IFAE (Barcelona) – 30 de mayo.
Elementos y tipos de sistemas operativos
18/02/2016Diego Alberto Rincón Yáñez, Pontificia Universidad Javeriana, 1.
Programación II Ing. Diego J. Arcusin 1 - Introducción a UNIX.
Actualización del Superordenador Virtual Gallego Valencia, 12 Abril Carlos Fernández Sánchez Responsable Técnico de Sistemas
Guía rápida de instalación de Sakai Dr. David Roldán Martínez ASIC, Universidad Politécnica de Valencia.
EGEE-III INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Architecture of the gLite Data Management.
Análisis de datos del detector ATLAS utilizando el Grid: Modelo de Análisis Distribuido en ATLAS S. González de la Hoz IFIC – Institut de Física Corpuscular.
La Física del quark Top en el Tier3 del IFIC. La Física del quark Top en el Tier3 del IFIC. Reunión de análisis ATLAS-Valencia Susana Cabrera.
INFSO-RI Enabling Grids for E-sciencE PRÁCTICAS Gestión de trabajos en Glite Álvaro Fernández Casaní (IFIC – CSIC) Curso Grid y.
DML Transact SQL Sesión X Triggers. Duración 2 Horas.
Facilidades de Análisis en los centros: ATLAS TIER3 en Valencia S. González de la Hoz, J. Sánchez, L. March, A. Lamas IFIC – Instituto de Física Corpuscular.
ALICE GRID en México 19 de junio de 2007 Autores: Luciano Diaz, Lukas Nellen, Pedro Podesta Co-autores: Patricia Méndez, Kitzia Lubreras, Hans Reyes, Latchezar.
Ejecuciones más eficientes de códigos Monte Carlo en Grid Rafael Mayo García CIEMAT Red Gallega de Computación de Altas Prestaciones Santiago de Compostela,
1) Almacenamiento de datos de oficiales y privados. 2) Use cases. 3) Resultados del test Step09. Santiago González de al Hoz Análisis en el Grid.
VI Reunión Presencial del
Transcripción de la presentación:

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-041 GOG GOG Grup d’Ordinadors per al Grid (Desde el punto de vista del usuario ATLAS en el IFIC) Santiago González de la Hoz Grid & ATLAS compunting IFIC Reunión TICAL-IFIC 3-Mayo-2004

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-042 Índice Infraestructura: GoG Uso del GoG a la no-Grid (de forma clásica, y como ha sido utilizado hasta ahora) –Caso específico del Monte Carlos de ATLAS Uso del GoG a la Grid (disponible dentro de pocas semanas) –Caso específico del Monte Carlo de ATLAS

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-043 INFRAESTRUCTURA: GOG

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-044 Ordenadores de cálculo 192 Ordenadores (134 IFIC + 58 ICMOL) 96 Atlhon 1.2 GHz 1Gbyte SDRAM 96 Athlon 1.4 GHz 1Gbyte DDR Disco duro local de 40 GBytes FastEthernet agregando con gigabit ethernet.

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-045 Adquisiciones recientes Robot STK L700e700 4 Servidores de disco 2 Servidores de cinta

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-046 Almacenamiento disco discos para datos contrCPUNetworkCapacidad RAID 1 gse0120x80GB 2x120GB IDE2x Atlhon 1.5 GHz1x100Base-T 1x1000Base-SX 920 GB gse0216x120GBSATA2 x XEON 2.0 GHz1x1000Base-T 1x1000Base-SX 960 GB gse0312x160GBSATA2 x XEON 2.8 GHz2x1000Base-T960 GB gse0412x160GBSATA2 x XEON 2.8 GHz2x1000Base-T960 GB gse0512x160GBSATA2 x XEON 2.8 GHz2x1000Base-T960 GB gse0612x160GBSATA2 x XEON 2.8 GHz2x1000Base-T960 GB 5720 GB

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-047 Almacenamiento en cinta celdasLectoresinterfaceCapacidad (sin comp.) IBM x LTO Gen1 100 GB (sin compr.) SCSI5.4 TB STK L700e x LTO Gen2 200 GB (sin compr.) FibreChannel138 TB interfaceCPUNetwork tpsrv1SCSI1x Athlon 1.5 GHz1x100Base-T tpsrv2FC2 x XEON 2.8 GHz2x1000Base-T tpsrv3FC2 x XEON 2.8 GHz2x1000Base-T

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-048 Almacenamiento de datos En septiembre de 2002 se instaló CASTOR con: –1 TapeServer –1 Compaq TL891DLX (1 lector DLT8000, 10 slots) CASTOR en producción desde entonces. Durante el 2003 migración a la librería IBM Datos del DC1 de Atlas en: /castor/ific.uv.es/atlas/project/dc1 Diciembre de 2003 se añadio la librería de STK y los dos nuevos servidores de cinta.

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-049 USO DEL GOG A LA NO-GRID

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0410 Uso del GoG (Hasta ahora) (Forma no-Grid) Es necesario pedir una cuenta para ello: El front-end de la granja es reglar.ific.uv.es Se envían los trabajos en BATCH a través de PBS Cada cuenta dispone de un directorio /home con 200 MB visible por todos los trabajadores. Para cada trabajo se crea un directorio temporal en cada trabajador de 40 GB /data/$PBS_JOBID, el cual se borra al final del trabajo (los ficheros útiles deben ser copiado por el propio script).

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0411 Uso del GoG (Hasta ahora) (Forma no-Grid) Sistema de Colas para la ejecución de comandos en OpenPBS. Existen las colas que se pueden ver en la tabla, alimentadas de una cola default, a la cual se deben enviar los trabajos. Esta los envía a las distintas colas en función del tiempo solicitado. Sino se especifica el tiempo, irá a la cola small. NombreTiempo CPU Num. Trab. Limimete small00:20:0020 medium02:00:0020 long12:00:0060 verylong72:00:0040

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0412 Uso del GoG (Hasta ahora) (Forma no-Grid) Enviar programas, es necesario escribir un fichero de comandos que contiene las instrucciones necesarias para la ejecución de aquel y las órdenes al sistema de colas. El software de los experimentos se instala en /soft/: –/soft/atlas –/soft/alice –/soft/cmsprod El software es instalado por el responsable en el IFIC de cada experimento, en el caso de ATLAS (Santiago González). Todos los usuarios del grupo ATLAS pueden ver /soft/atlas Última versión de ATLAS instalada es la /soft/atlas/7.0.0/software/dist/7.0.0/ Applications Calorimeter genz pythia atdummy commons ggenz Reconstruction atgen Control graphics Simulation AtlasCxxPolicy Database InnerDetectorslug AtlasFortranPolicy DetectorDescription InstallArea taginfo AtlasPolicy dice jetfinder TestPolicy AtlasRelease Event jetset TileCalorimeter AtlasSystemSettings External LArCalorimeter Tools AtlasTest gcalor MagneticField Trigger atlfast geant3 matele Utilities atlsim gencl MuonSpectrometer atrecon Generators njets atutil genslug Physics

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0413 Uso del GoG (Hasta ahora) (Forma no-Grid) Ejemplo: Simulación del detector ATLAS (versión 6.5.0) Utilizo 2 scripts en mi home directory /home/sgonzale/: –atlas_pbs.sh (script necesario para enviar nuestro trabajo de simulación/reconstrucción a las colas de PBS) –dc1.zsh (script dado por la colaboración ATLAS DC y adaptado al entorno del IFIC, para hacer la simulación, uno idéntico para la reconstrucción).

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0414 Uso del GoG (Hasta ahora) (Forma no-Grid) #!/bin/sh # #PBS -q special #PBS -l cput=48:00:00 # #PBS -l nodes=cpu085 # WORKDIR=/data/$PBS_JOBID cd $WORKDIR echo "CDW: " pwd echo "ENV: " printenv echo "date: " date OUTPART=1500 INDISK=data06 OUTDISK=data10 if [ $OUTPART -lt 10 ]; then OUTPARTNR="0000$OUTPART" elif [ $OUTPART -lt 100 ]; then OUTPARTNR="000$OUTPART" elif [ $OUTPART -lt 1000 ]; then OUTPARTNR="00$OUTPART" elif [ $OUTPART -lt ]; then OUTPARTNR="0$OUTPART" else OUTPARTNR=$OUTPART fi echo "Running job" echo "/home/atlsoft/dc1_simul_650/dc1.zsh $OUTPART $INDISK $OUTDISK" /home/atlsoft/dc1_simul_650/dc1.zsh $OUTPART $INDISK $OUTDISK \ >& job-$OUTPARTNR.log echo "Copying log file" hh=`hostname | cut -d'.' -f 1` for ((i=1; i<20; ++i)) ; do if [ ! -f /home/atlsoft/dc1_simul_650/validation/$hh-$i.log ] ; then cp job-$OUTPARTNR.log /home/atlsoft/dc1_simul_650/validation/$hh-$i.log break fi done echo "Directory listing...." ls -al. # clean at the end date echo "Cleaning..." cd / #EOF atlas_pbs.sh

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0415 Uso del GoG (Hasta ahora) (Forma no-Grid) #!/bin/zsh if test $#argv -ne 3; then; echo usage: dc1.zsh " " " " " " exit 0 fi #example dc1.zsh 97 data01 data07 ##################################################### export PATH="/usr/local/gcc-alt-3.2.3/bin/:$PATH" echo $PATH which gcc echo " " echo echo "##working directory is:" `pwd` grep MHz /var/log/dmesg | grep processor echo export WORKDIR=`pwd` export system="`uname -a`" export userid="` id `" export HOSTMACHINE=`hostname -f` #five digits for simul partitions typeset -Z 5 OUTPARTNR=$argv[1] INDISK=$argv[2] OUTDISK=$argv[3] export OUTPARTNR export INPARTSZ= export OUTPARTSZ=200 ((inpnr = (1 + (($OUTPARTNR - 1) / ($INPARTSZ / $OUTPARTSZ))) )) #four digits for input partition dc1.zsh (dado por la colaboración Data Challenge) (afs/cern.ch/atlas/project/dc1/ Los nuevos DC2 /afs/cern.ch/atlas/project/dc2

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0416 Uso del GoG (Hasta ahora) (Forma no-Grid) typeset -Z 4 INPARTNR=$inpnr export INPARTNR ((FIRST = (($OUTPARTNR - 1) * $OUTPARTSZ) + 1)) export FIRST ((NSKIP = $OUTPARTSZ * (($OUTPARTNR - 1) % ($INPARTSZ / $OUTPARTSZ)) )) export NSKIP ((LAST = $FIRST + $OUTPARTSZ - 1)) export LAST echo "FIRST: $FIRST" echo "LAST: $LAST" echo "NSKIP: $NSKIP" echo "INPARTNR: $INPARTNR" # Source the kit environment export ATLAS_ROOT=/soft/atlas/6.5.0 source $ATLAS_ROOT/etc/atlas.shrc echo " " printenv echo " " export PROJECT=dc1 export DSET= export STEP=simul export PGROUP=hlt #export PRODSITE=EXTSITE export PRODSITE=IFIC export DESCRIPTOR=pythia_jet_17 export LFN=$PROJECT.$DSET.$STEP.$OUTPARTNR.$PGROUP.$DESCRIPTOR export INSET= export INPUT_DIR=/castor/ific.uv.es/atlas/project/dc1/evgen/data/$INSET export INFILE=$INPARTNR export INPUT_FILE=$PROJECT.$INSET.evgen.$INPARTNR.$PGROUP.$DESCRIPTOR.root export ZEBDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/data/$DSET export HISDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/his/$DSET dc1.zsh (dado por la colaboración Data Challenge) (afs/cern.ch/atlas/project/dc1/ Los nuevos DC2 /afs/cern.ch/atlas/project/dc2

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0417 Uso del GoG (Hasta ahora) (Forma no-Grid) export HISDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/his/$DSET export LOGDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/log/$DSET export JOBDIR=/home/atlsoft/dc1_simul_650/scripts export MAGLOC=cerncastor:/castor/cern.ch/atlas/project/dc1 ################################################################### # applications bootstrap # ################################################################### export COMPILERS=$ATLAS_ROOT/i386_redhat73/usr.local/gcc-alt-3.2 export ROOTSYS=$ATLAS_ROOT/ROOT/v /rh73_gcc32/root export LHCXX=none # The following line is used to copy the input file locally, # uncomment if necessary and customize for your site rfcp $INPUT_DIR/$INPUT_FILE $WORKDIR/$INPUT_FILE unset DISPLAY # if this unset is not done ROOT will hang or crash !! ############################################################################ # create local links to data files # ############################################################################ # link atlas data files, most of them have standard.dat extention ln -sf $ATLSIMMAINROOT/atlas.kumac. ln -sf $ATLSIMMAINROOT/atlsim.logon.kumac. ln -sf $ATLASDATA/bmagatlas02.data fieldmap.dat ln -sf $ATLASDATA/amdb_simrec.p.03 amdb_simrec.data ln -sf $ATLASDATA/xsneut96.dat xsneut.dat ln -sf $ATLASDATA/*.dat. dc1.zsh (dado por la colaboración Data Challenge) (afs/cern.ch/atlas/project/dc1/ Los nuevos DC2 /afs/cern.ch/atlas/project/dc2

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0418 Uso del GoG (Hasta ahora) (Forma no-Grid) ##################################################################### # run dice-atlsim in batch with built-in kumac below # ##################################################################### # print env info printenv | grep -v 'CONFIG=' | grep -v "ROOT=$DISTREL" echo echo " " echo ATLASLIB="${CMTATLAS}/InstallArea/${CMTCONFIG}/lib" rm -f mykumac cat > mykumac <<EOF gexec $ATLASLIB/libRootKernel.so Ag/Version batch gexec $ATLASLIB/libatlroot.so gexec $ATLASLIB/libatlprod.so gtime Rung 0 1 Ranlux $OUTPARTNR ghist $WORKDIR/atlas.$OUTPARTNR.his * - set atlas-standard configuration (inner, center, all) exec atlas#config ALL exec atlas#calo_shift 4 exec atlas#inner_cut 4 all mode OUTP simu 2 mode FWDC geom 2 mode HEPE hist 100 DETP HEPE Hepa.Vcut=0 * mode filter hist 300 * detp filter fgen.ntyp=1 call adice * - select filters, IO etc. * call filter Gspread TFLT ETAP call AguDSET(\$quote($DSET.$INSET)) call AguFILE($INFILE) * - next line may produce an uncorrect error message which should be ignored * gfile u $INPUT_DIR/$INPUT_FILE E rfcp $WORKDIR/atlas.$OUTPARTNR.zebra $ZEBDIR/$LFN.zebra * - uncomment the next line (and comment out the previous 'gfile') * - if you use a local copy of the input file gfile u $WORKDIR/$INPUT_FILE E gfile O $WORKDIR/atlas.$OUTPARTNR.zebra skip $NSKIP * trig $OUTPARTSZ trig 2 quit EOF atlsim.exe -w 0 -g 90 < mykumac exit 0 dc1.zsh (dado por la colaboración Data Challenge) (afs/cern.ch/atlas/project/dc1/ Los nuevos DC2 /afs/cern.ch/atlas/project/dc2

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0419 USO DEL GOG A LA GRID

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0420 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Ver página web: Dos pasos : –Obtención de certificado –Darse de alta en la Organización Virtual de ATLAS (ATLAS VO) OBTENCIÓN DE CERTIFICADOOBTENCIÓN DE CERTIFICADO 1)Solicitar cuenta en la granaja GOG 2) Abrirse una cuenta en el User Interface (UI), lcg2ui.ific.uv.es (pedir esto a Javier Sánchez) 3)Una vez logado en el User Interface, ejecutar el comando "grid-cert-request" y meter una clave para dicho certificado 4) Después de haber ejecutado el comando se creará el directorio ".globus", el cual contendrá tres ficheros (usercert.pem, userkey.pem, usercert_request.pem) 5) Enviar usercert_request.pem a la Autoridad Certificadora (datagrid-es- para que sea firmado adecuadamente. 6) Una vez la Autoridad Certificadora lo firme adecuadamente (se recibirá un e- mail con el request firmado), copiar dicho request en el fichero usercert.pem 7) Para comprobar que el certificado ha sido firmado correctamente y funciona adecuadamente, hacer las siguientes pruebas: grid-proxy-init, si el comando tiene éxito el resultado deberia ser como el siguiente –Your identity: /C=ES/O=DATAGRID-ES/O=IFIC/CN=Santiago Gonzalez de la Hoz Enter GRID pass phrase for this identity: Creating proxy Done Your proxy is valid until: Tue Apr 6 01:07: grid-proxy-info,

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0421 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) DARSE DE ALTA EN LA ORGANIZACIÓN VIRTUAL DE ATLASDARSE DE ALTA EN LA ORGANIZACIÓN VIRTUAL DE ATLAS 0) Asegurarse que eres usuario ATLAS en el CERN, este paso es el principal (por ejemplo logate en lxplus.cern.ch y haz un xwho, ahí se puede ver si perteneces a ATLAS o no) 1) Convertir el certificado en un formato que reconozca el browser (formato p12), para ello utilizar el siguiente comando en el User Inteface: openssl pkcs12 -export -in usercert.pem -inkey userkey.pem -out cert.p12 2) 2) Importar el certificado al Browser (Netscape, Mozilla, etc...): Ir a las opcione seguridad (en el mozillar dentro de Edit y luego dentro de Preferences) e importar el certificado (el cert.p12) 3) Ir a la siguiente página web: y alli rellenar el LCG Registar form (pinchar en ese link), elegiendo como VO ATLAShttp://lcg-registrar.cern.ch/ 4) Ir a la página web: y ver que se pertenece al grupo lcg1http:// 5) Leer la guía del usuario para utilizar un testbed con el middleware del proyecto LCG, disponible en la página: 6) Visitar la siguiente página web y ver que se está dado de alta: 7) Pasado unas 6 horas o así intentar correr un simple trabajo: globus-job-run lcg2ce.ific.uv.es/jobmanager-lcgpbs /bin/bash -c "hostname;pwd", si el comando se ejecuta con éxito deberia salir algo como lo siguiente: wn101.ific.uv.es /home/atlas001

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0422 Single Job Submission (from site j) –Running in another site (in site i) Grid Global Service (CERN) Site i network II JSS LB Globus Site j

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0423 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Se ha corrido ATLAS a la grid (versión dada en la release del Grid) Se ha utilizado la distribución estándar de RPM’s usada en los DC1. Se puede hacer tanto simulación como reconstrucción. La simulación ha corrido bien en todos los sitios: –ATLAS_ROOT=/opt/exp_software/atlas/ –ATL_VERSION=/opt/exp_software/atlas/softw are/dist/6.0.4

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0424 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Fichero JDL (Job Description Language): Executable = "/usr/bin/time"; Arguments = "/bin/sh dc1-ds2000.sh 23"; StdOutput = "ific dc simul hlt.pythia_jet_17.log"; StdError = "ific dc simul hlt.pythia_jet_17.err"; InputSandbox = {"dc1-ds2000.sh"}; OutputSandbox = {"ific dc simul hlt.pythia_jet_17.zebra", "ific dc simul hlt.pythia_jet_17.log", "ific dc simul hlt.pythia_jet_17.his", "ific dc simul hlt.pythia_jet_17.MAG", "ific dc simul hlt.pythia_jet_17.AMI", "ific dc simul hlt.pythia_jet_17.err"}; InputData = {"lfn:ific dc evgen.0002.hlt.pythia_jet_17.root"}; DataAccessProtocol = "file"; Requirements = other.GlueCEPolicyMaxCPUTime > ; Requirements = member("ATLAS6.0.4",other.GlueHostApplicationSoftwareRunTimeEnvironment); Rank = other.GlueCEStateFreeCPUs; RetryCount = 0;

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0425 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Ejemplo: Simulación del detector ATLAS (versión 6.0.4) con el GRID Utilizo 2 scripts en mi directorio de afs a través del UI (lcg2ui.ific.uv.es) *los trabajadores no montan AFS, diferencia respecto antes*: –loop2000 (script necesario para enviar nuestro trabajo de simulación/reconstrucción a la GRID) –dc1-ds2000.sh (script dado por la colaboración ATLAS DC y adaptado al entorno del IFIC, para hacer la simulación, uno idéntico para la reconstrucción). IDÉNTICO AL UTILIZADO DE LA FORMA NO GRID *La única diferencia es copiar el fichero de salida, se utiliza un comando grid globus-url-copy file://$TEMPO/$LFN.zebra gsiftp://$closeSE/flatfiles/SE00/atlas/test-ific/$LFN.zebrafile://$TEMPO/$LFN.zebra

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0426 #!/bin/sh # Submits several DC1 simulation jobs if [ $# -eq 0 ]; then echo 1>&2 Usage: $0 njobs [first partition] exit 127 fi NJOB=$1 outpart=${2:-1} PROJ="ific dc1" STEP="simul" DSET="002000" TEAM="hlt" PROC="pythia_jet_17" estime=86400 BNAM=${PROJ}.${DSET}.${STEP} IBAS=${PROJ}.${DSET}.evgen echo 1>&2 "Submitting $NJOB jobs, first input partition: $outpart" count=1 while [ "$count" -le $NJOB ] do inpart=$(( 1 + (($outpart -1)/20) )) PART=$(( $outpart )) PART=`echo $PART | sed -e 's/.\{1\}//'` IPAR=$(( $inpart )) IPAR=`echo $IPAR | sed -e 's/.\{1\}//'` IFIL=${IBAS}.${IPAR}.${TEAM}.${PROC}.root ZLOC=atlas.${PART}.zebra HLOC=atlas.${PART}.his JNAM=${BNAM}.${PART}.${TEAM}.${PROC} ZFIL=${JNAM}.zebra HFIL=${JNAM}.his AFIL=${JNAM}.AMI MFIL=${JNAM}.MAG ONAM=${JNAM}.log ENAM=${JNAM}.err # LFN=evgen/data/002000/${IFIL} LFN=${IFIL} cat dc1-ds2000.jdl loop2000

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0427 ## this file is created authomatically, don't edit! ## Executable = "/usr/bin/time"; Arguments = "/bin/sh dc1-ds2000.sh $outpart"; StdOutput = "$ONAM"; StdError = "$ENAM"; InputSandbox = {"dc1-ds2000.sh", "rc.conf"}; OutputSandbox = {"$ZFIL","$ONAM","$HFIL","$MFIL","$AFIL","$ENAM"}; InputData = {"lfn:$LFN"}; DataAccessProtocol = "file"; Requirements = other.GlueCEPolicyMaxCPUTime > $estime ; ##### Puesto por Oxana Requirements = member("ATLAS-6.0.4",other.GlueHostApplicationSoftwareRunTimeEnvironment); Requirements = other.GlueCEInfoHostName == "lcg2ce.ific.uv.es"; #####Requirements = other.GlueCEInfoHostName == "grid003.ft.uam.es"; #####Requirements = other.GlueCEInfoHostName == "lcg02.ciemat.es"; #####Requirements = other.GlueCEInfoHostName == "lcg-ce.ecm.ub.es"; #####Requirements = other.GlueCEInfoHostName == "lcg-ce.usc.cesga.es"; #####Requirements = other.GlueCEInfoHostName == "grid-w1.ifae.es"; Rank = other.GlueCEStateFreeCPUs; RetryCount = 0; EOJDL count=$(( $count + 1 )) outpart=$(( $outpart + 1)) edg-job-submit --vo atlas -o myjoblist dc1-ds2000.jdl sleep 30 done

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0428 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Algunos comandos utilizados (Manuals Series LCG-2 User Guide) –grid-proxy-init → “para acceder al testbed con mi certificado” –edg-gridftp-ls --verbose gsiftp://loki03.ific.uv.es/flatfiles/SE00/atlas/test-ific/ “para ver el contenido en un directorio del SE (equivalente al ls)” –globus-url-copy file://(path completo donde esté el fichero) gsiftp://castorgrid.ific.uv.es/flatfiles/SE00/atlas/test-ific/ ific dc evgen.0001.pyt_zprime2000_bb.root “para copiar un fichero al SE” –edg-replica-manager --vo atlas registerFile srm://castrogrid.ific.uv.es/flatfiles/SE00/atlas/test-ific/ ific dc evgen.0001.pyt_zprime2000_bb.root -l lfn:ific dc evgen.0001.pyt_zprime2000_bb.root “para registrar el fichero en el catálogo”

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0429 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Futuro en ATLAS: –Data Challenges 2 dentro del LCG2 –Validar la cadena de producción de ATLAS »Generación de sucesos, Geant4-simulation »Digitalización, Byte-stream »Pile-up, datos ESD (Event Summary Data) y AOD (Analysis Object Data) –Utilizar el GRID (el LCG2) »Correr simulación en diferentes “sites” »Reconstruir lo sucesos en diferentes “sites” »Proveer acceso a los datos a los miembros de la VO de ATLAS »Analizar datos de forma On-line y Off-line

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0430 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Futuro en ATLAS: –Versión del Monte Carlo o superiores –La utilizada en los DC2 y a partir de ahora, las personas responsables en el CERN-ATLAS instalarán y validarán el software en los diferentes sites (utilizando el GRID). –Se instalará en todos los WN’s y podran vivir dos o tres versiones del Monte Carlo a la vez (/opt/exp_software/atlas/dist/8.0.1). –Se enviarán trabajos utilizando el JDL (Job Description Language): »Aquí específico en inputsanbox el ejecutable y lo necesario para correr el programa

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0431 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Grupo de Computación Grid del IFIC – /computacion-grid/ /computacion-grid/ En la foto falta Farida Fassi

Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0432 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) GRACIAS por vuestra atención ¿ALGUNA PREGUNTA, COMENTARIO O SUGERENCIA?