Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-041 GOG GOG Grup d’Ordinadors per al Grid (Desde el punto de vista del usuario ATLAS.

Presentación del tema: "Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-041 GOG GOG Grup d’Ordinadors per al Grid (Desde el punto de vista del usuario ATLAS."— Transcripción de la presentación:

1 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-041 GOG GOG Grup d’Ordinadors per al Grid (Desde el punto de vista del usuario ATLAS en el IFIC) Santiago González de la Hoz (Santiago.Gonzalez@ific.uv.es) Grid & ATLAS compunting team @ IFIC Reunión TICAL-IFIC 3-Mayo-2004

2 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-042 Índice Infraestructura: GoG Uso del GoG a la no-Grid (de forma clásica, y como ha sido utilizado hasta ahora) –Caso específico del Monte Carlos de ATLAS Uso del GoG a la Grid (disponible dentro de pocas semanas) –Caso específico del Monte Carlo de ATLAS

3 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-043 INFRAESTRUCTURA: GOG

4 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-044 Ordenadores de cálculo 192 Ordenadores (134 IFIC + 58 ICMOL) 96 Atlhon 1.2 GHz 1Gbyte SDRAM 96 Athlon 1.4 GHz 1Gbyte DDR Disco duro local de 40 GBytes FastEthernet agregando con gigabit ethernet.

5 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-045 Adquisiciones recientes Robot STK L700e700 4 Servidores de disco 2 Servidores de cinta

6 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-046 Almacenamiento disco discos para datos contrCPUNetworkCapacidad RAID 1 gse0120x80GB 2x120GB IDE2x Atlhon 1.5 GHz1x100Base-T 1x1000Base-SX 920 GB gse0216x120GBSATA2 x XEON 2.0 GHz1x1000Base-T 1x1000Base-SX 960 GB gse0312x160GBSATA2 x XEON 2.8 GHz2x1000Base-T960 GB gse0412x160GBSATA2 x XEON 2.8 GHz2x1000Base-T960 GB gse0512x160GBSATA2 x XEON 2.8 GHz2x1000Base-T960 GB gse0612x160GBSATA2 x XEON 2.8 GHz2x1000Base-T960 GB 5720 GB

7 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-047 Almacenamiento en cinta celdasLectoresinterfaceCapacidad (sin comp.) IBM 3583541 x LTO Gen1 100 GB (sin compr.) SCSI5.4 TB STK L700e7006904 x LTO Gen2 200 GB (sin compr.) FibreChannel138 TB interfaceCPUNetwork tpsrv1SCSI1x Athlon 1.5 GHz1x100Base-T tpsrv2FC2 x XEON 2.8 GHz2x1000Base-T tpsrv3FC2 x XEON 2.8 GHz2x1000Base-T

8 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-048 Almacenamiento de datos En septiembre de 2002 se instaló CASTOR con: –1 TapeServer –1 Compaq TL891DLX (1 lector DLT8000, 10 slots) CASTOR en producción desde entonces. Durante el 2003 migración a la librería IBM 3583. Datos del DC1 de Atlas en: /castor/ific.uv.es/atlas/project/dc1 Diciembre de 2003 se añadio la librería de STK y los dos nuevos servidores de cinta.

9 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-049 USO DEL GOG A LA NO-GRID

10 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0410 Uso del GoG (Hasta ahora) (Forma no-Grid) Es necesario pedir una cuenta para ello: El front-end de la granja es reglar.ific.uv.es Se envían los trabajos en BATCH a través de PBS Cada cuenta dispone de un directorio /home con 200 MB visible por todos los trabajadores. Para cada trabajo se crea un directorio temporal en cada trabajador de 40 GB /data/$PBS_JOBID, el cual se borra al final del trabajo (los ficheros útiles deben ser copiado por el propio script). http://ific.uv.es/gog/uso/page.shtml

11 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0411 Uso del GoG (Hasta ahora) (Forma no-Grid) Sistema de Colas para la ejecución de comandos en OpenPBS. Existen las colas que se pueden ver en la tabla, alimentadas de una cola default, a la cual se deben enviar los trabajos. Esta los envía a las distintas colas en función del tiempo solicitado. Sino se especifica el tiempo, irá a la cola small. NombreTiempo CPU Num. Trab. Limimete small00:20:0020 medium02:00:0020 long12:00:0060 verylong72:00:0040

12 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0412 Uso del GoG (Hasta ahora) (Forma no-Grid) Enviar programas, es necesario escribir un fichero de comandos que contiene las instrucciones necesarias para la ejecución de aquel y las órdenes al sistema de colas. El software de los experimentos se instala en /soft/: –/soft/atlas –/soft/alice –/soft/cmsprod El software es instalado por el responsable en el IFIC de cada experimento, en el caso de ATLAS (Santiago González). Todos los usuarios del grupo ATLAS pueden ver /soft/atlas Última versión de ATLAS instalada es la 7.0.0 /soft/atlas/7.0.0/software/dist/7.0.0/ Applications Calorimeter genz pythia atdummy commons ggenz Reconstruction atgen Control graphics Simulation AtlasCxxPolicy Database InnerDetectorslug AtlasFortranPolicy DetectorDescription InstallArea taginfo AtlasPolicy dice jetfinder TestPolicy AtlasRelease Event jetset TileCalorimeter AtlasSystemSettings External LArCalorimeter Tools AtlasTest gcalor MagneticField Trigger atlfast geant3 matele Utilities atlsim gencl MuonSpectrometer atrecon Generators njets atutil genslug Physics

13 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0413 Uso del GoG (Hasta ahora) (Forma no-Grid) Ejemplo: Simulación del detector ATLAS (versión 6.5.0) Utilizo 2 scripts en mi home directory /home/sgonzale/: –atlas_pbs.sh (script necesario para enviar nuestro trabajo de simulación/reconstrucción a las colas de PBS) –dc1.zsh (script dado por la colaboración ATLAS DC y adaptado al entorno del IFIC, para hacer la simulación, uno idéntico para la reconstrucción).

14 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0414 Uso del GoG (Hasta ahora) (Forma no-Grid) #!/bin/sh # #PBS -q special #PBS -l cput=48:00:00 # #PBS -l nodes=cpu085 # WORKDIR=/data/$PBS_JOBID cd $WORKDIR echo "CDW: " pwd echo "ENV: " printenv echo "date: " date OUTPART=1500 INDISK=data06 OUTDISK=data10 if [ $OUTPART -lt 10 ]; then OUTPARTNR="0000$OUTPART" elif [ $OUTPART -lt 100 ]; then OUTPARTNR="000$OUTPART" elif [ $OUTPART -lt 1000 ]; then OUTPARTNR="00$OUTPART" elif [ $OUTPART -lt 10000 ]; then OUTPARTNR="0$OUTPART" else OUTPARTNR=$OUTPART fi echo "Running job" echo "/home/atlsoft/dc1_simul_650/dc1.zsh $OUTPART $INDISK $OUTDISK" /home/atlsoft/dc1_simul_650/dc1.zsh $OUTPART $INDISK $OUTDISK \ >& job-$OUTPARTNR.log echo "Copying log file" hh=`hostname | cut -d'.' -f 1` for ((i=1; i<20; ++i)) ; do if [ ! -f /home/atlsoft/dc1_simul_650/validation/$hh-$i.log ] ; then cp job-$OUTPARTNR.log /home/atlsoft/dc1_simul_650/validation/$hh-$i.log break fi done echo "Directory listing...." ls -al. # clean at the end date echo "Cleaning..." cd / #EOF atlas_pbs.sh

15 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0415 Uso del GoG (Hasta ahora) (Forma no-Grid) #!/bin/zsh if test $#argv -ne 3; then; echo usage: dc1.zsh " " " " " " exit 0 fi #example dc1.zsh 97 data01 data07 ##################################################### export PATH="/usr/local/gcc-alt-3.2.3/bin/:$PATH" echo $PATH which gcc echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++" echo echo "##working directory is:" `pwd` grep MHz /var/log/dmesg | grep processor echo export WORKDIR=`pwd` export system="`uname -a`" export userid="` id `" export HOSTMACHINE=`hostname -f` #five digits for simul partitions typeset -Z 5 OUTPARTNR=$argv[1] INDISK=$argv[2] OUTDISK=$argv[3] export OUTPARTNR export INPARTSZ=100000 export OUTPARTSZ=200 ((inpnr = (1 + (($OUTPARTNR - 1) / ($INPARTSZ / $OUTPARTSZ))) )) #four digits for input partition dc1.zsh (dado por la colaboración Data Challenge) (afs/cern.ch/atlas/project/dc1/ Los nuevos DC2 /afs/cern.ch/atlas/project/dc2

16 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0416 Uso del GoG (Hasta ahora) (Forma no-Grid) typeset -Z 4 INPARTNR=$inpnr export INPARTNR ((FIRST = (($OUTPARTNR - 1) * $OUTPARTSZ) + 1)) export FIRST ((NSKIP = $OUTPARTSZ * (($OUTPARTNR - 1) % ($INPARTSZ / $OUTPARTSZ)) )) export NSKIP ((LAST = $FIRST + $OUTPARTSZ - 1)) export LAST echo "FIRST: $FIRST" echo "LAST: $LAST" echo "NSKIP: $NSKIP" echo "INPARTNR: $INPARTNR" # Source the kit environment export ATLAS_ROOT=/soft/atlas/6.5.0 source $ATLAS_ROOT/etc/atlas.shrc echo "++++++++++++++++++++++++++++" printenv echo "++++++++++++++++++++++++++++" export PROJECT=dc1 export DSET=002030 export STEP=simul export PGROUP=hlt #export PRODSITE=EXTSITE export PRODSITE=IFIC export DESCRIPTOR=pythia_jet_17 export LFN=$PROJECT.$DSET.$STEP.$OUTPARTNR.$PGROUP.$DESCRIPTOR export INSET=002000 export INPUT_DIR=/castor/ific.uv.es/atlas/project/dc1/evgen/data/$INSET export INFILE=$INPARTNR export INPUT_FILE=$PROJECT.$INSET.evgen.$INPARTNR.$PGROUP.$DESCRIPTOR.root export ZEBDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/data/$DSET export HISDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/his/$DSET dc1.zsh (dado por la colaboración Data Challenge) (afs/cern.ch/atlas/project/dc1/ Los nuevos DC2 /afs/cern.ch/atlas/project/dc2

17 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0417 Uso del GoG (Hasta ahora) (Forma no-Grid) export HISDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/his/$DSET export LOGDIR=/shift/gse01/$OUTDISK/atlas/project/dc1/simul/log/$DSET export JOBDIR=/home/atlsoft/dc1_simul_650/scripts export MAGLOC=cerncastor:/castor/cern.ch/atlas/project/dc1 ################################################################### # applications bootstrap # ################################################################### export COMPILERS=$ATLAS_ROOT/i386_redhat73/usr.local/gcc-alt-3.2 export ROOTSYS=$ATLAS_ROOT/ROOT/v3.05.05/rh73_gcc32/root export LHCXX=none # The following line is used to copy the input file locally, # uncomment if necessary and customize for your site rfcp $INPUT_DIR/$INPUT_FILE $WORKDIR/$INPUT_FILE unset DISPLAY # if this unset is not done ROOT will hang or crash !! ############################################################################ # create local links to data files # ############################################################################ # link atlas data files, most of them have standard.dat extention ln -sf $ATLSIMMAINROOT/atlas.kumac. ln -sf $ATLSIMMAINROOT/atlsim.logon.kumac. ln -sf $ATLASDATA/bmagatlas02.data fieldmap.dat ln -sf $ATLASDATA/amdb_simrec.p.03 amdb_simrec.data ln -sf $ATLASDATA/xsneut96.dat xsneut.dat ln -sf $ATLASDATA/*.dat. dc1.zsh (dado por la colaboración Data Challenge) (afs/cern.ch/atlas/project/dc1/ Los nuevos DC2 /afs/cern.ch/atlas/project/dc2

18 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0418 Uso del GoG (Hasta ahora) (Forma no-Grid) ##################################################################### # run dice-atlsim in batch with built-in kumac below # ##################################################################### # print env info printenv | grep -v 'CONFIG=' | grep -v "ROOT=$DISTREL" echo echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++" echo ATLASLIB="${CMTATLAS}/InstallArea/${CMTCONFIG}/lib" rm -f mykumac cat > mykumac <<EOF gexec $ATLASLIB/libRootKernel.so Ag/Version batch gexec $ATLASLIB/libatlroot.so gexec $ATLASLIB/libatlprod.so gtime 0 1000 1 Rung 0 1 Ranlux $OUTPARTNR ghist $WORKDIR/atlas.$OUTPARTNR.his * - set atlas-standard configuration (inner, center, all) exec atlas#config ALL exec atlas#calo_shift 4 exec atlas#inner_cut 4 all mode OUTP simu 2 mode FWDC geom 2 mode HEPE hist 100 DETP HEPE Hepa.Vcut=0 * mode filter hist 300 * detp filter fgen.ntyp=1 call adice * - select filters, IO etc. * call filter Gspread 0.0015 0.0015 5.6 TFLT ETAP -5.0 5.0 0.0 6.3 call AguDSET(\$quote($DSET.$INSET)) call AguFILE($INFILE) * - next line may produce an uncorrect error message which should be ignored * gfile u $INPUT_DIR/$INPUT_FILE E rfcp $WORKDIR/atlas.$OUTPARTNR.zebra $ZEBDIR/$LFN.zebra * - uncomment the next line (and comment out the previous 'gfile') * - if you use a local copy of the input file gfile u $WORKDIR/$INPUT_FILE E gfile O $WORKDIR/atlas.$OUTPARTNR.zebra skip $NSKIP * trig $OUTPARTSZ trig 2 quit EOF atlsim.exe -w 0 -g 90 < mykumac exit 0 dc1.zsh (dado por la colaboración Data Challenge) (afs/cern.ch/atlas/project/dc1/ Los nuevos DC2 /afs/cern.ch/atlas/project/dc2

19 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0419 USO DEL GOG A LA GRID

20 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0420 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Ver página web: http://ific.uv.es/~sgonzale/certificadohttp://ific.uv.es/~sgonzale/certificado Dos pasos : –Obtención de certificado –Darse de alta en la Organización Virtual de ATLAS (ATLAS VO) OBTENCIÓN DE CERTIFICADOOBTENCIÓN DE CERTIFICADO 1)Solicitar cuenta en la granaja GOG 2) Abrirse una cuenta en el User Interface (UI), lcg2ui.ific.uv.es (pedir esto a Javier Sánchez) 3)Una vez logado en el User Interface, ejecutar el comando "grid-cert-request" y meter una clave para dicho certificado 4) Después de haber ejecutado el comando se creará el directorio ".globus", el cual contendrá tres ficheros (usercert.pem, userkey.pem, usercert_request.pem) 5) Enviar usercert_request.pem a la Autoridad Certificadora (datagrid-es- ca@ifca.unican.es) para que sea firmado adecuadamente. 6) Una vez la Autoridad Certificadora lo firme adecuadamente (se recibirá un e- mail con el request firmado), copiar dicho request en el fichero usercert.pem 7) Para comprobar que el certificado ha sido firmado correctamente y funciona adecuadamente, hacer las siguientes pruebas: grid-proxy-init, si el comando tiene éxito el resultado deberia ser como el siguiente –Your identity: /C=ES/O=DATAGRID-ES/O=IFIC/CN=Santiago Gonzalez de la Hoz Enter GRID pass phrase for this identity: Creating proxy...................................... Done Your proxy is valid until: Tue Apr 6 01:07:21 2004 grid-proxy-info,

21 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0421 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) DARSE DE ALTA EN LA ORGANIZACIÓN VIRTUAL DE ATLASDARSE DE ALTA EN LA ORGANIZACIÓN VIRTUAL DE ATLAS 0) Asegurarse que eres usuario ATLAS en el CERN, este paso es el principal (por ejemplo logate en lxplus.cern.ch y haz un xwho, ahí se puede ver si perteneces a ATLAS o no) 1) Convertir el certificado en un formato que reconozca el browser (formato p12), para ello utilizar el siguiente comando en el User Inteface: openssl pkcs12 -export -in usercert.pem -inkey userkey.pem -out cert.p12 2) 2) Importar el certificado al Browser (Netscape, Mozilla, etc...): Ir a las opcione seguridad (en el mozillar dentro de Edit y luego dentro de Preferences) e importar el certificado (el cert.p12) 3) Ir a la siguiente página web: http://lcg-registrar.cern.ch/ y alli rellenar el LCG Registar form (pinchar en ese link), elegiendo como VO ATLAShttp://lcg-registrar.cern.ch/ 4) Ir a la página web: http://www.nordugrid.org/monitor/atlasvo/ y ver que se pertenece al grupo lcg1http://www.nordugrid.org/monitor/atlasvo/ 5) Leer la guía del usuario para utilizar un testbed con el middleware del proyecto LCG, disponible en la página: http://lcg.web.cern.ch/LCG/peb/grid_deployment/user_intro.htmhttp://lcg.web.cern.ch/LCG/peb/grid_deployment/user_intro.htm 6) Visitar la siguiente página web y ver que se está dado de alta: http://www.nordugrid.org/monitor/atlasvo/ http://www.nordugrid.org/monitor/atlasvo/ 7) Pasado unas 6 horas o así intentar correr un simple trabajo: globus-job-run lcg2ce.ific.uv.es/jobmanager-lcgpbs /bin/bash -c "hostname;pwd", si el comando se ejecuta con éxito deberia salir algo como lo siguiente: wn101.ific.uv.es /home/atlas001

22 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0422 Single Job Submission (from site j) –Running in another site (in site i) Grid Global Service (CERN) Site i network II JSS LB Globus Site j

23 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0423 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Se ha corrido ATLAS-6.0.4 a la grid (versión dada en la release del Grid) Se ha utilizado la distribución estándar de RPM’s usada en los DC1. Se puede hacer tanto simulación como reconstrucción. La simulación ha corrido bien en todos los sitios: –ATLAS_ROOT=/opt/exp_software/atlas/ –ATL_VERSION=/opt/exp_software/atlas/softw are/dist/6.0.4

24 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0424 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Fichero JDL (Job Description Language): Executable = "/usr/bin/time"; Arguments = "/bin/sh dc1-ds2000.sh 23"; StdOutput = "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.log"; StdError = "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.err"; InputSandbox = {"dc1-ds2000.sh"}; OutputSandbox = {"ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.zebra", "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.log", "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.his", "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.MAG", "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.AMI", "ific-20031028-dc1.002000.simul.00023.hlt.pythia_jet_17.err"}; InputData = {"lfn:ific-20031028-dc1.002000.evgen.0002.hlt.pythia_jet_17.root"}; DataAccessProtocol = "file"; Requirements = other.GlueCEPolicyMaxCPUTime > 86400 ; Requirements = member("ATLAS6.0.4",other.GlueHostApplicationSoftwareRunTimeEnvironment); Rank = other.GlueCEStateFreeCPUs; RetryCount = 0;

25 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0425 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Ejemplo: Simulación del detector ATLAS (versión 6.0.4) con el GRID Utilizo 2 scripts en mi directorio de afs a través del UI (lcg2ui.ific.uv.es) *los trabajadores no montan AFS, diferencia respecto antes*: –loop2000 (script necesario para enviar nuestro trabajo de simulación/reconstrucción a la GRID) –dc1-ds2000.sh (script dado por la colaboración ATLAS DC y adaptado al entorno del IFIC, para hacer la simulación, uno idéntico para la reconstrucción). IDÉNTICO AL UTILIZADO DE LA FORMA NO GRID *La única diferencia es copiar el fichero de salida, se utiliza un comando grid globus-url-copy file://$TEMPO/$LFN.zebra gsiftp://$closeSE/flatfiles/SE00/atlas/test-ific/$LFN.zebrafile://$TEMPO/$LFN.zebra

26 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0426 #!/bin/sh # Submits several DC1 simulation jobs if [ $# -eq 0 ]; then echo 1>&2 Usage: $0 njobs [first partition] exit 127 fi NJOB=$1 outpart=${2:-1} PROJ="ific-20031028-dc1" STEP="simul" DSET="002000" TEAM="hlt" PROC="pythia_jet_17" estime=86400 BNAM=${PROJ}.${DSET}.${STEP} IBAS=${PROJ}.${DSET}.evgen echo 1>&2 "Submitting $NJOB jobs, first input partition: $outpart" count=1 while [ "$count" -le $NJOB ] do inpart=$(( 1 + (($outpart -1)/20) )) PART=$(( $outpart + 100000 )) PART=`echo $PART | sed -e 's/.\{1\}//'` IPAR=$(( $inpart + 10000 )) IPAR=`echo $IPAR | sed -e 's/.\{1\}//'` IFIL=${IBAS}.${IPAR}.${TEAM}.${PROC}.root ZLOC=atlas.${PART}.zebra HLOC=atlas.${PART}.his JNAM=${BNAM}.${PART}.${TEAM}.${PROC} ZFIL=${JNAM}.zebra HFIL=${JNAM}.his AFIL=${JNAM}.AMI MFIL=${JNAM}.MAG ONAM=${JNAM}.log ENAM=${JNAM}.err # LFN=evgen/data/002000/${IFIL} LFN=${IFIL} cat dc1-ds2000.jdl loop2000

27 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0427 ## this file is created authomatically, don't edit! ## Executable = "/usr/bin/time"; Arguments = "/bin/sh dc1-ds2000.sh $outpart"; StdOutput = "$ONAM"; StdError = "$ENAM"; InputSandbox = {"dc1-ds2000.sh", "rc.conf"}; OutputSandbox = {"$ZFIL","$ONAM","$HFIL","$MFIL","$AFIL","$ENAM"}; InputData = {"lfn:$LFN"}; DataAccessProtocol = "file"; Requirements = other.GlueCEPolicyMaxCPUTime > $estime ; ##### Puesto por Oxana Requirements = member("ATLAS-6.0.4",other.GlueHostApplicationSoftwareRunTimeEnvironment); Requirements = other.GlueCEInfoHostName == "lcg2ce.ific.uv.es"; #####Requirements = other.GlueCEInfoHostName == "grid003.ft.uam.es"; #####Requirements = other.GlueCEInfoHostName == "lcg02.ciemat.es"; #####Requirements = other.GlueCEInfoHostName == "lcg-ce.ecm.ub.es"; #####Requirements = other.GlueCEInfoHostName == "lcg-ce.usc.cesga.es"; #####Requirements = other.GlueCEInfoHostName == "grid-w1.ifae.es"; Rank = other.GlueCEStateFreeCPUs; RetryCount = 0; EOJDL count=$(( $count + 1 )) outpart=$(( $outpart + 1)) edg-job-submit --vo atlas -o myjoblist dc1-ds2000.jdl sleep 30 done

28 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0428 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Algunos comandos utilizados (Manuals Series LCG-2 User Guide) –grid-proxy-init → “para acceder al testbed con mi certificado” –edg-gridftp-ls --verbose gsiftp://loki03.ific.uv.es/flatfiles/SE00/atlas/test-ific/ “para ver el contenido en un directorio del SE (equivalente al ls)” –globus-url-copy file://(path completo donde esté el fichero) gsiftp://castorgrid.ific.uv.es/flatfiles/SE00/atlas/test-ific/ ific-20040113-dc1.002387.evgen.0001.pyt_zprime2000_bb.root “para copiar un fichero al SE” –edg-replica-manager --vo atlas registerFile srm://castrogrid.ific.uv.es/flatfiles/SE00/atlas/test-ific/ ific-20040113-dc1.002387.evgen.0001.pyt_zprime2000_bb.root -l lfn:ific-20040113-dc1.002387.evgen.0001.pyt_zprime2000_bb.root “para registrar el fichero en el catálogo”

29 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0429 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Futuro en ATLAS: –Data Challenges 2 dentro del LCG2 –Validar la cadena de producción de ATLAS »Generación de sucesos, Geant4-simulation »Digitalización, Byte-stream »Pile-up, datos ESD (Event Summary Data) y AOD (Analysis Object Data) –Utilizar el GRID (el LCG2) »Correr simulación en diferentes “sites” »Reconstruir lo sucesos en diferentes “sites” »Proveer acceso a los datos a los miembros de la VO de ATLAS »Analizar datos de forma On-line y Off-line

30 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0430 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Futuro en ATLAS: –Versión del Monte Carlo 8.0.1 o superiores –La utilizada en los DC2 y a partir de ahora, las personas responsables en el CERN-ATLAS instalarán y validarán el software en los diferentes sites (utilizando el GRID). –Se instalará en todos los WN’s y podran vivir dos o tres versiones del Monte Carlo a la vez (/opt/exp_software/atlas/dist/8.0.1). –Se enviarán trabajos utilizando el JDL (Job Description Language): »Aquí específico en inputsanbox el ejecutable y lo necesario para correr el programa

31 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0431 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) Grupo de Computación Grid del IFIC –http://ific.uv.es/grid /computacion-grid/http://ific.uv.es/grid /computacion-grid/ En la foto falta Farida Fassi

32 Santiago González, Grup d’Ordinadors per al Grid a València 3-Mayo-0432 Grid *EN PRUEBAS* Uso del GoG (Forma Grid *EN PRUEBAS*) GRACIAS por vuestra atención ¿ALGUNA PREGUNTA, COMENTARIO O SUGERENCIA?