Gestión de datos en el Tier-2 L. March, J. Sánchez IFIC – Valencia Presentado por L. March Reunión Tier-2 federado de ATLAS IFAE (Barcelona) – 30 de mayo.

Presentación del tema: "Gestión de datos en el Tier-2 L. March, J. Sánchez IFIC – Valencia Presentado por L. March Reunión Tier-2 federado de ATLAS IFAE (Barcelona) – 30 de mayo."— Transcripción de la presentación:

1 Gestión de datos en el Tier-2 L. March, J. Sánchez IFIC – Valencia Presentado por L. March Reunión Tier-2 federado de ATLAS IFAE (Barcelona) – 30 de mayo 2007

2 Datos almacenados (1) Monitorización de datos almacenados en disco y registrados en DQ2 en el Tier-2: http://ific.uv.es/atlas-t2-es –Datos registrados en el catálogo (lfc01.pic.es) –Consultas mediante SRM de las replicas almacenadas en los SEs de cada centro –Se proporciona: Centro tipo de datos (RDO, ESD, AOD, …) datasets (nombre, núm. total de ficheros, núm. de ficheros almacenados en dicho centro) ficheros almacenados de cada dataset (GUID, tamaño DDM, tamaño SE, SURL) ¿Cómo conseguir estos datos? –Tutorial de DDM/DQ2: http://indico.cern.ch/contributionDisplay.py?contribId=5&sessionId=6&confId=13292 http://indico.cern.ch/contributionDisplay.py?contribId=5&sessionId=6&confId=13292 Reunión ATLAS Tier-2 L. March1

3 Datos almacenados (2) Resumen extraído de la web anterior: HITS AOD CBNT HIST RDO ESD EVNT 2933 11110 818 45 13150 2773 1505 # filessize (GB) 110 639 17 0 1367 1171 184 IFIC 265 5745 560 20 17904 1201 217 # filessize (GB) --- 116.3 12.0 --- 283.2 --- IFAE 1950 5619 125 35 12953 3757 583 # filessize (GB) 115.8 335.5 3.5 0 1362.5 1467.7 114.6 UAM 2891.5411.53399.8 Reunión ATLAS Tier-2 L. March2

4 Éste es un tema ya conocido a nivel de toda la colaboración ATLAS y extendido a varios clouds Nosotros también estamos sufriendo problemas con el espacio de disco en el Tier-2 Computing Operations (Espacio en disco en España) –https://twiki.cern.ch/twiki/bin/view/Atlas/ComputingOperations#Disk_Spacehttps://twiki.cern.ch/twiki/bin/view/Atlas/ComputingOperations#Disk_Space En principio, deberíamos almacenar básicamente AODs en el Tier-2 (según el Computing Model). Pero, esto no es así. Una gran parte, en cuanto a tamaño en disco, lo ocupan actualmente los digit.RDO y recon.ESD ¿Qué se puede borrar oficialmente? –https://twiki.cern.ch/twiki/bin/view/Atlas/ComputingOperations#Data_Cleaninghttps://twiki.cern.ch/twiki/bin/view/Atlas/ComputingOperations#Data_Cleaning Problemas de espacio en disco (1) CentroReservadodisponibleprevista PIC IFIC/IFAE/UAM 24 37 10 1 55 52 Situación el 1 de abril Reunión ATLAS Tier-2 L. March3

5 Soluciones hasta un futuro aumento de la capacidad en disco: –Borrar datos obsoletos o innecesarios –Borrar datos que ya estén replicados en el Tier-1 (PIC) Dependiendo del tipo de datos –Investigar posibles inconsistencias de datos Problemas de espacio en disco (2) Reunión ATLAS Tier-2 L. March4

6 ¿Qué se ha borrado hasta ahora? –simul.HITS y digit.RDO que están replicados en PICDISK y PICTAPE Esto ha solucionado parcial y temporalmente tener los discos llenos en el IFAE y UAM. Sin embargo, en el caso del IFIC, se observaba que no se borraban los datos suficientes –Algunos ficheros digit.RDO sólo están almacenados en el IFIC, es decir, una única replica. Con lo cual no se podían borrar dado que no había una replica en el Tier-1 –Al igual que en el IFIC, hay otros ficheros que sólo están replicados en el IFAE/UAM –Dado que nuestra situación en el IFIC era crítica, se han hecho subscripciones desde IFICDISK a PICTAPE de unos 10 datasets del tipo digit.RDO con el fin de poder borrarlos una vez ya estén replicados. Esto ha surgido efecto y actualmente estamos al 91% de ocupación Borrado de ficheros (1) Reunión ATLAS Tier-2 L. March5

7 Última vez que se ha borrado datos: –IFIC 23 de mayo –IFAE/UAM 21 de mayo ¿Qué se va a hacer próximamente? –Continuar borrando ficheros que ya estén replicados en el Tier-1 y que no sean de interés. Se planea hacer este tipo de limpieza una vez por semana –Seguir las especificaciones en cuanto a borrado de la web de operaciones –Posiblemente, hacer más subscripciones de datasets que sólo estén almacenados en alguno de los centros del Tier-2 para replicarlos a PICTAPE y, de esta forma, poder liberar espacio en los centros –Investigar las inconsistencias de los datos en disco: datos registrados en el catálogo (lfc01.pic.es), pero que no están en los SEs o su tamaño no es el correcto. En este caso, habría que borrar dichas replicas (catálogo + SE) Borrado de ficheros (2) Reunión ATLAS Tier-2 L. March6

8 Inconsistencia de datos en disco Ya se ha empezado a mirar la inconsistencia de datos entre catálogo y disco, es decir, ficheros catalogados que no se encuentran en los SEs o que su tamaño no es el correcto Aunque se ha empezado a mirar, no se ha aplicado ningún procedimiento debido a los problemas de disco que tenemos últimamente: –IFIC/UAMno hay muchas inconsistencias –IFAEproblemas con las consultas SRM La UAM ha estado “shutdown” la semana pasada y este lunes por la noche han reestablecido los servicios. Sin embargo, ayer martes, he tenido problemas para consultar algunos ficheros mediante SRM El IFAE está investigando las causas de estos posibles problemas con SRM. Esto hace que hayan bastantes inconsistencias, pero los datos sí que están almacenados Reunión ATLAS Tier-2 L. March7

9 Conclusiones Monitorización de datos almacenados en el Tier-2: http://ific.uv.es/atlas-t2-es Problemas con el espacio de disco: –SEs del Tier-2 casi llenos –digit.RDO y recon.ESD son los que actualmente más nos ocupan Borrado de datos: –simul.HITS y digit.RDO replicados en el Tier-1 (PICDISK, PICTAPE) –Algunos datos (digit.RDO) sólo están almacenados en uno de los centros del Tier-2 => subscripciones a PICTAPE => borrado del Tier-2 Inconsistencias entre catálogo y disco –Se ha empezado a mirar: IFIC/UAMalgunas inconsistencias IFAEproblemas con SRM Reunión ATLAS Tier-2 L. March8