Gestión de datos en el Tier-2 L. March, J. Sánchez IFIC – Valencia Presentado por L. March Reunión Tier-2 federado de ATLAS IFAE (Barcelona) – 30 de mayo 2007

Datos almacenados (1) Monitorización de datos almacenados en disco y registrados en DQ2 en el Tier-2: –Datos registrados en el catálogo (lfc01.pic.es) –Consultas mediante SRM de las replicas almacenadas en los SEs de cada centro –Se proporciona: Centro tipo de datos (RDO, ESD, AOD, …) datasets (nombre, núm. total de ficheros, núm. de ficheros almacenados en dicho centro) ficheros almacenados de cada dataset (GUID, tamaño DDM, tamaño SE, SURL) ¿Cómo conseguir estos datos? –Tutorial de DDM/DQ2: Reunión ATLAS Tier-2 L. March1

Datos almacenados (2) Resumen extraído de la web anterior: HITS AOD CBNT HIST RDO ESD EVNT # filessize (GB) IFIC # filessize (GB) IFAE # filessize (GB) UAM Reunión ATLAS Tier-2 L. March2

Éste es un tema ya conocido a nivel de toda la colaboración ATLAS y extendido a varios clouds Nosotros también estamos sufriendo problemas con el espacio de disco en el Tier-2 Computing Operations (Espacio en disco en España) – En principio, deberíamos almacenar básicamente AODs en el Tier-2 (según el Computing Model). Pero, esto no es así. Una gran parte, en cuanto a tamaño en disco, lo ocupan actualmente los digit.RDO y recon.ESD ¿Qué se puede borrar oficialmente? – Problemas de espacio en disco (1) CentroReservadodisponibleprevista PIC IFIC/IFAE/UAM Situación el 1 de abril Reunión ATLAS Tier-2 L. March3

Soluciones hasta un futuro aumento de la capacidad en disco: –Borrar datos obsoletos o innecesarios –Borrar datos que ya estén replicados en el Tier-1 (PIC) Dependiendo del tipo de datos –Investigar posibles inconsistencias de datos Problemas de espacio en disco (2) Reunión ATLAS Tier-2 L. March4

¿Qué se ha borrado hasta ahora? –simul.HITS y digit.RDO que están replicados en PICDISK y PICTAPE Esto ha solucionado parcial y temporalmente tener los discos llenos en el IFAE y UAM. Sin embargo, en el caso del IFIC, se observaba que no se borraban los datos suficientes –Algunos ficheros digit.RDO sólo están almacenados en el IFIC, es decir, una única replica. Con lo cual no se podían borrar dado que no había una replica en el Tier-1 –Al igual que en el IFIC, hay otros ficheros que sólo están replicados en el IFAE/UAM –Dado que nuestra situación en el IFIC era crítica, se han hecho subscripciones desde IFICDISK a PICTAPE de unos 10 datasets del tipo digit.RDO con el fin de poder borrarlos una vez ya estén replicados. Esto ha surgido efecto y actualmente estamos al 91% de ocupación Borrado de ficheros (1) Reunión ATLAS Tier-2 L. March5

Última vez que se ha borrado datos: –IFIC 23 de mayo –IFAE/UAM 21 de mayo ¿Qué se va a hacer próximamente? –Continuar borrando ficheros que ya estén replicados en el Tier-1 y que no sean de interés. Se planea hacer este tipo de limpieza una vez por semana –Seguir las especificaciones en cuanto a borrado de la web de operaciones –Posiblemente, hacer más subscripciones de datasets que sólo estén almacenados en alguno de los centros del Tier-2 para replicarlos a PICTAPE y, de esta forma, poder liberar espacio en los centros –Investigar las inconsistencias de los datos en disco: datos registrados en el catálogo (lfc01.pic.es), pero que no están en los SEs o su tamaño no es el correcto. En este caso, habría que borrar dichas replicas (catálogo + SE) Borrado de ficheros (2) Reunión ATLAS Tier-2 L. March6

Inconsistencia de datos en disco Ya se ha empezado a mirar la inconsistencia de datos entre catálogo y disco, es decir, ficheros catalogados que no se encuentran en los SEs o que su tamaño no es el correcto Aunque se ha empezado a mirar, no se ha aplicado ningún procedimiento debido a los problemas de disco que tenemos últimamente: –IFIC/UAMno hay muchas inconsistencias –IFAEproblemas con las consultas SRM La UAM ha estado “shutdown” la semana pasada y este lunes por la noche han reestablecido los servicios. Sin embargo, ayer martes, he tenido problemas para consultar algunos ficheros mediante SRM El IFAE está investigando las causas de estos posibles problemas con SRM. Esto hace que hayan bastantes inconsistencias, pero los datos sí que están almacenados Reunión ATLAS Tier-2 L. March7

Conclusiones Monitorización de datos almacenados en el Tier-2: Problemas con el espacio de disco: –SEs del Tier-2 casi llenos –digit.RDO y recon.ESD son los que actualmente más nos ocupan Borrado de datos: –simul.HITS y digit.RDO replicados en el Tier-1 (PICDISK, PICTAPE) –Algunos datos (digit.RDO) sólo están almacenados en uno de los centros del Tier-2 => subscripciones a PICTAPE => borrado del Tier-2 Inconsistencias entre catálogo y disco –Se ha empezado a mirar: IFIC/UAMalgunas inconsistencias IFAEproblemas con SRM Reunión ATLAS Tier-2 L. March8