ROOT TOOLKIT (Parallel ROOT Facility, PROOF) Técnicas Fundamentales de Simulación, Reconstrucción y Análisis de Datos en Física Experimental de Partículas Isidro González Caballero ( Universidad de Oviedo) Valencia, 07-11/05/

Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas ¿Qué es?  Es una herramienta incluida en ROOT que permite “paralelizar” (en realidad más bien distribuir) fácilmente el análisis de datos sobre TTrees  Reduciendo el tiempo que se tarda en procesar los datos…  … de manera casi transparente…  El objetivo es que si se dispone de una granja de ordenadores se puedan utilizar todos sus recursos:  Siendo percibida como una extensión del PC local  Con misma syntaxis que en una sesión local  Haciendo un uso dinámico de los recursos  Proporcionando feedback en tiempo real  Haciendo transparente las tareas de splitting y merging 2

Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas Análisis de datos  El principal caso de uso es el análisis de datos basado en TTrees  Especialmente si se trata de estructuras relativamente planas que se analizan prácticamente siempre con ROOT  La simulación y la reconstrucción de datos suelen recurrir a metodologías basadas en computación GRID  En este caso es en general sencillo convertir las macros de análisis para beneficiarse de PROOF  Sólo hace falta recolocar el código  El código convertido a PROOF puede ejecutarse de manera secuencial también  El troceado, optimización de los recursos y reconstrucción de los resultados se gestionan de manera transparente  Permite integrar también sistemas distribuidos de almacenamiento 3

Modalidades  Existen básicamente dos modalidades: Lite y Cluster  Modo PROOF Lite: No requiere ningún tipo de instalación  Aprovecha los cores disponibles en una máquina  Uso inmediato  Ideal cuando se dispone de un ordenador relativamente nuevo (>4 cores)  Modo Cluster: Requiere de la instalación de ciertos servicios  Permite aprovechar los cores distribuidos en distintos nodos  Se puede integrar en una infraestructura grande a través de los sistemas de colas disponibles  Uso NO inmediato  Ideal si se tiene acceso a granjas de computación (Tier-2, Tier-3) Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas 4

¿ Cómo hacer el análisis?  El mismo código de análisis es válido tanto en PROOF Lite como en un cluster PROOF  Basado en TSelector  La estructura básica se genera a partir de una macro de PROOF TChain::MakeSelector(const char* selector); Si esa estructura es estable y única es posible definir un modelo más sencillo  La migración del código habitual a uno basado en TSelector es sencilla Básicamente recolocar el código viejo en los métodos de Tselector  Goodies: Soporte para módulos, optimización de la carga soportada por cada nodo, histogramas actualizados a medida que se van llenando, integración de resultados,…  Problemas: Los típicos de un sistema distribuido… más difícil de debuggear. 5

PROOF Lite 6 Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas [root] TDSet* chain = new TDSet("TTree","Tree"); [root] chain->Add("/some/first/minitree.root"); [root] chain->Add("/some/other/minitree.root"); … [root] p = TProof::Open(""); +++ Starting PROOF-Lite with 8 workers +++ Opening connections to workers: 5 out of 8 (62 %) Opening connections to workers: OK (8 workers) Setting up worker servers: OK (8 workers) X connection to localhost:13.0 broken (explicit kill or server shutdown). [root] p->SetParallel(4); PROOF set to parallel mode (4 workers) [root] p->Process(chain, "MySelector.C", 0, nEvents);  No necesita instalación específica en el nodo en el que se corra  La ganancia puede depender de  Dónde estén colocados los datos Ejemplo: En un disco local plateau típicamente en N cpu =4  El ancho de banda que tiene el ordenador Ejemplo: Servidos por NFS usar más de 4-5 cores no suele supone apenas ganancia TSelector con el análisis Número de sucesos Inicializamos la sesión de PROOF Lite Datos a analizar

Cluster PROOF 7 Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas  Es posible construir un cluster que soporte PROOF sobre un conjunto de ordenadores:  Las posibilidades son muchas y muy dependientes de cómo se quiera abordar el problema  Detalles en:  También es posible utilizar los sistemas de colas para acceder a varios nodos y construir con ellos un cluster PROOF dinámicamente  Pequeñas ineficiencias, pero muy conveniente porque no hay que tener accesos especiales a las máquinas  Existen herramientas eficientes que realizan estas acciones de manera transparente: PROOF on Demand (PoD): Desarrollado en DESY Soporta varios sistemas de colas disntios, GRID y ssh PROOF Cluster: Desarrollado por el IFCA y U.O. Soporta PBS y SGE

Esquema Cluster PROOF 8 Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas Storage PROOF farm MASTER commands,scripts list of output objects (histograms, …)

Screenshot 9 Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas