Descargar la presentación
La descarga está en progreso. Por favor, espere
Publicada porJesús Figueroa Coronel Modificado hace 9 años
1
ROOT TOOLKIT (Parallel ROOT Facility, PROOF) Técnicas Fundamentales de Simulación, Reconstrucción y Análisis de Datos en Física Experimental de Partículas Isidro González Caballero ( Universidad de Oviedo) Valencia, 07-11/05/20102 8 8
2
Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas ¿Qué es? Es una herramienta incluida en ROOT que permite “paralelizar” (en realidad más bien distribuir) fácilmente el análisis de datos sobre TTrees Reduciendo el tiempo que se tarda en procesar los datos… … de manera casi transparente… El objetivo es que si se dispone de una granja de ordenadores se puedan utilizar todos sus recursos: Siendo percibida como una extensión del PC local Con misma syntaxis que en una sesión local Haciendo un uso dinámico de los recursos Proporcionando feedback en tiempo real Haciendo transparente las tareas de splitting y merging http://root.cern.ch/drupal/content/proof 2
3
Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas Análisis de datos El principal caso de uso es el análisis de datos basado en TTrees Especialmente si se trata de estructuras relativamente planas que se analizan prácticamente siempre con ROOT La simulación y la reconstrucción de datos suelen recurrir a metodologías basadas en computación GRID En este caso es en general sencillo convertir las macros de análisis para beneficiarse de PROOF Sólo hace falta recolocar el código El código convertido a PROOF puede ejecutarse de manera secuencial también El troceado, optimización de los recursos y reconstrucción de los resultados se gestionan de manera transparente Permite integrar también sistemas distribuidos de almacenamiento 3
4
Modalidades Existen básicamente dos modalidades: Lite y Cluster Modo PROOF Lite: No requiere ningún tipo de instalación Aprovecha los cores disponibles en una máquina Uso inmediato Ideal cuando se dispone de un ordenador relativamente nuevo (>4 cores) Modo Cluster: Requiere de la instalación de ciertos servicios Permite aprovechar los cores distribuidos en distintos nodos Se puede integrar en una infraestructura grande a través de los sistemas de colas disponibles Uso NO inmediato Ideal si se tiene acceso a granjas de computación (Tier-2, Tier-3) Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas 4
5
¿ Cómo hacer el análisis? El mismo código de análisis es válido tanto en PROOF Lite como en un cluster PROOF Basado en TSelector La estructura básica se genera a partir de una macro de PROOF TChain::MakeSelector(const char* selector); Si esa estructura es estable y única es posible definir un modelo más sencillo La migración del código habitual a uno basado en TSelector es sencilla Básicamente recolocar el código viejo en los métodos de Tselector Goodies: Soporte para módulos, optimización de la carga soportada por cada nodo, histogramas actualizados a medida que se van llenando, integración de resultados,… Problemas: Los típicos de un sistema distribuido… más difícil de debuggear. 5
6
PROOF Lite 6 Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas [root] TDSet* chain = new TDSet("TTree","Tree"); [root] chain->Add("/some/first/minitree.root"); [root] chain->Add("/some/other/minitree.root"); … [root] p = TProof::Open(""); +++ Starting PROOF-Lite with 8 workers +++ Opening connections to workers: 5 out of 8 (62 %) Opening connections to workers: OK (8 workers) Setting up worker servers: OK (8 workers) X connection to localhost:13.0 broken (explicit kill or server shutdown). [root] p->SetParallel(4); PROOF set to parallel mode (4 workers) [root] p->Process(chain, "MySelector.C", 0, nEvents); No necesita instalación específica en el nodo en el que se corra La ganancia puede depender de Dónde estén colocados los datos Ejemplo: En un disco local plateau típicamente en N cpu =4 El ancho de banda que tiene el ordenador Ejemplo: Servidos por NFS usar más de 4-5 cores no suele supone apenas ganancia TSelector con el análisis Número de sucesos Inicializamos la sesión de PROOF Lite Datos a analizar
7
Cluster PROOF 7 Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas Es posible construir un cluster que soporte PROOF sobre un conjunto de ordenadores: Las posibilidades son muchas y muy dependientes de cómo se quiera abordar el problema Detalles en: http://root.cern.ch/drupal/content/proof-installationhttp://root.cern.ch/drupal/content/proof-installation También es posible utilizar los sistemas de colas para acceder a varios nodos y construir con ellos un cluster PROOF dinámicamente Pequeñas ineficiencias, pero muy conveniente porque no hay que tener accesos especiales a las máquinas Existen herramientas eficientes que realizan estas acciones de manera transparente: PROOF on Demand (PoD): http://pod.gsi.dehttp://pod.gsi.de Desarrollado en DESY Soporta varios sistemas de colas disntios, GRID y ssh PROOF Cluster: Desarrollado por el IFCA y U.O. Soporta PBS y SGE
8
Esquema Cluster PROOF 8 Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas Storage PROOF farm MASTER commands,scripts list of output objects (histograms, …)
9
Screenshot 9 Téc. Fund. de Simulación, Reconstrucción y Análisis de datos en F. Exp. de Partículas
Presentaciones similares
© 2024 SlidePlayer.es Inc.
All rights reserved.