Infraestructuras de Accounting en EGEE. sumario presentación Descripción general del CESGA Cálculo INTENSIVO Almacenamiento Accounting en el Cesga Accounting.

Presentación del tema: "Infraestructuras de Accounting en EGEE. sumario presentación Descripción general del CESGA Cálculo INTENSIVO Almacenamiento Accounting en el Cesga Accounting."— Transcripción de la presentación:

1 Infraestructuras de Accounting en EGEE

2 sumario presentación Descripción general del CESGA Cálculo INTENSIVO Almacenamiento Accounting en el Cesga Accounting en EGEE

3

4 misión Promover servicios comunes de apoyo a la investigación, desarrollo en innovación en el ámbito de las tecnologías de la información y de las comunicaciones, en Galicia y en la comunidad investigadora del CSIC. Promover acciones tendentes a la innovación y a la mejora en la prestación de servicios de cálculo intensivo y comunicaciones avanzadas, asi como actividades encaminadas a promover soluciones innovadoras en el mundo de la Sociedad del Conocimiento

5 personalidad jurídica Fundación Pública Empresa Pública Xunta de Galicia 70% CSIC 30% socios y patronatos

6 Universidades gallegas Centros de investigación de la Xunta de Galicia Centros y laboratorios del CSIC Departamentos de I+D de empresas Centros de investigación europeos Otras instituciones (centros tecnológicos, hospitales, fundaciones,...) usuarios

7

8

9

10 11 años de historia: el cálculo intensivo 1993 VP 2400 2,5 GFLOPS 1998 VPP 300 AP 3000 14,1 GFLOPS 12 GFLOPS 1999 HPC 4500 STORAGETEK 9,6 GFLOPS 2003 SUPERDOME 768 GFLOPS 2001 SVG 9,9 GFLOPS 2002 HPC 320 BEOWULF 64 GFLOPS16 GFLOPS 51 TERABYTES 2004 SVG 512 GFLOPS

11 Cluster DELL NUEVO SERVIDOR DE CÁLCULO Throughput 2004 80 procesadores P4@3.2GHz, 1MB cache, 1 GB memoria, 160GB disco Interconexión Gigabit, Total 512GFlops pico, 80GB memoria, 12TB disco

12 infraestructura: almacenamiento

13 evolución de la capacidad de cálculo instalada en el cesga

14 evolución del consumo de horas de cpu en cesga

15 utilización de los recursos de cálculo

16 Qué se usa (Sistemas, nodos, software, etc...) Cómo se usa Quién lo usa Cuál es el comportamiento? Tiempos de espera en cola, niveles de disponibilidad, calidad esperada!, etc... Cerrar el lazo con los SLA. Ejemplos: si un usuario/institución está saturando las colas, penalizar (menos prioridad). Determinación de la eficiencia de las políticas de distribución de trabajos, etc... Hacer un coste realista del consumo (no es suficiente el número de horas consumidas, sino el número de horas en qué arquitectura, y no sólo el procesador, sino tener en cuenta también la memoria, sistema de E/S, etc...) Necesidad de acounting

17 Información proveniente de: Base de datos de usuarios (login, departamento, proyecto, etc...) Ficheros logs de sistemas de colas (actualmente LSF, PBS, SGE) Consumo de los sistemas (ficheros acct) Monitorizacion del los sistemas (ficheros sa) Generamos base de datos (MySQL) de consumos/trabajos Scripts de consulta en PHP Consultas web Arquitectura de acounting en el cesga

18 Distribución por instituciones

19 Tiempo medio de espera en cola

20 Porcentaje de ocupación Servidor de cálculo HPC320, año 2003

21 Número de procesadores solicitados (jan-aug - 2004)

22 Memoria solicitada (jan-aug - 2004)

23 Tiempo solicitado (jan-aug - 2004)

24 Espacio en disco solicitado (jan-aug - 2004)

25 Accounting Computing Element Storage Element Resource metering: getting info about resource usage Resource metering: getting info about resource usage Arquitectura de accounting

26 Accounting Computing Element Storage Element Reports about resource usage per user / VO/ resource Arquitectura de accounting

27 Accounting Computing Element Storage Element Resource pricing Resource owner Arquitectura de accounting

28 Accounting Computing Element Storage Element Resource pricing Resource owner Cost computation Arquitectura de accounting

29 Desarrollado para el GOC en el RAL John Gordon y Dave Kant CCLRC e-Science Centre, UK EGEE JRA1 IT-CZ cluster homepage http://egee-jra1-wm.mi.infn.it/egee-jra1- wm EGEE JRA1 (middleware activity) homepage http://egee-jra1.web.cern.ch/egee-jra1 Quién

30 Dos partes diferenciadas: La infraestructura de recogida y tratamiento de la información de accounting basada en R-GMA y que concentra todos los datos en un punto central Un portal web para permitir la visualización de distintos tipos de informes en funcion de las demandas Basado en R-GMA, cada site debe instalar un nodo local R-GMA MON para almacenar la información de accounting Soporta PBS (lcgpbs, pbspro, Vanilla pbs, openpbs, torque) y BQS. Trabajando en soportar LSF. CESGA tratará de integrar SGE Se deben almacenar los logs de batch, gatekeeper y mensajes del sistema Se asume que el ID del grupo utilizado para ejecutar los trabajos del usuario es el nombre de la VO (pendiente de confirmar) Asume que el cluster es homogéneo. Páginas web de accounting en el GOC están siendo desarrolladas: http://goc.grid-support.ac.uk/gridsite/accounting/index.html http://goc.grid-support.ac.uk/gridsite/accounting/index.html Estará incluído en el próximo SLC3 Arquitectura de accounting

31 La información se obtiene de 3 logs: Gatekeeper Records contain DN, GramScriptJobID and the manager type (lcgpbs, fork, lcglsf). Gatekeeper logs are used to distinguish jobs that are submitted through the grid (grid jobs) from jobs submitted locally (non- grid jobs) on the fabric. Messages logs contain mappings between GramScriptJobID and LocalJobID of Batch System. Batch Logs do not distinguish between grid jobs and non-grid jobs. Batch Logs: E (PBS) or JOB_FIINISH (LSF) and LocalJobID, LocalUser, LocalGroup, StartTime, StopTime, ExecutingHost, CPUTime, MemoryUsage, Exit Status, … Arquitectura de accounting

32 Batch Log GK Log messages filter CE Site GIIS LCG SITE Data Sources MON RGMARGMA GOC Site MON RAW Accounting Data Data Aggregation per VO per ROC Accounting Service On Demand Reports Arquitectura de accounting

33 http://goc.grid-support.ac.uk/gridsite/accounting/index.html BaseCpuSeconds agregados en EGEE Cada Site, por VO, por Mes Interface para elegir la visualización de los datos: VO, ventana temporal y Region Cada Region, por VO, por Mes Otras Distribuciones CPU Normalizada Nº de trabajos Arquitectura de accounting

34 Dar soporte a la federación Portar a otros sistemas de colas Clusters heterogéneos Otras plataformas Accounting de sistema Accounting de almacenamiento Integración con políticas SLA Colaborar en el desarrollo Actividad prevista en el Cesga en accounting

35 Carlos Fernández, carlosf@cesga.es Gracias!!