Actualización del Superordenador Virtual Gallego Valencia, 12 Abril Carlos Fernández Sánchez Responsable Técnico de Sistemas

Presentación del tema: "Actualización del Superordenador Virtual Gallego Valencia, 12 Abril Carlos Fernández Sánchez Responsable Técnico de Sistemas"— Transcripción de la presentación:

1 Actualización del Superordenador Virtual Gallego Valencia, 12 Abril Carlos Fernández Sánchez Responsable Técnico de Sistemas carlosf@cesga.es

2 sumario Presentación del Centro de Supercomputación de Galicia Infraestructuras de cálculo INTENSIVO y almacenamiento Infraestructuras de comunicaciones Proyectos de computación Grid Proyecto Superordenador Virtual Gallego (SVG) Proyecto DELL Utilización del cluster DELL

3

4 misión Promover servicios comunes de apoyo a la investigación, desarrollo en innovación en el ámbito de las tecnologías de la información y de las comunicaciones, en Galicia y en la comunidad investigadora del CSIC. Promover acciones tendentes a la innovación y a la mejora en la prestación de servicios de cálculo intensivo y comunicaciones avanzadas, asi como actividades encaminadas a promover soluciones innovadoras en el mundo de la Sociedad del Conocimiento

5 personalidad jurídica Fundación Pública Empresa Pública Xunta de Galicia 70% CSIC 30% socios y patronatos

6 Universidades gallegas (Vigo, Santiago y Coruña) Centros de investigación de la Xunta de Galicia Centros y laboratorios del CSIC Departamentos de I+D de empresas Centros de investigación europeos Otras instituciones (centros tecnológicos, hospitales, fundaciones,...) usuarios

7

8

9 12 años de historia: el cálculo intensivo 1993 VP 2400 2,5 GFLOPS 1998 VPP 300 AP 3000 14,1 GFLOPS 12 GFLOPS 1999 HPC 4500 STORAGETEK 9,6 GFLOPS 2003 SUPERDOME 768 GFLOPS 2001 SVG 9,9 GFLOPS 2002 HPC 320 BEOWULF 64 GFLOPS16 GFLOPS 51 TERABYTES 2004 SVG 512 GFLOPS

10 evolución de la capacidad de cálculo instalada en el cesga

11

12 horas de cálculo consumidas en el cesga desde 1997

13 tiempo medio de espera para proceso en todos los sistemas entre enero de 2001 y diciembre de 2004, expresado en horas

14 distribución por instituciones de las horas de cpu consumidas en todos los sistemas en el año 2004

15 evolución cuentas activas de usuario por sistema y año

16 distribución cpu por área de trabajo

17

18 comparativa producción científica declarada por los usuarios cesga 2002-2004

19 infraestructura: almacenamiento

20

21 ocupación del sistema de almacenamiento (gb)

22

23

24 2.5 Gbps a INTERNET2 2.5 Gbps a Internet global 10 Gbps a Geant Otras conexiones en marcha.. RedIris II (red española de ciencia y tecnología)

25 PROYECTOS GRID

26 Proyectos Europeos CROSSGRID: Development of GRID environment for Interactive Applications EGEE Enabling Grid for E-science TORGA.NET Internacionales LCG Nacionales Development of a Datagrid infrastructure for the analysis of LHC data (LCG- ES) IrisGrid Regionales GaliGrid: estudio e implantación de una plataforma de computación basada en tecnologías GRID Producción Grid: Gestión de la producción y uso de recursos en un entorno GRID Propios Grid CESGA-CESCA Proyectos Grid

27 Proyecto de investigación 1999-2001 financiado por la Xunta de Galicia Infraestructura Cluster distribuida en 3 centros: Santiago, Coruña y Ferrol Puesta en producción del cluster distribuido en 2001 para usuarios del CESGA Utilizado en la renderización de la película de dibujos animados “El bosque animado” Actualizaciones e incorporaciones de nuevo equipamiento tipo cluster en años sucesivos (ampliaciones de memoria, disco, incorporación del cluster Compaq Beowulf, etc...) Superordenador Virtual Gallego (SVG)

28 Necesidad de ampliar el cluster SVG de acuerdo a las características demandadas por los usuarios Concurso público en julio 2004 (financiado por la Xunta de Galicia) Adjudicación en septiembre, instalación en Octubre Puesto en producción en Noviembre Proyeto Ampliación SVG -año 2004

29 Características de los trabajos - Cerca del 70% de los trabajos puede ser resuelto eficientemente en sistemas monoprocesador con 1 GB de memoria (disminuyendo los tiempos de espera en cola) - Troughput computing permitirá utilizar más eficientemente los recursos HPC

30 NODES: 80 x PowerEdge 750 Processor: Intel P4 3,2 GHz RAM: 1Gb HD: 1x SATA 160 Gb Networking: 1x Dual 10/100/1000 Ethernet CONTROL NODE: 1X PowerEdge 1750 Processors: 2X Intel Xeon 3,06-1 Mb Cache RAM: 2Gb HD: 3x SCSI ULTRA 320 146 Gb Networking: 4x10/100/1000 Ethernet Power Supply: redundant Networking: 4x PowerConnect 2624 24 ports Gigabit CLUSTER DELL - Configuración NUEVO SERVIDOR DE CÁLCULO Throughput 2004 - 80 procesadores P4@3.2GHz, 1MB cache, 1 GB memoria, 160GB disco - Interconexión Gigabit, Total 512GFlops pico, 80GB memoria, 12TB disco - Sistema Operativo: Linux (Rocks Cluster 3.3.0) - Sistema de balanceo de carga: Sun Grid Engine

31 Esquema de Interconexión

32 Arquitectura High Troughput Computing Ventajas del throughput computing: - Alta Capacidad de procesado de trabajos - Arquitectura y sistema operativo abiertos - Incremento del número de usuarios - Bajo coste de mantenimiento y actualización - Facilidad de crecimiento

33 Arquitectura High Throughput Data Processing Ventajas del almacenamiento paralelo: - Agrega el almacenamiento de cada servidor - Alta Capacidad 11,000GB - Alto ancho de banda 2GB/s - Procesado masivo de datos - Bajo coste Almacenamiento paralelo Parallel Virtual Filesystem (PVFS )