8 Noviembre, 2006 Semana de la Ciencia en Extremadura 2006 Miguel Cárdenas Montes, CETA-CIEMAT Introducción a las Tecnologías Grid Séptimo Tutorial de Usuario de EELA

Agradecimientos Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 2 Profesor Ignacio Martín Llorente Universidad Complutense de Madrid

Sumario Plataformas de Computación Paralela y Distribuida – Entornos de computación – Sistemas de Gestión de Recursos Distribuidos Infraestructuras Grid: EGEE Computación BOINC ¿Evolución de la computación Grid? Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 3

Objetivos de la presentación Describir la tecnología existente para gestionar recursos distribuidos dentro de una organización Definir infraestructura Grid Describir las componentes mínimas para desplegar infraestructuras Grid Mostrar ejemplos de infraestructuras Grid y aplicaciones Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 4

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 5 Plataformas de computación distribuida y paralela

Objetivo: Ejecución eficiente de aplicaciones intensivas en datos o computación Entornos: – HPC (High Perfomance Computing) – HTC (High Troughput Computing) Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 6 Plataformas de Computación Paralela y Distribuidas

Entornos HPC (High Perfomance Computing) – Su objetivo es reducir el tiempo de ejecución de una única aplicación paralela de memoria compartida o distribuida – Su rendimiento se mide en número de operaciones en punto flotante por segundo – áreas de aplicación: meteorología, fluídica Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 7 Plataformas de Computación Paralela y Distribuidas Sistema de Colas Batch NQE

Entornos HTC (High Throughput Computing) – Su objetivo es aumentar el número de ejecuciones por unidad de tiempo – Su rendimiento se mide en número de trabajos (jobs) por unidad de tiempo – áreas de aplicación: HEP, bioinformática, Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 8 Plataformas de Computación Paralela y Distribuidas

Servidores HPC Arquitecturas de memoria compartida (SMP) o distribuidas (MPP) Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 9 Plataformas de Computación Paralela y Distribuidas Inteconexión con ancho de banda alto y latencia baja Acceso uniforme al sistema gracias a una única copia del sistema operativo. Baja escalabilidad Modelos complejos de programación Alto precio

Clusters dedicados Cluster dedicado y homogéneo de PCs o estaciones interconectados por medio de una red de área de sistema (Giganet, Myrinet...) Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 10 Plataformas de Computación Paralela y Distribuidas Mayor escalabilidadRequieren modelos de programación de memoria distribuida (librerías de pasos de mensajes como MPI) para aplicaciones HPC Sistema de Gestión de Recursos PBS

Clusters no dedicados y heterogéneos de PCs o estaciones interconectados por medio de una red de área local Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 11 Plataformas de Computación Paralela y Distribuidas Mínima relación coste/rendimiento para aplicaciones HTC. Mayor escalabilidad Exclusivamente aplicaciones HTC Interconexión con ancho de banda bajo y latencia alta Requiere capacidades de gestión adaptativa para usar los tiempos ociosos de los recursos dinámicos Sistema de Gestión de carga CONDOR

Gestión de plataformas de computación. Las plataformas de computación se gestionan por medios de diferentes sistema de gestión de recursos distribuidos (DRM systems) – Sistemas de Colas Batch para servidores HPC – Sistemas de Gestión de Recursos para clusters dedicados – Sistemas de Gestión de Carga para cluster no dedicados Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 12 Plataformas de Computación Paralela y Distribuidas

Gestión de plataformas de computación Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 13 Plataformas de Computación Paralela y Distribuidas Capacidades de los sistemas DRM Los sistemas DRM comparten muchas capacidades: colas batch, planificación de trabajos, gestión de recursos. Beneficios de los sistemas DRM Sus beneficios en minimización de costes y maximización de rendimientos se deben fundamentalmente a la mayor utilización de los recursos.

Proveedores independientes: PBS PRO (Altair), LSF (Platform Computing) Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 14 Plataformas de Computación Paralela y Distribuidas Open Source: Open PBS (Altair), Condor (U. Wisconsin), SGE (Sun) Codigo Propietario: Load Leveler (IBM), NQE (Cray)

Silos verticales de computación dentro de la organización Los sistemas DRM no proporcionan ni un marco de seguridad comunes y, por tanto, su integración no es posible. La falta de interoperatividad implica la existencia dentro de la misma organización, de plataformas independientes de computación (silos verticales) responsables de funciones distintas que: – Requiere habilidades específicas de administración para cada silo – Incrementan los costes operacionales – Generan sobre-aprovisionamiento y desbalanceo global de carga Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 15 Plataformas de Computación Paralela y Distribuidas Local Workload Manager 1 Local Workload Manager 2 Local Workload Manager m

Incapaces de interconectar recursos de diferentes organizaciones Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 16 Plataformas de Computación Paralela y Distribuidas Estas tecnologías no son indicadas para el despliegue de infraestructuras computacionales donde los recursos están repartidos diferentes dominios de administración, cada uno con su propia política de seguridad y sistema DRM.

Definición de Infraestructura Grid Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 17 Infraestructura grid Una infraestructura grid ofrece una capa común para poder integrar estas plataformas computacionales no compatibles (silos verticales) por medio de la definción de un conjunto consistente de interfaces para acceder y gestionar recrusos compartidos Los servicios grid incluyen, entre otros, descubrimiento y monitorización de recursos, asignación y gestión de recursos, infraestructura de seguridad y transferencia de ficheros. Local Workload Manager GRAM MDSRFT Local Workload Manager 1 Local Workload Manager GRAM MDSRFT Local Workload Manager 2 Local Workload Manager GRAM MDSRFT Local Workload Manager m

La filosofía grid Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 18 Infraestructura grid Un Grid es un sistema que... 1) …coordina recursos que no están sujetos a un control centralizado... 2) …usando protocolos e interfaces estándar, abiertos y de propósito general... 3) …para proporcionar calidades de servicio no triviales. Ian Foster What is the Grid? A Three Point Checklist (2002)

La tecnología grid es complementaria a las anteriores Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 19 Infraestructura grid Inteconecta recursos en diferentes dominos de administración respetando sus políticas internas de seguridad y su software de gestión de recursos en la intranet. Una nueva tecnología dentro del área global de Computación de Altas Prestaciones, para satisfacer las demandas de determinados perfiles de aplicación.

Viabilidad Tecnológica Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 20 Infraestructura grid La capacidad de almacenamiento se dobla cada 12 meses El ancho de banda de red se dobla cada 9 meses El rendimiento de un procesador se doble cada 18 meses Conclusiones: Un único sistema no será capaz de analizar los datos que almacenen sus discos Un único centro no podrá analizar el volumen de información generado La red permitirá de forma eficiente usar recursos distribuidos de 1986 a 2000 (computadores x500, networks x ) de 2001 a 2010 (computadores x60, networks x 4000)

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 21 Infraestructura grid Globus Toolkit permite compartir recursos localizados en diferentes dominios de administración, con diferentes políticas de seguridad y gestión de recursos. Globus es: un middleware software un conjunto de librerías, servicios y APIs Globus NO es: una herramienta de usuario o planificador una aplicación Globus Toolkit, un estándar de facto en Computación Grid

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 22 Infraestructura grid Componentes principales de Globus Toolkit

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 23 Infraestructura grid Applications Globus Services Metacomputing Directory Service GRAM Globus Security Interface Replica Catalog GASS GridFTP Local Resources (job managers) LSFCondorMPISGEPBS Grid Tools Condor-G MPI/G Nimrod/G GridWay I/O High Level Services GrADSCrossGrid LCG Fork Estructura en Capas de una Infraestructura Grid Basada en Globus

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 24 Hacia el Utility Grid

Recursos internos gestionados por diferentes sistemas DRM que podrían estar geográficamente distribuidos. Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 25 Hacia el Utility grid Beneficios Objetivos Infraestructura Permitir la compartición de diferentes recursos para mejorar la colaboración interna y alcanza un mayor retorno de la inversión en TIC. Minimizar costes Maximizar prestaciones Enterprise Grid

Recursos distribuidos en diferentes organizaciones o dominios de administración gestionados por diferentes sistemas DRM. Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 26 Hacia el Utility grid Beneficios Objetivos Infraestructura Proporcionar comparticón fiable y segura de recursos a gran escala entre socios o participantes en la cadena de valor. Acceder a más recursos para satisfacer los picos de demanda. Proporcionar soporte para hacer frente a los proyectos colaborativos. Partner Grid

Recursos proporcionados por proveedores de servicios externos. Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 27 Hacia el Utility grid Beneficios Objetivos Infraestructura Proporcionar recursos bajo demanda. Flexibilidad para ajustar la capacidad. Acceder a capacidad ilimitada. Transformar costes TIC fijos en variable. Utility Grid

Obstáculos para la adopción Tecnológicos – Tecnologías demasiado novedosas – Limitaciones de la tecnología – Acceso transparente de los usuarios Culturales – Escepticismo – Falta de ejemplos guía – Resistencia al cambio y miedo a perder el poder (Dept. IT) Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 28 Hacia el Utility grid

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 29 Proyectos Infraestructuras necesarias: redes, autoridades certificadoras,

La infraestructura red es subyaciente e indispensable para que funcione cualquier infraestructura grid. Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 30 Infraestructura de Red

La infraestructura de red nacional está compuesta por una red troncal o backbone que soporta los servicios de comunicaciones de RedIRIS, y que está formada por un conjunto de nodos convenientemente distribuidos por el territorio nacional, y conectados entre sí por un conjunto de enlaces que forman una red mallada con un core a 2,5 Gbps. En la actualidad son 18 los nodos existentes, uno en cada Comunidad Autónoma, excepto en las Islas Canarias, donde hay dos nodos. Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 31 RedIris

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 32 RedIris

Conectividad con otras redes de investigación – RedIRIS participa en el Proyecto GÉANT que constituye una red IP paneuropea con un backbone de 10 Gbps y accesos de hasta 2,5 Gbps. Nos interconecta con las distintas redes académicas y de investigación europeas. La velocidad de acceso de RedIRIS a GÉANT es de 10 Gbps. – Esta red permite la conexión de RedIRIS con Internet2 (Abilene, ESnet). Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 33 RedIris

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 34 RedIris

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 35 GEANT

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 36 RedCLARA

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 37 EuMedConnet

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 38 Mapa Global

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 39 Proyectos Grid

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 40 Proyectos Grid

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 41 Empresas con intereses en grid Capitalising on e-Science to make e-Business

* RA 1 - RedIRIS (rediris.es, irisgrid.es) * RA 2 - PIC (pic.es, uab.es, ifae.es) * RA 3 - DACYA-UCM (ucm.es) * RA 4 - BSC-CNS (bsc.es) * RA 5 - UAM (uam.es) * RA 6 - BIFI-UNIZAR (bifi.unizar.es) * RA 7 - QCyCAR-UCLM (inf- cr.uclm.es, fcquim.buap.mx) * RA 8 - CESGA (cesga.es) * RA 9 - DATSI-UPM (datsi.fi.upm.es) Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 42 Autoridades de Certificación * RA 10 - URJC (urjc.es) * RA 11 - IAA (iaa.es) * RA 12 - CIEMAT (ciemat.es) * RA 13 - CETA-CIEMAT (ceta- ciemat.es, ceta.ciemat.es) * RA 14 - UPV (upv.es) * RA 15 - ESA (esac.esa.int, sciops.esa.int) * RA 16 - UNICAN (unican.es) * RA 17 - CICA (cica.es) * RA 18 - UNAVARRA (unavarra.es)

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 43 Autoridades de Certificación

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 44 Autoridades de Certificación JPAUSEIT TAGPM A BRARPT

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 45 Autoridades de Certificación TAGPMA APGridPMA The Americas Grid PMA European Grid PMA EUGridPMA Asia-Pacific Grid PMA

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 46 EGEE

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 47 EGEE – Started in April 2004 – Now in 2 nd phase with 91 partners in 32 countries Objectives – Large-scale, production-quality grid infrastructure for e-Science – Attracting new resources and users from industry as well as science – Maintain and further improve gLite Grid middleware

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 48 EGEE Manage and operate production Grid infrastructure for the European Research Area Interoperate with e-Infrastructure projects around the globe Contribute to Grid standardisation efforts Support applications deployed from diverse scientific communities – High Energy Physics – Biomedicine – Earth Sciences – Astrophysics – Computational Chemistry – Fusion – Geophysics (supporting the Industrial application, EGEODE) – Finance, Multimedia –..... Reinforce links with the full spectrum of interested industrial partners Disseminate knowledge about the Grid through training Prepare for a permanent/sustainable European Grid Infrastructure (in a GÉANT2-like manner)

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 49 EGEE More than 90 partners 32 countries 12 federations Major and national Grid projects in Europe, USA, Asia + 27 countries through related projects: – BalticGrid, SEE-GRID, EUMedGrid, EUChinaGrid, EELA...

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 50 EGEE DEISA TeraGrid

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 51 EGEE Infrastructure operation – Currently includes ~200 sites across 40 countries – Continuous monitoring of grid services & automated site configuration/management Middleware – Production quality middleware distributed under business friendly open source licence User Support - Managed process from first contact through to production usage – Training – Expertise in grid-enabling applications – Online helpdesk – Networking events (User Forum, Conferences etc.) Interoperability – Expanding geographical reach and interoperability with collaborating e-infrastructures

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 52 Evolución de la Computación Grid

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 53 PRC Public Resources Computation Computación de Recursos Públicos

La filosofía de BOINC consiste en encontrar voluntarios que donen recursos de su PC durante sus ciclos ociosos. Aunque es posible configurarlo para colaborar el 100% del tiempo. El usuario se descarga un cliente BOINC que una vez instalado, se asocia al proyecto con el que ha decidido colaborar. El cliente automatiza las tareas internas: descarga el código del proyecto, los datos de entrada, procesa los datos recibidos y envía al servidor los resultados finales. Con la colaboración de un gran número de usuarios se consiguen recursos similares a los de un supercomputador. Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 54 PRC

El modo más popular de construir entornos Grid es la aproximación llamada clusters de clusters, donde, clusters geográficamente dispersos son enlazados vía redes de comunicaciones avanzadas y una infraestructura de software, permitiendo así la interoperatibidad entre ellos. Otras aproximaciones a la computación grid son Google Compute y BOINC, donde un pequeño programa instalado en los ordenadores personales de los usuarios permite la recepción de los trabajos, su procesamiento y su posterior envío al servidor central. Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 55 PRC

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 56 PRC GIMPS climateprediction.net

Semana de la Ciencia en Extremadura Séptimo Tutorial de Usuario de EELA Mérida, del 7 al 10 de Noviembre de p 57 EGEE Más información en: Gracias por vuestra atención