Grids. Cluster High-availability (HA) Clusters (Linux HA) Load-balancing Clusters (Platform LSF HPC, Sun Grid En gine, Moab Cluster Suite and Maui Cluster.

Presentación del tema: "Grids. Cluster High-availability (HA) Clusters (Linux HA) Load-balancing Clusters (Platform LSF HPC, Sun Grid En gine, Moab Cluster Suite and Maui Cluster."— Transcripción de la presentación:

1 Grids

2 Cluster High-availability (HA) Clusters (Linux HA) Load-balancing Clusters (Platform LSF HPC, Sun Grid En gine, Moab Cluster Suite and Maui Cluster Scheduler) High-performance (HPC) Clusters (Beowolf) Grid Clusters: Computational Grids Data Grids Equipment Grids

3 GLOBUS

4 Resource Management Data Management Grid Security Infrastructure Applications …….. Users …… ……...Organizations Information Serveces

5 process gatekeeper jobmanager GRAM GIIS GRIS Resources MDS GridFTP FTP server RSLHTTP1.1 LDAP Gsiftp/http/https/file Job allocation Job management resource finding data transfer data control proxy user Client USE Initialize/destroy

6 GRAM Client globusrun GSI Client globusrun GSI Client GASS use (opcioptional) GRAM Sever Gatekeeper GSI Sever Job Manager Perl Script fork RSL RSL Parser RSL file stdout GASS Process PBS JobLSF Job fork qsubbsub Local Resource Manager HTTP/1.1 RSL callback Job satus/cancel File transfer Output transfer

7 GRAM Client globusrun DUROC Parser RSL DUROC HTTP/1.1 RSL GRAM Server 1 GRAM Server 2

8 Request and response of resource information Request and response of resource information Host A MDS Client Idapsearch Host C GIIS Resources Information Provider Register Request and response of resource information Host B Local resource information Local resource information GIIS GRIS Idapadd/delete/modfy slapd LDAP base

9 GridFTP Client Globus-url-copy File GridFTP Server In.ftpd File control transfer

10 TeraGrid

11 Visión Construir una nueva infraestructura para soportar aplicac iones científicas basadas en grids (hw,sw,networks,new pr actices, new policies) Expandir los centros de cómputo para soportar al infraest ructura tecnológica Centros de operación coordinados y distribuidos geográfica mente. Explotar conocimiento y experiencia, de modo que el todo s ea más que la suma de sus partes. Homogenizar para realizar el trabajo distribuido de forma sencilla y de manera estándar. Ejecutar un trabajo en toda la TeraGrid Migrar ejecutables entre sitios.

12 Objetivos Crear una capacidad de cómputo sin precedentes Crear un sistema balanceado y distribuido. No un computador distribuido sino un sistema distribuid o Definir una infraestructura abierta y extensible Permitir la incorporación de nuevos recursos tanto en lo s centros de investigación participantes como en nuevos centros que se incorporen al sistema. Retos High-speed networks Grid Services Grid-Enlabled TeraScale facilities WAN

13 Escenarios de uso y Componentes Hardware: Linux/Intel Clusters, Alpha SMP cluster … Large-scale storage systems High-Speed backbone Grid middelware Next Generation applications Visualización remota de grandes cantidades de datos y apl icaciones sincronizadas armónicamente Número variable de procesadores y adaptación a tiempos de latencia variable. Alto Throughput

14 Tipos de Aplicaciones Computación intensiva Data intensiva Acopladas a instrumentos científicos Procesamiento y análisis de datos “cercanos” y en tiempo real Entes participantes (inicialmente) Argonne National Laboratory Caltech The National Center for Supercomputing Applications San Diego Supercomputer Center Texas Advanced Computing Center

15 Sistema inicial

16 Capas de Servicios

17

18 Ejemplo de un SITE

19 Recursos y Servicios Compute Resources Data Resources and Data Management Services Visualization Resources Network Resources Grid Services Grid Scheduling Allocations and Proposals

20 Nuestra WAN

21 Software Stack SuSE SLES X-cat OpenPBS Maui scheduler MPICH, MPICH-G2, MPIC H-VMI gm drivers VMI/CRM Globus Condor-G gsi-ssh GPT Wizard and GPT GPT SoftEnv MyProxy Intel compilers GNU compilers HDF4/5 SRB client

22 gLite

23 Middleware: Se refiere a una pieza de software que conec ta dos o más aplicaciones para que puedan intercambiar datos. Middleware de Grids: Integra y organiza recursos computacionales en un grid para presentarlos de manera homogénea.

24

25 Proyecto Enabling Grids for E-siencE Construir un grid robusto y seguro que atraiga muchos recursos de computo Continuamente mejorar y mantener un middleware para este grid. Atraer nuevos usuarios de industrias y áreas científicas.

26

27 Requerimientos del GRID de EGEE Heterogeneidad Agrupación de recursos vía VO. Utilización de recursos existentes Ejecución de trabajos Servicios de datos Seguridad Escalabilidad Disponibilidad

28 gLite fue creado por el proyecto EGE en abril de 2005 Se unificó con LCG en mayo de 2006 LCG-2 (=EGEE-0) prototyping product 2004 2005 LCG-3 EGEE-1 product

29 gLite (Lightweight Middleware for Grid Computing): Es un middleware para grids orientado a servicios. Brinda servicios para permitir la administración de computo y almacenamiento distribuido. Características: Orientado a servicios Rehúso de componentes ya realizados Portable Seguro Tolerante a fallos Compatibilidad con infraestructura ya existente Software libre

30 Comparación entre gLite y LCG gLiteLCG Orientado a servicios Orientado a conexión Soporte para MySQL y Oracle Soporte para MySQL y Oracle Utiliza HTTPS y está basado en certificados grid provistos por VOM Utiliza la infraestructura de Glob us y certificados digitales para la Autenticación

31 1.User Interface (UI) 2. Workload Management System (WMS) / Resource Broker (RB) 3. Computing Element (CE) 4. Worker Node (WN) 5. The Logging and Bookkeeping service (LB) Cada componente de gLite está compuesto a su vez por una serie de paquetes de software (RPMs). Por esto los componentes son denominados metapaquetes. Estos paquetes de software deben ser configurados adecuadamente para trabajar “juntos”.

32

33 Information & Monitoring Service Job Management Service Data Management Service Security Service

34 R-GMA (Relational Grid Monitoring Architecture) Servicio genérico de descubrimiento. Instrumentos de apoyo para las transacciones - Replicación de registros -API mas simple -Enfrentarse a la vida en el grid (redes configuradas pobremente, MySQL corrupto, etc.)

35 Computing Element - CE mueve las VO basado en el planificador local - Políticas basadas en los cambios de los CE Logging and Bookkeeping - Sigue trabajos durante su curso de la vida (en términos de acontecimientos) Migraciones Compatibibles

36 Elementos de almacenamiento Replicación de catálogos y archivos Transferencia y ubicación de archivos Catalogo de meta-datos.

37 VOMS Job Management Services WMS, LB y CE se utilizan bajo la autorización basada en VOMS, y en la información de los usuarios Data Services Autorizaciones a través de las ACL Information Services Autentificación basadas en los certificados de los VOMS

38 SUMA/G USB

39 SUMA como conjunto de servicio s CORBA Proceso de ejecución e invocación  Execute  Submit Agentes de Ejecucion (Execution Agents) Cliente Interno (Client Stub) Representante (Proxy) Planificador (Scheduler) Control de Usuario (User Control)

40 Arquitectura de Suma Por Capas

41 Tolerancia a Fallas CheckPoints

42 SUMA - Otras Características: Planificador Seguridad Administración

43 PREGUNTAS… GRACIAS!