La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Computación Grid Herbert Hoeger *Centro de Cálculo Científico *Universidad de Los Andes *EELA-2 CLCAR 2009 Mérida - Venezuela 21 de septiembre.

Presentaciones similares


Presentación del tema: "Computación Grid Herbert Hoeger *Centro de Cálculo Científico *Universidad de Los Andes *EELA-2 CLCAR 2009 Mérida - Venezuela 21 de septiembre."— Transcripción de la presentación:

1 Computación Grid Herbert Hoeger *Centro de Cálculo Científico *Universidad de Los Andes *EELA-2 CLCAR 2009 Mérida - Venezuela 21 de septiembre de 2009

2 2 Conceptos Preliminares Supercomputación: Fue definida para hacer referencia a computadoras con capacidades muy superiores a las de otras máquinas disponibles. Sistemas típicos: DEC VAX: 1-10 Mflops (nada en el medio performance gap) Supercomputadoras: Crays, CDCs: ~100 Mflops Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009

3 3 Conceptos Preliminares Hoy en día la distinción ya no es clara ( ¡tabla hasta 1990! ) Supercomputadores Mainframes Minicomputadores Microprocesadores EficienciaMFEficienciaMF Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009

4 4 Conceptos Preliminares Computación de Alto Rendimiento: Es aquella que proporciona un mayor capacidad de cómputo que la que se puede obtener de computadores individuales. Sistemas de memoria compartida. Sistemas distribuidos. Clusters. Máquinas paralelas En inglés: High Performance Computing o HPC. Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009

5 5 Computación Paralela: Es la utilización de múltiples procesadores para resolver una tarea común. Se divide el problema es trozos más pequeños y se asignan a diferentes procesadores. Conceptos Preliminares... CPUs Mecanismo de switches o bus Bancos de Memoria Dispositivos de Entrada/Salida Memoria Compartida... Mecanismo de enrutamiento Memorias Locales CPUs Memoria Distribuida Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009

6 6 Usamos computación paralela ya que… Los monoprocesadores limitan: El rendimiento. La memoria disponible. La máquinas paralelas permiten: Resolver problemas más grandes. Resolver problemas más rápido. Resolver más problemas. Hoy en día HPC es prácticamente computación paralela. Ejemplo: modelado y predicción climática. Conceptos Preliminares Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009

7 7 Computación Distribuida: Es la utilización de múltiples sistemas, de alguna forma organizada, para trabajar en un objetivo común. Conceptos Preliminares Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009

8 8 Computación Distribuida Requiere software para la coordinación de recursos y tareas. Computación paralela / HPC es computación distribuida. Computación Grid es computación distribuida. Conceptos Preliminares Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009

9 9 Sistemas Operativos Distribuidos – Características Transparencia: Provee la visión de una sola máquina (máquina virtual) Acceso: a recursos remotos igual que a locales. Ubicación: Independencia de nombre – ubicación. Independencia de máquina – recurso. Replicación: Las replicaciones mejoran el rendimiento y la disponibilidad – el uso, nombre y control de replicas debe ser transparente. Conceptos Preliminares Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009

10 10 Migración: por rendimiento, seguridad y disponibilidad, los objetos (procesos y/o datos) pueden migrar. Concurrencia: cada usuario tiene la impresión de ser el único usuario – así existan muchos. Escalabilidad: el sistema puede crecer sin afectar las actividades de los usuarios. Heterogeneidad: Soportar diferentes tipos de hardware y software. Seguridad: Protección contra destrucción y usos no autorizados. Conceptos Preliminares

11 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Disponibilidad: debe operar todo el tiempo aún bajo fallas (quizás con cierta degradación). Evitar fallas: usar componentes de calidad. Tolerar fallas: redundancia de componentes Detectar y recuperar fallas: usar hardware y software para descubrir y reparar fallas. Flexibilidad : Facilidad para reemplazar, modificar o agregar componentes. Rendimiento: Las aplicaciones deben correr mejor (o al menos igual) que en monoprocesadores. Conceptos Preliminares

12 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Los objetivos generales son los mismos que vimos para sistemas operativos distribuidos pero a un nivel superior. Debe operar con distintos sistemas operativos. Computación Grid Grid Middleware Linux ASolarisAIXHPUXIRIXWindowsLinux BMac OSAIX

13 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Computación Grid es computación distribuida llevada a un nivel multi-organizacional / multi-sistemas. Computación Grid Dpto. Organización Dpto. Organización Dpto. Organización Dpto. Organización Son muchos sistemas locales, manejados por otras personas/organizaciones, cooperando.

14 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Computación Grid Hoy en día tenemos: –Conectividad global a través de Internet. –Disponibilidad y confiabilidad en el ancho de banda. –La velocidad de las redes se duplica cada 9 meses.

15 15 Computación Grid Usar Internet como una plataforma de servicios de computación y no solo como una fuente de información. Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009

16 16 Aplicaciones Grid Middleware Recursos Computación Grid Características Manejo de Recursos Balanceo de cargas Manejo de Fallas Monitoreo Garantizar el rendimiento Detección de intrusos Escalabilidad, etc Autentificación Políticas de Autorización Descubrimiento de recursos Ubicación de recursos Acceso a data remota Alta velocidad de transferencia de data

17 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Un Grid debe prestar servicios en forma: Extendida: muchos recursos en muchos lugares Constante: 365 días x 24 horas Confiable: utilización de canales seguros Simple: fácil de usar Transparente: no importa donde se almacenan los datos o donde se ejecutan los programas. Económica: utiliza los recursos actuales y es sencillo adicionar nuevos recursos. Más Propiedades del Grid

18 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Cluster vs. Grid CLUSTER Equipos homogéneos. Sistema operativo único. Administración y manejo centralizado - única. Equipos están concentrados. Objetivo: mejorar el rendimiento dedicando más recursos. GRID Equipos heterogéneos. Múltiples sistemas operativos. Administración y manejo descentralizado – multidominio Equipos están dispersos. Objetivo: mejorar el rendimiento compartiendo recursos sub- utilizados en otras partes.

19 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Cluster

20 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Grid

21 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Cloud vs. Grid CLOUD Foco: Comercial – Servicio. Muchos basados en grids. Fáciles de usar. Compartir no es objetivo. No colaborativo. Los usuarios no posen la infraestructura: no inviertas en recursos, alquílalos. GRID Foco: HPC. Más complicados de usar. Compartir recursos, datos, conocimiento y trabajo (a través de VO - Virtual Organizations). Los usuarios aportan a la infraestructura: comparte/aporta recursos y podrás tener muchos más de lo que podrías adquirir por tu cuenta

22 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Tipos de Grid Grid Computacional: Dedicadas al procesamiento de datos y cómputos intensivos aprovechando la capacidad ociosa de las diferentes máquinas del Grid. Grid de Datos: Proporciona una interfaz integrada para manejar grandes volúmenes de datos almacenados en diferentes repositorios. Grid Híbridas: Tienen características de las dos anteriores.

23 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Analogía Grid (en inglés) ~ red eléctrica. Grid de Computo ~ red de recursos y servicios de computación.

24 Herbert Hoeger - San José - Costa Rica - 27 de mayo de EL CERN (Centro Europeo de Investigaciones Nucleares) Esta a la vanguardia en tecnología de redes. Su lema: where the web was born Lidera algunos de los proyectos en Grid más ambiciosos del mundo.

25 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN - LHC: Large Hadron Collider

26 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN - LHC: Large Hadron Collider 63.6 Km

27 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN - LHC: Large Hadron Collider 63.6 Km

28 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN - LHC: Large Hadron Collider 63.6 Km

29 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN: Large Hadron Collider Instrumento científico más grande del mundo. Los datos son una mina de oro para físicos alrededor del mundo. Descubrir partículas fundamentales de la materia.

30 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN Generará unos 10 Petabyte/año. Kilobyte KB 10 3 (o 2 10 ) Megabyte MB 10 6 (o 2 20 ) Gigabyte GB 10 9 (o 23 0 ) Terabyte TB (o 2 40 ) Petabyte PB (o 2 50 ) Exabyte EB (o 2 60 ) Zettabyte ZB (o 2 70 ) Yottabyte YB (o 2 80 )

31 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN 1 CD 700 MB 10 PB CDs 7 CDs 1 cm 10 PB 20,4 Kms de CDs –1 DVD 6,7 CDs –3 Kms de DVDs Suponiendo los CDs o DVDs llenos!

32 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN

33 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN La solución posible para manejar/procesar esta enorme cantidad de información parece ser la computación Grid. Comentario de William Gropp: Con la computación Grid hay un fenómeno particular, la necesidad surgió antes que la tecnología.

34 Herbert Hoeger - San José - Costa Rica - 27 de mayo de CERN El problema no es solo el manejo de datos. Se estima que son necesarios unos PCs actuales para analizar estos datos. Al pasar los años, la data se acumula!

35 Herbert Hoeger - San José - Costa Rica - 27 de mayo de LHC Computing Grid

36 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Estándares Si distintas organizaciones deciden implementar un Grid, es muy probable que cuenten con plataformas diferentes. Se hace necesario la utilización de estándares para coordinar eficazmente los recursos a compartir.

37 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Estándares Se ha definido y se esta actualizando un estándar para las tecnologías Grid: Open Grid Services Architecture (OGSA) Este se enfoca en la integración de servicios a través de organizaciones virtuales distribuidas, heterogéneas y dinámicas, para obtener servicios de calidad utilizando diferentes plataformas.

38 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Estándares OGSA es el producto de personas que pertenecen a más de 60 compañías e instituciones de investigación, congregadas en una comunidad virtual de usuarios y desarrolladores denominada Global Grid Forum (GGF)

39 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Servicios especificados en OGSA Servicios de infraestructura: Proporcionan la comunicación entre diferentes plataformas. Servicios de gestión de recursos: Supervisión, reservación, configuración, etc. Servicios de contexto: describen los requerimientos de recursos y las políticas de utilización del Grid. Servicios de información: proporciona información sobre el Grid y sus recursos, su estado y disponibilidad de un determinado recurso.

40 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Servicios especificados en OGSA Servicios de autogestión: automatizar procesos para reducir costos de administración. Servicios de Datos: Proporciona el movimiento de los datos al lugar donde se necesiten. Servicios de Seguridad. Servicios de gestión de ejecución: administración de tareas, flujo de procesos.

41 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Estructura de OGSA Servidores Seguridad AlmacenamientoRedes Procesa- miento Bases de Datos Sistemas De Archivos Directorios Envío de Mensajes Web Services WSRF (Globus Toolkit) OGSA Aplicaciones

42 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Componentes de OGSA Open Grid Services Architecture se fundamenta en dos tecnologías Globus Toolkit Web Services

43 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Globus Toolkit Globus Toolkit es un conjunto de bibliotecas de software de arquitectura abierta y open source que soporta aplicaciones Grid

44 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Globus Toolkit se encarga de la gestión de: Seguridad Descubrimiento de la información Administración de los recursos compartidos Administración de los datos La comunicación Detección de fallas Portatibilidad Globus Toolkit

45 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Globus Toolkit

46 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Los componentes más relevantes Globus Toolkit que soportan al OGSA son: GRAM: Grid Resources Allocation and Management MDS: Meta Directory Service GSI: Grid Security Infrastructure Globus Toolkit

47 Herbert Hoeger - San José - Costa Rica - 27 de mayo de GRAM Proporciona la administración y creación remota de procesos en forma segura y confiable Globus Toolkit

48 Herbert Hoeger - San José - Costa Rica - 27 de mayo de MDS Proporciona un marco uniforme para el descubrimiento y acceso a la configuración de sistemas. Supervisa el estado de los sistemas de cómputo, la disponibilidad de las redes y localización de conjuntos de datos. Globus Toolkit

49 Herbert Hoeger - San José - Costa Rica - 27 de mayo de GSI Se basa en PKI (certificados X.509) y proporciona servicios de autenticación única, protección en las comunicaciones y soporte inicial en la delegación. Este último término se refiere a delegar las credenciales del usuario de forma restringida a los proxy para que solicite servicios en nombre del usuario. Globus Toolkit

50 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Cactus Code Algunas Entidades que Trabajan en Grid

51 Herbert Hoeger - San José - Costa Rica - 27 de mayo de Finalmente… Que los recursos estén disponibles en cualquier lugar, en cualquier momento, en forma confiable y segura, que la ubicación de los procesos y datos sea transparente al usuario, y que el Grid sea fácil de usar, son metas en las que aún se trabaja arduamente. La implementación, operación y mantenimiento de un Grid no es fácil, pero el software esta madurando rápidamente.


Descargar ppt "Computación Grid Herbert Hoeger *Centro de Cálculo Científico *Universidad de Los Andes *EELA-2 CLCAR 2009 Mérida - Venezuela 21 de septiembre."

Presentaciones similares


Anuncios Google