1 Grid Computing. 2  When the network is as fast as the computer's internal links, the machine disintegrates across the net into a set of special purpose.

Presentación del tema: "1 Grid Computing. 2  When the network is as fast as the computer's internal links, the machine disintegrates across the net into a set of special purpose."— Transcripción de la presentación:

1 1 Grid Computing

2 2  When the network is as fast as the computer's internal links, the machine disintegrates across the net into a set of special purpose appliances. -- Gilder Technology Report, June 2000.

3 3 Antecedentes y Motivacion  1970s - 80s: Internet Email, ftp, etc  1980s - 90s: Remote-, Distributed-, Meta-, Internet-computing Comienza la idea de explotar recursos distribuidos Programas de los Centros de USA SC

4 4 Antecedentes y Motivacion  SC95: I-Way Primer experimento de gran escala, en 1995, en el cual se exploraron los conceptos de Grid computing ( 17 sitios interconectados con red de alta velocidad por un corto periodo de tiempo )  Post I-Way: Grid Explosion de la actividad, aun inmadura. La proxima revolucion tecnologica ?

5 5 Grid Computing: Un Nuevo Paradigma ?  Recursos distribuidos a lo largo del mundo Compute servers Handhelds File servers Networks Playstations, cell phones etc…  Como tomar ventaja de ellos para simulaciones cientificas/tecnlogicas?

6 6 Grid Computing  Extensión del Paradigma “Distributed Computing “  “ conecta los recursos de multiples computadoras para trabajar simultaneamente en un único problema complejo “ (IEEE Computer Dec 01)

7 7 Grid ( cont)  Protocolos, Servicios y Aplicaciones que permiten una nueva forma de colaboración.  Recursos Globales disponibles para las comunidades de investigadores  “Access Grid” para comunicación y colaboración

8 8 Grid ( cont)  “ A computational grid is a hardware and software infraestructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities “

9 9 Grid ( cont.)  Tecnología cuyo objetivo es la compartición de recursos en Internet de forma uniforme, transparente, segura, eficiente y fiable  EL termino Grid se empezó a utilizar a mediados de los 90 en el mundo académico para denotar a Sistemas de Computación Distribuidos que pueden proveer servicios de computo bajo demanda de forma análoga a las redes de suministro eléctrico o de agua potable

10 10 Una definición aceptada : A Grid is a system that... 1)...coordinates resources that are not subject to a centralized control... 2)...using standard, open, general-purpose protocols and interfaces... 3)...to deliver nontrivial qualities of services. Ian Foster What is the Grid? A Three Point Checklist (2002)

11 11 Electric Power Grid /Grid  Suministro eléctrico “Implements standards for electric power transmission that allow for the decoupling of consumer and provider Links diverse provider into a managed utility  Grid On-demand access to computing capabilities The Federation of distributed resources and the management of the those distributed resources to meet end-user requirements “

12 12 Power Grid /Grid  En comun con la red electrica Ofrecen un único punto de acceso a un conjunto de recursos distribuidos Geográficamente en diferentes dominios de administración

13 13 Power Grid /Grid  Suministro eléctrico Se produce más económicamente de forma centralizada Se accede a través de una interfaz de conexión estandarizada Se caracteriza por una métrica muy simple  Grid Los recursos computacionales son producidos más económicamente de forma distribuida con clusters Se caracterizan por una métrica altamente compleja Se accede mediante interfaces de software en proceso de estandarización

14 14 Clasificacion  Computational Grid  Data Grid  Network Grid

15 15 Como implementar Grid ?  Bottom-up  Crecimiento Incremental

16 16 Ventajas  Alquiler de recursos  Amortización de recursos propios  Gran potencia de cálculo a precio bajo sin necesidad de adquirir equipamiento  Mayor colaboración y compartición de recursos entre varios centros  Creación de organizaciones virtuales  Negocios basados en proveer recursos

17 17 Desafios:  Recursos heterogéneos  Seguridad, identidad, autenticación,...  Descubrimiento, selección, reserva, asignación, gestión y monitorización de recursos  Desarrollo de aplicaciones  Desarrollo de modelos eficientes de uso  Garantías de rendimiento  Gestión de fallos  Algoritmos distribuidos  Acceso a datos remotos  Comunicación lenta y no uniforme  Organizativos: Dominios de administración, modelo de explotación y costes,política de seguridad...  Económicos: Precio de los recursos, oferta/demanda...

18 18 Infraestructura necesaria  Recursos a compartir Recursos de cálculo Recursos de almacenamiento Recursos de información  Redes de comunicaciones  Middlewares Permiten a las aplicaciones utilizar los recursos

19 19 Global Grid Forum  http://www.gridforum.org/ http://www.gridforum.org/  Organismo encargado de crear estándares de servicios y protocolos para crear la infraestructura grid  Grupos de trabajo Aplicaciones y entornos de programación Arquitectura Datos Redes Peer-to-Peer Planificación y gestión de recursos Seguridad

20 20 Tecnología Globus  Colección de componentes software de código abierto que permite construir grids  http://www.globus.org/ http://www.globus.org/  Globus Toolkit permite compartir recursos localizados en diferentes dominios de administración, con diferentes políticas de seguridad y gestión de recursos.  Globus es… Un middleware software Un conjunto de bibliotecas, servicios y APIs  Globus no es Una herramienta de usuario o planificador Una aplicación

21 21 Taxonomía de Globus Aplicaciones Servicios Globus Metacomputing Directory Service GRAM Globus Security Interface Replica Catalog GASS GridFTP Servicios locales LSF CondorMPI SGEPBS TCP AIXLinux UDP Servicios y Herramientas CactusCondor-GMPINimrod/Gglobusrun GridWay Grid Status I/O Solaris DRM Recursos

22 22 Versión 2 de Globus  Componentes de Globus Seguridad: proporciona autenticación, delegación y autorización Gestión de recursos: proporciona ejecución remota, control y monitorización Servicios de información: información acerca de los servicios grid Gestión de datos: acceso y gestión de datos

23 23 Infraestructura de seguridad  Globus Secutiry Infraestructure (GSI)  Objetivos: Comunicación segura entre elementos del grid Ofrecer seguridad a través de diversos dominios administrativos. No debe haber un sistema de seguridad centralizado Registro único (single sign-on) para los usuarios

24 24 Componentes de GSI  GSI utiliza criptografía de clave pública  Cada usuario y servicio del grid se identifica mediante un certificado Nombre del elemento Clave pública Identidad de la autoridad de certificación (CA) Firma digital de la CA  Autenticación mutua  Confidencialidad e integridad de la comunicación  Delegación de certificados

25 25 Autenticación mutua  A  B (A establece una conexión con B y le da su certificado)  El certificado le indica a B quién afirma ser A, su clave pública y el CA  B verifica que el certificado es válido comprobando la firma digital de la CA  B genera un mensaje aleatorio  A y le pide que lo cifre  A cifra el mensaje y se lo envía a B  B descifra el mensaje utilizando la clave pública de A. Si el mensaje es el mismo, entonces A es quién dice ser.

26 26 Integridad de las comunicaciones  GSI se puede utilizar para establecer claves compartidas (simétricas) que permiten cifrar la comunicación si se desea. Por defecto la comunicación no es cifrada  Proporciona integridad de en la comunicación para protegerse de manipulaciones externas. El emisor realiza un resumen del mensaje que cifra con su clave privada.

27 27 Delegación de certificados  Se utiliza para reducir el número de veces que un usuario debe introducir su contraseña.  Cuanto una computación requiere varios recursos que requieren autenticación mutua se utilizan certificados delegados

28 28 Gestión de recursos  GRAM (Globus resource allocation manager) es el gestor de asignación de recursos  Incluye un lenguaje de especificación de recursos utilizado por los clientes para describir los recursos que se solicitan cuando se envían trabajos al grid

29 29 Servicios de información  Servicio de descubrimiento y monitorización (MDS)  Utiliza LDAP (lightweight directory access protocol) como interfaz  LDAP es un protocolo cliente/servidor (no una base de datos) que se utiliza para crear, modificar, recuperar y borrar datos

30 30 Gestión de datos  GASS: sistema de acceso global a almacenamiento secundario para la transferencia de ficheros de entrada y salida utilizando antes y después de la ejecución de un trabajo.  GridFTP: protocolo de transferencia de datos eficiente, seguro y fiable.  Servicio de catalogo de réplicas para registrar la localización de las copias de un fichero

31 31 Globus toolkit 3 Data Services Domain-Specific Services Program Execution Standardization OGSI (Open grid service Architecture) Core Services Web Services

32 32 Globus Toolkit 4 Data Services Domain-Specific Services Program Execution Standardization WSRF – Web Services Resource Framework Core Services Web Services

33 33 Convergencia Grid/Web Grid Web WSRF OGSI GT2 GT1 HTTP WSDL, WS-* WSDL 2, WSDM Have been converging

34 34 Lecturas  Foster, I. & Kesselman, C. (Eds). The Grid: Blueprint for a New Computing Infrastructure. Morgan-Kaufmann (1999).  The Anatomy of the Grid: Enabling Scalable Virtual Organizations. Foster, I., Kesselman, C., Tuecke, S. www.globus.org/research/papers/anatomy.pdf www.globus.org/research/papers/anatomy.pdf  What is the Grid? A Three Point Checklist Ian FosterArgonne National Laboratory & University of Chicago http://www- fp.mcs.anl.gov/~foster/Articles/WhatIsTheGrid.pdfhttp://www- fp.mcs.anl.gov/~foster/Articles/WhatIsTheGrid.pdf  Grid Computing in Research and Education. Luis Ferreira et. Al. April 2005. Ibm.com/redbooks  Globus Toolkit 4.0: Key Concepts. Ian Foster 2005. http://www.globus.org/toolkit/docs/4.0/key/

35 35 Proyectos Grid  Grid Physics Network project www.griphyn.org www.griphyn.org  European Data Grid grid.web.cern.ch/gridgrid.web.cern.ch/grid  Particle Physics Data Grid www.ppdg.netwww.ppdg.net  Network for Earthquake Engineering Simulation Grid www.neesgrid.orgwww.neesgrid.org  The Globus Project www.globus.orgwww.globus.org  The Global Grid Forum www.gridforum.orgwww.gridforum.org

36 36 Proyectos “ Internet Computing “  SETI@home setiathome.ssl.berkeley.edusetiathome.ssl.berkeley.edu  Folding@home www.stanford.edu/group/pandegroup/Cosm www.stanford.edu/group/pandegroup/Cosm  Compute-against-Cancer www.parabon.com/cac.jsp www.parabon.com/cac.jsp  Fight AIDS@home www.fightaidsathome.orgwww.fightaidsathome.org  Great Internet Mersenne Prime Search mersenne.org mersenne.org  Casino 21: Climate simulation www.climate- dynamics.rl.ac.ukwww.climate- dynamics.rl.ac.uk

37 37 Empresas de “Internet Computing”  Entropia www.entropia.comwww.entropia.com  United Devices www.uniteddevices.comwww.uniteddevices.com  Parabon www.parabon.comwww.parabon.com  Popular Power www.popularpower.comwww.popularpower.com