CISCO Academy Conference 2011 (http://academy.aid-web.net) (9/6/2011) & Seminario e-Investigación en Ciencias Sociales y Humanas (10/6/2011) Grid Herbert Hoeger Centro de Cálculo Científico y Centro de Simulación y Modelos, Universidad de Los Andes Proyecto GISELA

Contenido Computación distribuida Sistemas Operativos Distribuidos Grid Clusters vs Grid Cloud vs Grid Necesidad de Grid: Large Hadron Collider – CERN Proyectos EELA (Ene 2006 – Dic 2007) EELA-2 (Abr 2008 – Mar 2010) GISELA (Sep 2010 – Ago 2012)

Conceptos Preliminares Computación Distribuida: Es la utilización de múltiples sistemas, de alguna forma organizada, para trabajar en un objetivo común.

Conceptos Preliminares Computación Distribuida Requiere software para la coordinación de recursos y tareas. Computación paralela / HPC es computación distribuida. Computación Grid es computación distribuida.

Conceptos Preliminares Sistemas Operativos Distribuidos – Características Transparencia: Provee la visión de una sola máquina (máquina virtual) Acceso: a recursos remotos igual que a locales. Ubicación: Independencia de nombre – ubicación. Independencia de máquina – recurso. Replicación: Las replicaciones mejoran el rendimiento y la disponibilidad – el uso, nombre y control de replicas debe ser transparente.

Conceptos Preliminares Migración: por rendimiento, seguridad y disponibilidad, los objetos (procesos y/o datos) pueden migrar. Concurrencia: cada usuario tiene la impresión de ser el único usuario – así existan muchos. Escalabilidad: el sistema puede “crecer” sin afectar las actividades de los usuarios. Heterogeneidad: Soportar diferentes tipos de hardware y software. Seguridad: Protección contra destrucción y usos no autorizados.

Conceptos Preliminares Disponibilidad: debe operar todo el tiempo aún bajo fallas (quizás con cierta degradación). Evitar fallas: usar componentes de calidad. Tolerar fallas: redundancia de componentes Detectar y recuperar fallas: usar hardware y software para descubrir y reparar fallas. Flexibilidad: Facilidad para reemplazar, modificar o agregar componentes. Rendimiento: Las aplicaciones deben correr mejor (o al menos igual) que en monoprocesadores.

Computación Grid Los objetivos generales son los mismos que vimos para sistemas operativos distribuidos pero a un nivel superior. Debe operar con distintos sistemas operativos. Linux A Solaris ABC XYZ Discos Windows Linux B Mac OS … Aplicaciones Grid Middleware Recursos

Computación Grid Computación Grid es computación distribuida llevada a un nivel multi-organizacional / multi-sistemas. Dpto. Organización Dpto. Organización Son muchos sistemas locales, manejados por personas/organizaciones distintas, cooperando. Dpto. Organización Dpto. Organización

Hoy en día tenemos: Conectividad global a través de Internet. Computación Grid Hoy en día tenemos: Conectividad global a través de Internet. Disponibilidad y confiabilidad en el ancho de banda. La velocidad de las redes se duplica cada 9 meses.

Computación Grid Usar Internet como una plataforma de servicios de computación y no solo como una fuente de información.

Características Computación Grid Autentificación Políticas de Autorización Descubrimiento de recursos Ubicación de recursos Acceso a data remota Alta velocidad de transferencia de data Manejo de Recursos Balanceo de cargas Manejo de Fallas Monitoreo Garantizar el rendimiento Detección de intrusos Escalabilidad, etc Aplicaciones Grid Middleware Recursos

Cluster vs. Grid CLUSTER GRID Equipos homogéneos. Sistema operativo único. Administración y manejo centralizado - única. Equipos están concentrados. Objetivo: mejorar el rendimiento dedicando más recursos. GRID Equipos heterogéneos. Múltiples sistemas operativos. Administración y manejo descentralizado – multidominio Equipos están dispersos. Objetivo: mejorar el rendimiento compartiendo recursos sub-utilizados en otras partes.

Cluster

Grid

Cloud vs. Grid CLOUD GRID Foco: Comercial – Servicio. Foco: HPC. Muchos basados en grids. Fáciles de usar. Compartir no es objetivo. No colaborativo. Los usuarios no posen la infraestructura: no inviertas en recursos, alquílalos. GRID Foco: HPC. Más complicados de usar. Compartir recursos, datos, conocimiento y trabajo (a través de VO - Virtual Organizations). Los usuarios aportan a la infraestructura: comparte/aporta recursos y podrás tener muchos más de lo que podrías adquirir por tu cuenta

Grid (en inglés) ~ red eléctrica. Analogía Grid (en inglés) ~ red eléctrica. Grid de Computo ~ red de recursos y servicios de computación.

EL CERN (Centro Europeo de Investigaciones Nucleares) Esta a la vanguardia en tecnología de redes. Su lema: “where the web was born” Lidera algunos de los proyectos en Grid más ambiciosos del mundo.

CERN - LHC: Large Hadron Collider 27 Km

CERN: Large Hadron Collider Instrumento científico más grande del mundo. Los datos son una mina de oro para físicos alrededor del mundo. Descubrir partículas fundamentales de la materia.

Unos 10 Petabyte/año. Petabyte PB 1015 (o 250) CERN Kilobyte KB 103 (o 210) Megabyte MB 106 (o 220) Gigabyte GB 109 (o 230) Terabyte TB 1012 (o 240) Petabyte PB 1015 (o 250) Exabyte EB 1018 (o 260) Zettabyte ZB 1021 (o 270) Yottabyte YB 1024 (o 280)

Suponiendo los CDs o DVDs llenos! CERN 1 CD → 700 MB 10 PB → 14.285.714 CDs 7 CDs → 1 cm 10 PB → 20,4 Kms de CDs 1 DVD → 6,7 CDs 3 Kms de DVDs Suponiendo los CDs o DVDs llenos!

CERN

CERN La solución posible para manejar/procesar esta enorme cantidad de información parece ser la computación Grid. Comentario de William Gropp: Con la computación Grid hay un fenómeno particular, la necesidad surgió antes que la tecnología.

El problema no es solo el manejo de datos. CERN El problema no es solo el manejo de datos. Son necesarios unos 100.000 PCs actuales para analizar estos datos. Al pasar los años, la data se acumula!

LHC Computing Grid

E-Infrastructure shared between Europe and Latin America EELA E-Infrastructure shared between Europe and Latin America Ene 2006 – Dic 2007 Inicios Plataforma de prueba Red de personas Educación Entrenamiento

E-science grid facility for Europe and Latin America EELA-2 E-science grid facility for Europe and Latin America Abr 2008 – Mar 2010 Plataforma de calidad de producción Red de personas Educación Entrenamiento

Soporte a comunidades virtuales Educación Entrenamiento GISELA Grid Initiatives for e-Science virtual communities in Europe and Latin America Sep 2010 – Ago 2012 Soporte a comunidades virtuales Educación Entrenamiento Transferencia a CLARA

GISELA 15 Países (11 en América Latina) 19 Miembros (14 en América Latina) 12 Terceros (11 en América Latina) UNIANDES UIS PUJ UNAM CICESE ITV ITESM IPN-CIC UAEM UNISON REUNA UFRO UTFSM UFRJ CEFET-RJ

GISELA: http://www.gisela-grid.eu/ Pagina principal

GISELA: http://indico.gisela-grid.eu/ Servidor de eventos

GISELA: http://documents.gisela-grid.eu/ Servidor de documentos

GISELA: http://applications.gisela-grid.eu/ Aplicaciones ~70

Finalmente… Que los recursos estén disponibles en cualquier lugar, en cualquier momento, en forma confiable y segura, que la ubicación de los procesos y datos sea transparente al usuario, y que el Grid sea fácil de usar, son metas en las que aún se trabaja arduamente. La implementación, operación y mantenimiento de un Grid no es fácil, pero el software esta madurando rápidamente.