Oportunidades Enabling Grids for E-science in Europe (EGEE)

Presentación del tema: "Oportunidades Enabling Grids for E-science in Europe (EGEE)"— Transcripción de la presentación:

1 Oportunidades Enabling Grids for E-science in Europe (EGEE)

2 EGEE: una Infraestructura Grid Computacional Para e-Ciencia en Europa Objetivo –Consistencia, Robustez y una Infraestructura Grid en Producción Eficiente y de Calidad a Nivel Europeo. –Atraer nuevos recursos y usuarios. –Mejoramiento y mantenimiento del middleware. Construida a Partir de: –Las Infraestructuras de Grid Nacionales y Europeas Existentes en los Socios (EDG). –Conexiones Internacionales con EEUU y Asia – Pac í fico –Los Resultados de Varios Prototipos Pioneros Enfoque –Unir los programas nacionales de Grid actuales y futuros –Estrecha cooperaci ó n con los desarrolladores de Grid, Industrias implicadas en Grid, Proveedores de Red y Proyectos Internacionales

3 Alcance –>170 sitios en 39 países –>17 000 CPUs –>5 PB almacenamiento –>10 000 trabajos concurrentes por día –>60 Organizaciones Virtuales

4 Consorcio de EGEE En EGEE Participan 71 Instituciones (Entre ellas el CERN, el CNRS, el CSIC, el INFN, la Univ. de Edimburgo, la UPV, etc) de 27 Países. Co-Fundada por la Union Europea por 32 MM Euros por los primeros 2 años desde el 1ero de Abril de 2004. CERN Europa Central (Austria, Eslovaquia, Eslovenia, Hungría, Polonia y República Checa) Francia Alemania y Suiza Irlanda y el Reino Unido Italia Europa del Norte (Bélgica, Dinamarca, Estonia, Finlandia, Holanda, Noruega y Suecia) Rusia Europa Sureste (Bulgaria, Chipre, Grecia, Israel y Rumania) Europa Suroeste (España y Portugal) EEUU Rusia

5 Aplicaciones >20 Aplicaciones –Física de Alta Energía –Biomediciona –Ciencias de la Tierra –Química computacional –Astrofísica –Geo-Física –Simulaciones Financieras Otras 8 aplicaciones de 4 dominios están en período de evaluación.

6 EGEE Middleware gLite 1.4 –Enfocado a los servicios básicos, fácil instalación y manejo. –Open Source License. –Varios componentes gLite actualmente en producción. –Mapa de camino establecido para uso y despliegue completo. Principios de guía –Servicios livianos. –Interoperabilidad y Coexistencia con estructuras en operación. –Robusto: Desempeño y tolerancia a fallas. –Portable. –Arquitectura orientada a servicios. –Sitios autónomos. Desarrollo / Integración / Pruebas –Administración de la carga de trabajo. –Sistemas de información. –Seguridad. –Administración de datos. Globus 2 based Web services based Service Oriented Architecture gLite-2gLite-1LCG-2LCG-1 www.gLite.org

7 Oportunidades TeraGrid

8 TeraGrid es una cyber-infraestructura que esta siendo construida con la combinación de tres programas de la iniciativa de la NSF. –Año 2000: TCS-1, 6 TFLOPS. –Año 2001: DTF, 15 TFLOPS, Intel Itanium. –Año 2002: ETF, 21+ TFLOPS

9 Índice La necesidad de una infraestructura científica distribuida. NSF TeraGrid – Estructura Física. – software del Grid y modelo de servicios. TeraGrid y la comunidad – Consumidores de recursos: aplicaciones científicas – Proveedores de recursos: nuevos portales Portales y la red –NCSA, SDSC, Caltech, ANL, PSC; TeraGrid backplane

10 Índice La necesidad de una infraestructura científica distribuida. NSF TeraGrid – Estructura Física. – software del Grid y modelo de servicios. TeraGrid y la comunidad – Consumidores de recursos: aplicaciones científicas – Proveedores de recursos: nuevos portales Portales y la red –NCSA, SDSC, Caltech, ANL, PSC; TeraGrid backplane

11 New Modes of Science LIGO ATLAS and CMS Seti La cantidad de proyectos de gran escala esta creciendo! Climate Change

12 Recursos –Computo, almacenamiento, datos Infraestructura científica requerida

13 Servicios –Autentificación, descubrimiento, … Recursos –Computo, almacenamiento, datos Infraestructura científica requerida

14 Servicios –Autentificación, descubrimiento, … Recursos –Computo, almacenamiento, datos Infraestructura científica requerida

15 Conectividad –Reducir la distancia Servicios –Autentificación, descubrimiento, … Recursos –Computo, almacenamiento, datos Infraestructura científica requerida

16 Tecnologías –Aplicaciónes Conectividad –Reducir la distancia Servicios –Autentificación, descubrimiento, … Recursos –Computo, almacenamiento, datos Infraestructura científica requerida

17 A A A Tecnologías –Aplicaciónes Conectividad –Reducir la distancia Servicios –Autentificación, descubrimiento, … Recursos –Computo, almacenamiento, datos Infraestructura científica requerida

18 A A A Tecnologías –Aplicaciónes Conectividad –Reducir la distancia Servicios –Autentificación, descubrimiento, … Recursos –Computo, almacenamiento, datos Infraestructura científica requerida Comunidades

19 Índice La necesidad de una infraestructura científica distribuida. NSF TeraGrid – Estructura Física. – software del Grid y modelo de servicios. TeraGrid y la comunidad – Consumidores de recursos: aplicaciones científicas – Proveedores de recursos: nuevos portales Portales y la red –NCSA, SDSC, Caltech, ANL, PSC; TeraGrid backplane

20 Objectivos de TeraGrid Proveer un incremento sin precedentes de las capacidades computacionales disponibles en la comunidad de investigación abierta en términos de capacidad y funcionalidad. Desplegar un sistema distribuido usando tecnología Grid en lugar de computadoras distribuidas con control centralizado. Crear una cyber-infraestructura para habilitar la investigación científica. –Recursos adicionales podrán ser integrados y ser reusados para crear sistemas Grids adicionales que puedan o no interoperar con TeraGrid.

21 Recursos, Servicios y Sites. –TeraGrid esta siendo construido como una infraestructura persistente donde los recursos de sus sitios individuales son manejados de manera autónoma. –En estos sitios ciertos servicios fundamentales del Grid son prioritarios a las capacidades de los usuarios, esto tiene gran implicación en la expansión de TeraGrid

22 Distributed Terascale Facility (DTF) TeraGrid SDSC: Data Intensive IA64 IA32 IA64 4 TF IA-64 220 TB Storage Sun Server Nodos Visualización 1 TF IA-64 20 TB Almacenamiento 0.4 TF IA-64 IA-32 Datawulf 80 TB Storage LA Switch/Router Chicago Switch/Router IA32 Servidor de almacenamiento Almacenamiento en disco Cluster Cluster de cluster LEGENDA IA64 40 Gb/s 30 Gb/s NCSA: Compute Intensive IA64 6 TF IA-64 120 TB Storage 30 Gb/s Enfoque en la homogeneidad: Linux, Globus Toolkit, Itanium2

23 Proposed Extensible TeraGrid Facility NCSA: Compute-IntensiveSDSC: Data-IntensivePSC: Compute-Intensive IA64 Pwr4 EV68 IA32 EV7 IA64 Sun 10 TF IA-64 128 large memory nodes 230 TB Storage 4 TF IA-64 DB2, Oracle Servers 500 TB Disk Storage 6 PB Tape Storage 1.1 TF Power4 6 TF EV68 71 TB Storage 0.3 TF EV7 shared-memory 150 TB Storage Server 1.25 TF IA-64 96 Visualization nodes 20 TB Storage 0.4 TF IA-64 IA32 Datawulf 80 TB Storage Extensible Backplane Network LA Hub Chicago Hub IA32 Storage Server Disk Storage Cluster Shared Memory Visualization Cluster LEGEND 30 Gb/s IA64 30 Gb/s Sun ANL: VisualizationCaltech: Data collection analysis 40 Gb/s Backplane Router PSC integrated Q3 03

24 TeraGrid Application Targets Multiples clases de soporte de usuarios –Each with differing implementation complexity Minimal change from current practice New models, software, and applications Usage exemplars –“Traditional” supercomputing made simpler Remote access to data archives and computers –Distributed data archive access and correlation –Remote rendering and visualization –Remote sensor and instrument coupling Partnerships with GriPhyN, iVDGL, PPDG, EU DataGrid, NEESgrid, others

25 Building a Grid Resources implement standard Grid interfaces and protocols to enable secure remote access –Discovery, characterization, access, accounting, etc. –Leverage GGF and NSF Middleware Initiative, etc. Resources also implement standard runtime environments to enable application portability –For various resource functions: compute, data, etc., etc. –Exploit site homogeneities when possible Sites collaborate on distributed operations to enable use of TeraGrid as a facility –Problem determination, support

26 Servicios Capa de ServicioFuncionalidadImplementación TeraGrid Servicios avanzados GridAgendas, recurso de descubrimiento de servicios, repositorios, etc. SRB, MIPCH-G2, cuentas distribuidas, etc. Servicios centralesServicio de información de TeraGrid, movimiento de datos avanzados, monitoreo, etc. GASS, MDS, Condor-G, NWS Servicios BásicosAutentificación y acceso, alojamiento de recursos, información sobre recursos, cuentas. GSI-SSH, GRAM, Condor, GridFTP, GRIS

27 TeraGrid Runtime Environment User User Proxy GlobusCredential Site 1 Kerberos GRAM Process GSI Ticket Site 2 Public Key GRAM GSI Certificate Process Authenticated interprocess communication CREDENTIAL Mutual user-resource authentication Mapping to local ids Assignment of credentials to “user proxies” Single sign-on via “grid-id”

28 Ejemplos de servicios de aplicación ServicioObjetivo Basic Batch Runtime Supports running static-linked binaries Advanced Batch Runtime Supports running dynamic-linked binaries Scripted Batch Runtime Supports scripting (including compile) On-Demand / Interactive Runtime Supports interxactive applications On-Demand / Interactive Runtime Supports interactive applications Large-Data Supports very large data sets, data prestaging, File-Based Archive Supports GridFTP interface to data services

29 Ejemplo de definición de un servicio específico EspecificaciónBasic Batch Runtime ObjetivoSoportar la ejecución de los binarios compilado Política1 usuario por nodo dedicado durante la ejecución, nodos asequibles por login, binarios estáticos enlazados, atributos y valores publicados en MDS (usando esquemas parecidos a XML). SoftwareQuery de valores HardwareQuery de valores Software y LibsMPICH-G I/OEspacio local, Home, Global, Nodo de comunicación, Streaming, GridFTP. Comandos de Sistema y utilidades Path, min set (. e.j. tar, gzip, gsi-scp, gsi-ssh, etc)

30 Grids – Teragrid Middleware NSF- NMI 8va versión. –Incluye un extenso y diverso conjunto de tecnologías para construir cyber-estructuras avanzadas. Componentes – Software, –Servicios en línea. –Esquemas de directorios. –Convenciones y buenas prácticas. –Documentos de arquitectura. –Políticas. Estos componentes están siendo desarrollados por tres equipos integradores de sistemas financiados por NMI: –NMI-EDIT –GRIDS-CENTER –OGCE

31 OGCE: The Open Grid Computing Enviroments desarrolla e integra portales Grid con herramientas y servicios orientados a soportar el ingreso de científicos al Grid. OGCE posee varios proyectos centrales: –Indiana University Extreme: Herramientas de portales y ambientes de prueba. –Sakai: En la Universidad de Michigan se desarrollan servicios de herramientas de colaboración. –The Java COG kit: Provee una capa de abstracción independiente del grupo de herramientas del usuario para el desarrollo de clientes. –GridPort, Tupelo, etc. Grids – Teragrid Middleware

32 NMI-EDIT: Es un grupo de software que actualmente consta de 14 programas de carácter técnico, entre los cuales destaca Certificate Profile Maker (CPM) 1.1.Certificate Profile Maker (CPM) 1.1 GRIDS center: Es otro grupo desarrollador de software para el grid, desarrolla servicios básicos y un suite de sw del centro que incluye los siguientes programas: –Globus Toolkit 4.0.1 –Condor 6.7.12 –APST 2.3.2 –STORM+DataCutter 3.2.1 –GridPort 3.5 –GSI OpenSSH 3.5 –Inca 0.10.3 –KX.509/KCA 20031111 –Network Weather Service 2.13 –MPICH-G2 1.2.6 –MyProxy 3.2 –Ninf-G 2.4.0 –GridSolve 0.12 –PyGlobus 1.0.14 –SRB Client 3.3.1 and 3.2+patches –UberFTP 1.17 Grids – Teragrid Middleware

33 Índice La necesidad de una infraestructura científica distribuida. NSF TeraGrid – Estructura Física. – software del Grid y modelo de servicios. TeraGrid y la comunidad – Consumidores de recursos: aplicaciones científicas – Proveedores de recursos: nuevos portales Portales y la red –NCSA, SDSC, Caltech, ANL, PSC; TeraGrid backplane

34 Community Access to TeraGrid TeraGrid resources to be allocated via a modified NRAC process –In addition, each site has some discretionary time Strong interest in nontraditional application modalities –May include linkages to other Grid infrastructures, such as International Virtual Data Grid Laboratory (iVDGL) Application development can proceed via Grid interfaces, or via higher-level tools –E.g., GriPhyN Virtual Data Toolkit, MPICH-G2 wide area MPI, …

35 Integrating New Resource: Principles TeraGrid is designed for extension –Focus on integrating “resources” not “sites” –Provide clear specifications for what a resource must do in order to participate –Adding resources will require significant, but not unreasonable, effort –Exploit homogeneity when possible Synergy: whole is more than sum of the parts –New resources should add new capabilities, enable new communities, and/or enhance existing capabilities

36 Integrating New Resource: Details Support key protocols, interfaces, and behaviors on the new resource(s) –(To be) documented in TeraGrid specifications –Supported by standard implementations: NMI, etc. Integrate with TeraGrid backplane –Virtual machine room network, not traffic transit network Contribute to TeraGrid resource pool –Involves TeraGrid service level agreements Participate in TeraGrid operational structure –Site lead + POCs for Grid, net, resource, user services Engage in early application experiments to debug and refine infrastructure

37 Grids – Teragrid Backplane

38 Standards  Cyberinfrastructure Runtime File-based Data Service Collection-based Data Service Visualization Services Interactive Collection-Analysis ServiceInteractive Development IA-64 Linux Clusters Alpha Clusters IA-32 Linux Clusters Visualization Services Data/InformationComputeAnalysis Relational dBase Data Service Certificate Authority Grid Info Svces If done openly and well… other IA-64 cluster sites will adopt TeraGrid service specifications, increasing users’ leverage in writing to the specification others will adopt the framework for developing similar services on different architectures

39 Mayor información “The TeraGrid: A Primer” –Accessible at www.teragri d.org

40 Conclusiones Las Tecnologías Grid Suponen una Importante Oportunidad para la Modernización de los Sistemas de Acceso y Proceso de la Información. El Entorno Grid Permitirá el Desarrollo de Nuevas Soluciones que Puede Aprovechar la Comunidad Científica y las Empresas Tecnológicas del Área. El Despliegue de Tecnologías Grid Supone una Acción Estratégica como lo Demuestra la Gran Dedicación de Recursos Públicos y Privados