Integración de VOs y middleware para EGEE

Slides:



Advertisements
Presentaciones similares
A Distributed Resource Management Architecture that Supports Advance Reservations and Co-Allocation Computación Distribuida de Altas Prestaciones Patxi.
Advertisements

gLite Sistema de Información
Internet y tecnologías web
Servicios de Asignación y Planificación de Recursos Grid
Proceso Certificación y Manejo de Datos en EGEE Gonzalo Merino PIC/IFAE XVIII Grupos de Trabajo de RedIRIS Sesión: EGEE-IrisGRID Toledo 25-Oct
Infraestructuras de Accounting en EGEE. sumario presentación Descripción general del CESGA Cálculo INTENSIVO Almacenamiento Accounting en el Cesga Accounting.
information technology service
Aplicación de la tecnología Grid: Portal de recursos de supercomputación José Ruedas Sánchez Instituto de Astrofísica de Andalucía Consejo Superior de.
Proyecto e-CA: Organización Virtual y Testbed Susana Sánchez Expósito José Ruedas Sánchez II Reunión de e-Ciencia Andaluza 16-17, Octubre 2008.
Sistema de producción de datos de ATLAS Julio Lozano Bahilo Universidad de Granada.
Bases de datos distribuidas
Arquitectura Orientada a Servicios (SOA)
Topologías de SharePoint
Tecnologías Cliente / Servidor Capitulo III Richard Jiménez V. clienteserver.wordpress.com.
RODRIGO DANIEL GUAYAQUIL LOOR JOSÉ LUIS SILVA PALMA
Entornos virtuales de aprendizajes
Términos Básicos y Conceptos
Microsoft Search Server 2008 Express Edition. Servicios de búsqueda federativos Rubén Alonso Cebrían
Condor.
Ingeniería del Software
Seguridad y Uso de Certificados Digitales en GRID
Bioinformática FJS.
Universidad de La Coruña Escuela Universitaria Politécnica Control de Procesos por Computador Diego Cabaleiro 24 de Noviembre 2009.
Una herramienta única para administrar proyectos con
CONCEPTOS DE NUEVOS SISTEMAS 1. Un sistema de manejo de información 1. Un sistema de manejo de información Desde la perspectiva del usuario final todas.
1 Análisis Distribuido & User Support Farida Fassi IFIC (Instituto de Física Corpuscular) CSIC-Universitat de València III REUNIÓN ATLAS TIER-2 Federado,
Aplicación Web para Informes de Asignaturas de Trabajo en Grupo
UNIDAD 3: “Desarrollo Orientado a Objetos con UML”
Grids. Cluster High-availability (HA) Clusters (Linux HA) Load-balancing Clusters (Platform LSF HPC, Sun Grid En gine, Moab Cluster Suite and Maui Cluster.
Sistema Organizador de Invitaciones, Eventos y Memos basado en una aplicación Cliente – Servidor SOIEM TESIS DE GRADO FIEC – ESPOL 2007 Christian Vulgarin.
Valencia, 8 de noviembre de 2005 Sistemas de Información Hospitalarios Pere Crespo Carlos Angulo Grupo Informática.
Introducción a los Sistemas Operativos
Un sistema de gestión de bases de datos: Es un conjunto de programas que permite a los usuarios crear y mantener una base de datos. Por tanto, el SGBD.
Ing. Cristhian Quezada Asenjo
Integración CORBA/OODB - Discusión Una Nueva Arquitectura para la Integración de CORBA y OODB Helios Alonso - Luis Pandolfi - Pablo Rodríguez Bocca Universidad.
PLATAFORMA DE GESTIÓN Y AUTOMATIZACIÓN MULTISERVICIO “La mejor ayuda para gestionar sus servicios”
Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID” J. Salt Grupo de GRID Computing del IFIC IFCA, Santander; de Junio.
ASOPROJECT Componentes del grupo: - Alberto Díaz Gil - Miguel Ángel Llorente Gracía - Javier E. Yépez Hualde.
Sistema de análisis distribuido de ATLAS (ADA) Farida Fassi / Mª Dolores Jordán IFIC.
Centro Comunicaciones CSIC RedIRIS. Spanish NREN Grupo de Sistemas Distribuidos y Seguridad Dpto. de Arquitectura de Computadores UCM Lab. Computación.
Formulación de Proyectos de Titulación
“condición que necesita el usuario para resolver un problema o conseguir un objetivo determinado”. Los requisitos de un sistema son los aspectos que el.
Términos y Conceptos Básicos
UNIVERSIDAD VALLE DEL MOMBOY
1 GESTIÓN DE UTILIZACIÓN DE REDES Noviembre 2013 Herramienta de Monitoreo Pandora FMS David González.
Unidad 2 – Gestión de Procesos
2: Capa Aplicación Capa Aplicación: P2P ELO322: Redes de Computadores Agustín J. González Este material está basado en:  Material de apoyo al texto Computer.
LIA. SUEI CHONG SOL, MCE..  1.- SOFTWARE BÁSICO O DE SISTEMA. Conjunto de programas imprescindibles para el funcionamiento del sistema.  2.- SOTWARE.
Federico Sebastian Trabajo Práctico Profesional.
Transmisión de Datos Multimedia
Tecnologías Cliente / Servidor
ARENA Case Study ISABEL RAMOS FUENTES OSCAR JAVIER MUÑOZ.
1 Aplica el Meta Modelo de Metodologías CREA (Conceptos, Roles, Entregables, Actividades) Optimización de Estructuras Organizativas para TI (OEOTI) Guía.
Introducción a EducaMadrid Francisca García Bernal.
Optimización de Estructuras Organizativas para TI (OEOTI)
ADMINISTRACIÓN DE REDES SIZING de Servidores.
Instituto Tecnológico Superior de Libres Organismo Publico Descentralizado del Gobierno del Estado de Puebla José Alejandro Leal González.
PkIRISGrid Una PKI para las actividades de e-ciencia proporcionadas por la red Espa ñ ola de I+D RedIRIS.
PROCESADOR.- El procesador es el cerebro del sistema, encargado de procesar toda la información. Básicamente, es el "cerebro" de la computadora. Prácticamente,
Presentación del Curso GESTIÓN DE LOS COSTOS Directora del Curso LUZ DARY CASTELLANOS.
Maestría en Gerencia en Tecnología de la Información Cátedra Ingeniería de Software Profesora: Mary Carmen Milano. Integrantes: Rosa Arellano Osbaldo Goitia.
18/02/2016Diego Alberto Rincón Yáñez, Pontificia Universidad Javeriana, 1.
Actualización del Superordenador Virtual Gallego Valencia, 12 Abril Carlos Fernández Sánchez Responsable Técnico de Sistemas
EGEE-III INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Architecture of the gLite Data Management.
EGEE-III INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks The gLite Information System Virginia Martín-Rubio.
Entorno de Recomendación para el Desarrollo de Objetos de Aprendizaje Manuel E. Prieto Universidad de Castilla-La Mancha, España Victor H. Menéndez Universidad.
ALICE GRID en México 19 de junio de 2007 Autores: Luciano Diaz, Lukas Nellen, Pedro Podesta Co-autores: Patricia Méndez, Kitzia Lubreras, Hans Reyes, Latchezar.
¿Cómo hacer uso de los recursos del cesga? José Ignacio López Cabido Subdirector Técnico
Information System Virginia Martín-Rubio Pascual
The gLite Information System
Transcripción de la presentación:

Integración de VOs y middleware para EGEE Álvaro Fernández Casaní Instituto de Física Corpuscular (CSIC/UV) Valencia

Grupos Trabajo Middleware IrisGrid Proyecto EGEE Orientado hacia un grid de producción a nivel europeo Soporte actual a aplicaciones de física, pero nuevas áreas como biomedicina y otras están siendo incluidas. En la región Sudoeste (España y Portugal) distribución de servicios de un ROC, entre ellos: Aportar recursos (Resource Centres) Servicios centrales (RB, II, BDII, RLS, VO) Soporte a usuarios, monitorización y accounting de recursos, inclusión de nuevos RC’s. Adición de Organizaciones Virtuales No hay financiación explicita para desarrollo de middleware, sólo reingeniería del mismo. Adaptación de mw desarrollado en otros proyectos (datagrid, lcg, alien). Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

1 - Organizaciones Virtuales en EGEE Organización virtual agrupa diferentes usuarios con intereses comunes en cuanto a computación. Parte imprescindible para la autorización de usuarios en los recursos que desean usar. Un RC da autorización a un número de VOs En la práctica puede requerir SLAs. Actualmente se sigue un modelo pull de autorización. Los recursos preguntan a un servidor central por los usuarios. Soporte en nuestra federación (España y Portugal): Creación de nuevas Vos para grupos que surgan en el contexto de EGEE Autorización: necesaria para acceder a recursos pero también a datos confidenciales Resource providers enforce local authorization Condicion 1 para un usuario es pertenecer a una VO En realidad deberia poderse pertenecer a muchas Vos con muchos roles, y su membecia a una Vo ser independiente unas de otras Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Creación y Gestión de VOS Creación de una VO: Requerimientos de EGEE VO manager Creacion de la VO Registrar interface Usuarios registrados Proceso de registro 1-Usuario se Registra en web interface 2- VO manager recibe notificacion 3- éste añade al usuario y se lo comunica Reg Users Auth Registrar Server REGISTRAR WEB SERVER EGEE VO Server VO1 EMAIL firmado HTTPS EMAIL firmado USUARIO VO MANAGER Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Arquitectura de autorización basada en LDAP VO1 VO Server CE LCMAPS UI (edg-gatekeeper) VO2 GSI LCAS Proxy X509 MK-gridmapfile VO Server N LDAP/S VO3 Globus: gridmapfile, autorizacion manejable para pocos usuarios en entorno de pruebas/demos, pero imposible para producion con muchos sites y usuarios. Necesaria automatización para testbed de produccion Grid-mapfile LDAP/S REGISTRAR WEB SERVER Auth Registrar Server Reg Users Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Futuros Servicios de Vos en EGEE La aproximación actual tiene varios problemas: Un usuario sólo puede pertenecer a una VO No se puede definir qué puede hacer cada usuario autorizado en los recursos. La BD local (gridmapfile) no escala para un entorno de prod. Con muchos usuarios. Actualizaciones via comandos ldap o scripts con interfaces poco amigables. VOMS soluciona estos problemas Extensiones a los proxys X.509 para identificar a que VO pertenece el usuario. Modelo de autorización por “agente”. Permite definir grupos y roles. Implica cambios en: El proxy contiene informacion agregada (compatible) de las VOs a las que pertenece Grid-mapfile desaparece para dar cabida a grupos/roles Sistema de Informacion debe soportar los nuevos esquemas No hay servidores LDAP, sino VOMS que son contactados por el usuario para comprobar la autorización y la VO/grupo/rol al que se pertenece en un momento dado. Cambios en LCAS local. Grupos, Roles y Capacidades Grupos: permiten dividir una VO y especializarla en grupos (Administrador, usuarios, etc). Se pueden representar como un DAG. Todos los miembros de una VO deben pertenecer a un grupo. Se puede pertenecer a mas de un grupo opcionalmente. Roles: un usuario puede tener varios roles que es capaz de elegir en funcion de sus necesidades, no es como los grupos que se especifican todos obligatoriamente. Capacidades: con cadenas que representan las capacidades para un usuario. Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Conclusiones sobre VOs EGEE da soporte a nuevos RCs y sus nuevas Vos. Servicios basados en globus con extensiones, actualmente LDAP y próximamente con VOMS Arquitectura de autorización deben seguir los esquemas planteados para estar en concordancia con EGEE. Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Grupos Trabajo Middleware IrisGrid 2 – Midleware para EGEE Actualmente se está utilizando middleware desarrollado en proyectos anteriores, entre ellos edg, lcg, alien. Orientado principalmente hacia aplicaciones HEP, secuenciales (batch) con mucho requerimiento de CPU. En EGEE más áreas de aplicación con requerimientos diferentes: aplicaciones paralelas mpi, interactivas, etcetera. En Eu-Crossgrid hemos desarrollado soporte para estas aplicaciones utilizando mw compatible de edg-datagrid (RB), con lo que es posible utilizarlo actualmente con pocas modificacione en el testbed de producción. Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Ejemplo: Arquitectura de gestion de recursos Resource Broker / SA Llamadas al API del MDS Para localizar recursos MDS: Grid Index Info Server UI PORTAL/RAS Llamadas al API del MDS Para localizar recursos SCHEDULING MDS: Grid Resource Info Server Llamadas al API Gram para pedir reserva del recurso Y creacion de procesos Preguntar el estado Actual del recurso Creacion de callbacks Para notificar cambios De estado GSI Local Resource Manager Creación de procesos Petición Job Manager Crear Control y Monitorización Gatekeeper (CE) Process Parse WN WN Process Storage Element (SE) RSL Library Process WN WN Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Principales componentes del RB/SA Resource Broker / SA Ejecución típica de pasos de scheduling para 1 trabajo por el Scheduling Agent: 1 - Recepción del trabajo Resource Searcher: 2 - Búsqueda de recursos 3 – Planificación y Prioridades 4 – Reserva Temporal Aplication Launcher: 5 - Envío del trabajo 6 - Monitorización 7 - Finalización RS MDS/RGMA AL Resource Management Condor-G Gatekeeper (CE) Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Soporte para aplicaciones mpi Soporte para aplicaciones mpi (intracluster) y mpich-g2 (intercluster) Desarrollo de sistema de selección de múltiples recursos (set-matching), para asignar un trabajo a un grupo de recursos (mpich-g2). Lanzador de aplicaciones: Aplicaciones mpich-p4 son lanzadas directamente a través de condor-g. Lanzador específico de mpich-g2, divide en subtrabajos que pueden ser lanzados individualmente Basado en Resource Broker de edg, utiliza Condor-G para lanzamiento de trabajos. Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Aplicaciones interactivas y DAGS, con prioridades Basado en condor Bypass, establece un canal de comunicación entre el UI y el WN Wrapper sobre las aplicaciones que realizan los pasos necesarios Soporte para aplicaciones interactivas secuenciales, y paralelas mpich-p4 y mpich-g2. Soporte para aplicaciones descomponibles y modelables por DAGS. Prioridades soportadas con condor Glide-in Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Conclusiones sobre el Middleware Resource Broker con nuevo soporte a aplicaciones batch e paralelas, interactivas, y DAGs Utilizado en producción en Eu-Crossgrid. Debido a la compatibilidad con las soluciones de LCG y EGEE podemos pensar incluir nuestros desarrollos en producción a nivel europeo. En EGEE Se están portando las soluciones existentes a basadas en Web Services. Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid