A Distributed Resource Management Architecture that Supports Advance Reservations and Co-Allocation Computación Distribuida de Altas Prestaciones Patxi.

Presentación del tema: "A Distributed Resource Management Architecture that Supports Advance Reservations and Co-Allocation Computación Distribuida de Altas Prestaciones Patxi."— Transcripción de la presentación:

1 A Distributed Resource Management Architecture that Supports Advance Reservations and Co-Allocation
Computación Distribuida de Altas Prestaciones Patxi Echarte 23/I/2006

2 Índice Introducción Globus Architecture for Reservation and Allocation (GARA) GARA Application Programming Interface (API) Implementación GARA Resultados

3 Introducción ¿Qué es un Grid?
Un GRID es un modelo de computación que permite obtener grandes capacidades de proceso a partir de la unión de diversos recursos repartidos geográficamente y conectados en red, formando un ordenador virtual, orientado a resolver problemas computacionales de grandes dimensiones. Un Grid intenta resolver el problema de coordinar la compartición de recursos y la resolución de problemas en organizaciones virtuales dinámicas y multi-institucionales.

4 Introducción ¿Qué es un Grid?

5 Introducción ¿Qué es un Grid?
Son necesarios mecanismos que nos permitan descubrir recursos disponibles así como realizar las reservas cuando sean requeridos. Las reservas pueden ser inmediatas, como asignaciones directas, o avanzadas, para casos con más requisitos de QoS.

6 Introducción Globus Alliance & Toolkit
Globus Alliance es una comunidad de organizaciones con el objetivo común de construir herramientas que permitan la creación de sistemas Grid. Team: University of Chicago, EPCC, University of Edimbourgh, National Center for Supercomputing Applications (NCSA), Northern Illinois University, Royal Institute of Technology, Sweden, University of Southern California Information Sciences Institute Consortium: HP, IBM, Intel, Sun, Nortel, Univa, Cisco Systems

7 Introducción Globus Alliance & Toolkit
Globus Toolkit es un conjunto de herramientas desarrolladas bajo licencia open source por la Globus Alliance, para permitir la creación de sistemas Grid. La versión 1.0 salió en 1998 y actualmente está disponible la 4.0 Open Source bajo licencia Apache Version 2.0 Es considerado el “estándar de facto” en la computación grid Algunas aplicaciones que lo utilizan: European Data Grid, Grid Physics Network, Particle Physics Data Grid, the Network for Earthquake Engineering and Simulation (NEES), FusionGrid, the Earth System Grid (ESG), the NSF Middleware Initiative, the National Virtual Observatory… Empresas desarrollando sobre él: Avaki, DataSynapse, Entropia, Fujitsu, Hewlett-Packard, IBM, NEC, Oracle, Platform, Sun and United Devices

8 Índice Introducción Globus Architecture for Reservation and Allocation (GARA) GARA Application Programming Interface (API) Implementación GARA Resultados

9 GARA Gestión de recursos en Globus
Servicios de información: mecanismos de consulta, descubrimiento automático y LDAP (tipos de recursos, arquitectura, estructura y estado actual). Varios tipos de agentes de co-asignación Gestores de recursos locales (Globus Resource Allocation Manager) No permite reservar recursos de forma anticipada ni disponer de tipos heterogéneos de recursos.

10 GARA Gestión de recursos en GARA
GARA extiende Globus en dos formas: Objetos de recursos genéricos: network flows, memory blocks, disk blocks, processes… Reservas Se divide la asignación en dos fases: Reserva Asignación Se permiten reservas inmediatas y avanzadas Globus Reservation Allocation Manager

11 GARA Agentes de Co-reserva/asignación
Agentes de Co-reserva: son uno de los ejes principales de GARA y existe una gran libertad a la hora de construir estos agentes, GARA especifica únicamente su funcionalidad. Ejemplo: análisis de datos y visualización de resultados Implica la reserva de superordenadores, almacenes de datos y elementos de red, mediante los GRAM correspondientes. Se le indica al agente qué datos hay que analizar y a continuación se solicita a otro agente que determine los requisitos computacionales y de red, para el análisis de los datos y su transmisión.

12 GARA Agentes de Co-reserva/asignación
El agente debe descubrir recursos de computación y de red que satisfagan los requisitos de QoS Globus: búsqueda exhaustiva y heurísticas. GARA: heurísticas de búsqueda eficientes basadas en reservas de recursos. Ejemplo: Localización para cada conjunto de datos de un superordenador capaz de proporcionar el QoS deseado y con privilegios de acceso a los datos. Reserva del superordenador y del enlace de red entre él y el usuario. Reserva del enlace de red entre el superordenador y los datos.

13 Índice Introducción Globus Architecture for Reservation and Allocation (GARA) GARA Application Programming Interface (API) Implementación GARA Resultados

14 GARA API Application Programming Interface

15 Índice Introducción Globus Architecture for Reservation and Allocation (GARA) GARA Application Programming Interface (API) Implementación GARA Resultados

16 Implementación de GARA
Estructura en capas de GARA GARA External Interface (GEI): autenticación y procesado de solicitudes, propagación de llamadas a procesos remotos y publicación de información de recursos. Local Resource Allocation Manager (LRAM): servicios básicos de acceso a objetos y reservas, interactuando con los componentes locales de gestión de recursos y servicios. Si el gestor de recursos locales soporta “reserva avanzada” LRAM le redirije directamente las solicitudes de recursos. En otro caso: Si el LRAM es el único gestor en contacto con el recurso puede utilizarse una tabla de slots En caso contrario únicamente pueden utilizarse reservas avanzadas probabilísticas

17 Implementación de GARA Timeslot table & manager
Se dispone de una librería para gestionar una tabla de timeslots asociada a un recurso: creación de tablas, creación y cancelación de reservas, consultas de estado de una reserva, y callbacks de monitorización

18 Implementación de GARA LRAM’s implementados
Se han implementado 3 tipos de LRAM SMP LRAM: ejecución paralela en un multiprocesador con memoria compartida, en el que hay un límite de procesos que pueden ser creados. DSRT LRAM: gestiona fracciones de tiempo de una CPU, utilizando DSRT (Dynamic Soft Real Time) para gestionar la planificación de tareas. IntServ LRAM: gestión de flujos de red y reservas de ancho de banda, con RVSP (Reservation Protocol) para asociar reservas y flujos.

19 Índice Introducción Globus Architecture for Reservation and Allocation (GARA) GARA Application Programming Interface (API) Implementación GARA Resultados

20 Interés en contestar a 3 preguntas:
Resultados Interés en contestar a 3 preguntas: Cuáles son los costes de los mecanismos de reserva y creación de objetos. Cómo son estos costes en comparación con los mecanismos nativos. Qué nos dicen estos datos acerca de la utilidad de los mecanismos de reserva.

21 Operaciones locales Operaciones remotas Resultados
El uso de GARA implica unos 11 msec adicionales para la comunicación en red y unos 100 msec para la autenticación. Los GRAM soportan entre 8 y 10 operaciones de reserva por segundo.

22 Resultados En entornos donde la seguridad es importante el coste de crear y luego cancelar un objeto es ligeramente superior al de crear y cancelar una reserva. De forma general mecanismos de búsqueda que creen y cancelen reservas serán al menos tan eficientes como esquemas basados en asignación inmediata. Las asignaciones inmediatas requieren una reserva previa pero podría crearse una llamada “crear reserva y objeto” Conviene reducir operaciones remotas y autenticaciones redundantes cuando se soliciten recursos de un mismo “dominio”