Centro Comunicaciones CSIC RedIRIS. Spanish NREN Grupo de Sistemas Distribuidos y Seguridad Dpto. de Arquitectura de Computadores UCM Lab. Computación.

Presentación del tema: "Centro Comunicaciones CSIC RedIRIS. Spanish NREN Grupo de Sistemas Distribuidos y Seguridad Dpto. de Arquitectura de Computadores UCM Lab. Computación."— Transcripción de la presentación:

1 Centro Comunicaciones CSIC RedIRIS. Spanish NREN Grupo de Sistemas Distribuidos y Seguridad Dpto. de Arquitectura de Computadores UCM Lab. Computación Avanzada Centro de Astrobiología CSIC – INTA Impacto del ancho de banda en la planificación dinámica de tareas en Grids computacionales Jornadas Técnicas 2003 Antonio Fuentes Eduardo Huedo Rubén Santiago Montero Ignacio Martín Llorente

2 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente Contenido Pasos de Planificación Características de un Grid GridWay Selección de Recursos Ejecución de Trabajos Ejecución Adaptativa Asignación de Rango Resultados Conlcusiones y Trabajo Futuro

3 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente Pasos de Planificación Job termination¿Cómo recupero la salida? Job migration¿Existe un recurso mejor? Job monitoring¿Cómo va la ejecución? Job submission¿Cómo envío mi trabajo? Resource preparation¿Qué necesito? Resource selection¿Dónde ejecuto mi trabajo? Pasos de Planificación Globus Toolkit Permite el envío seguro de aplicaciones entre múltiples dominios con sus propias políticas y gestores de recursos. Gestión de Recursos (GRAM) Gestión de Datos (GridFTP & Replica Catalog) Infraestructura de Seguridad (GSI) Servicios de Información (MDS)

4 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente Características de un Grid Alta Tasa de Fallos Red Recurso Grid Grid Un trabajo debe migrar entre los recursos de un Grid para obtener un nivel suficiente de rendimiento y tolerancia a fallos. Precio Dinámico de Recursos Hora del día (horas laborables/ no laborables) Carga del recurso Carga Dinámica de Recursos y Red Recursos compartidos Recursos ociosos pueden saturarse Disponibilidad Dinámica de Recursos Cancelación de trabajos Adición y exclusión de recursos

5 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente GridWay Framework Directrices de Diseño Fácilmente Adaptable (diseño modular) Fácilmente Escalable (arquitectura descentralizada) Fácilmente Desplegable (usuario, servicios estándar) Fácilmente Aplicable (conjunto amplio de aplicaciones) Objetivo: Objetivo: Ejecución fácil y eficiente en Grids heterogénos y dinámicos (submit & forget) Grid GridWay

6 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente GridWay: Selección de Recursos Requisitos S.O. Arquitectura… Descubrimiento GIIS GRIS GRISMonitorización Búsqueda LDAPConsultas LDAPGRIS Monitoring and Discovery Service Asignació n de Rango Expresión de Rango Auto-Adaptación Modificables por la aplicación en ejecución  Auto-Adaptación Modelo de Rendimiento Modelo de Rendimiento Ancho de Banda Ancho de Banda de la Red Métricas Específicas Métricas Específicas de la aplicación Modelo de Rendimiento Modelo de Rendimiento Ancho de Banda Ancho de Banda de la Red Métricas Específicas Métricas Específicas de la aplicación Lista Ordenada de Recursos PLANIFICADOR Perfil de Rendimiento I/O Tiempo/iter. … Aplicación capaz de adaptarse: PreferenciasPreferencias Disponibilidad, Rendimiento y Características de los recursosDisponibilidad, Rendimiento y Características de los recursos Aplicación capaz de adaptarse: PreferenciasPreferencias Disponibilidad, Rendimiento y Características de los recursosDisponibilidad, Rendimiento y Características de los recursos GRAM

7 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente Ejecución en tres pasos: Prolog, Wrapper, Epilog. Estrategias de Transferencia Transferencias Directas Uso de GASS-cache (PSA´s) Compresión de Datos Gestión de Replicas y transferencias entre 3 os Ventajas frente a la ejecución en una tarea Sistemas cerrados Mejor Ajuste de los Parámetros RSL (maxtime) Planificación separada de transferencias y ejecuciones Fácil Implementación de migración de una tarea GridWay: Ejecución de Trabajos

8 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente Re-Planificación Dinámica de Trabajos cuando… Periódicamente para descubrir mejores recursos (Migración Oportunista) Se produce un fallo de red o del recurso Se cancela un trabajo Un trabajo permanece suspendido demasiado tiempo Se detecta una degradación del rendimiento auto-migración La aplicación cambia su perfil de requisitos (auto-migración) Grid Aplicación GridWay: Ejecución Adaptativa Nuevo Antiguo Cliente 3 4 2 Prolog Epilog Wrapper 1 cancelación

9 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente Rango equivale al tiempo de ejecución (wall-time) Rango = T exe (h n,t n ) = T cpu (h n,t n ) + T xfr (h n,t n ) Tiempo de CPU estimado: Trabajo realizado por la aplicación hasta el momento Trabajo pendiente de realizar Rendimiento dinámico Rendimiento dinámico del recurso Tiempo de Transferencia estimado: Tiempo de transferencia realizado Tiempo de transferencia restante con el cliente, servidor de ficheros y el recurso actual de ejecución Ancho de banda dinámico Ancho de banda dinámico de la red GridWay: Asignación de Rango

10 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente Resultados HostModeloVelocidadSOMemoria aristotelesPentium III1.4Ghz Linux 2.4 1G platonPentium III1.4Ghz1G heraclitoCeleron700Mhz256M Spanish NREN RedIRIS 100Mbit/s 2Gbit/s host S GIISIRISGridNS S UCM S SGIISDACYA-UCM S10Mbit/s 1Gbit/s NWS NameServer NWS Sensor NWS NameServer NWS SensorNS S HostModeloVelocidadSOMem. aquilaPentim III700Mhz Linux 2.4 128M cygnusPentium IV2.5Ghz512M cepheusPentium III600Mhz256M hydrusPentium IV2.5Ghz512M

11 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. LlorenteResultados 0 25 50Aquila Cygnus Cepheus Hydrus 0 110Aristoteles Cygnus Platon Hydrus Rank = T cpu Rank = T cpu + T xfer Carga de Trabajo Artificial con Tasa de Transferencia/Computo 0.01 Planificación de 4 tareas Mejora de hasta el 50% (107 segundos, 49 segundos) Tiempos incluyen la sobrecarga de Globus T cpu T xfer

12 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. LlorenteResultados Tiempo de Ejecución La migración a Aristoteles (el más rápido) es rentable hasta la 4ª iteración columba (más cercano ) es mejor que aristoteles (más rápido) La migración no es rentable RendimientoProximidad

13 Jornadas Técnicas de RedIrisA. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente Conclusiones y Trabajo Futuro Importancia de la proximidad de recursos en la planificación para reducir la transferencia de ficheros. ● Selección de Recursos ● Migración Oportunista ● Desarrollo de un selector de replicas (Globus Replica Catalog) ● Incorporar las consideraciones de proximidad a las replicas en la planificación.

14 MUCHAS GRACIAS POR SU ATENCIÓN