Agenda  Introducción  Relevamientos de tecnologías Objetivos de la fase de relevamiento de tecnologías Principales tecnologías disponibles -OpenMosix, OpenSSI, Kerrighed -Condor -Sun Grid Engine -TORQUE -Maui -Ganglia Tecnologías elegidas  Interfaz de acceso y administración  Conclusiones y trabajos a futuros  Preguntas

Objetivos de la fase de relevamiento de tecnologías  Investigar las herramientas disponibles para: Administración y ejecución de programas paralelos y distribuidos. Monitoreo de la utilización de los recursos físicos en un cluster de computadores, e.g.: -Tráfico de datos en la red. -Uso de memoria RAM de cada nodo.  Evaluar las características y las prestaciones de cada una de las herramientas.  Seleccionar un conjunto de estas herramientas que mejor de adecue al proyecto.

OpenMosix, OpenSSI, Kerrighed  Single System Image (SSI) a nivel del núcleo del sistema operativo.  Recurso computacional unificado, completa transparencia para el usuario desarrollador en su gestión de recursos.  No es necesario utilizar MPI ni PVM para beneficiarse del paralelismo.  Es posible migrar procesos de un nodo a otro.  Desventajas: Desempeño por debajo de MPI y PVM. Modelo de desarrollo difícil de mantener y migrar a nuevas versiones del núcleo. No se ajusta a las aplicaciones ya desarrolladas utilizando MPI o PVM.

Condor  Software para la gestión de recursos distribuidos desarrollado por la Universidad de Wisconsin.  Específico para High-Throughput Computing (HTC).  Especial enfoque en la robustez y tolerancia a fallas del cluster, e.g.: puntos de recuperación y migración de procesos.  Brinda funcionalidades para el “robo” de ciclos de computo no utilizados.  Brinda una interfaz de programación en C que cumple con el estándar DRMAA 1.0.  Desventajas: Limitado soporte para bibliotecas de programación paralela. Si bien puede adaptarse no parece ser la herramienta ideal para la problemática planteada.

Sun Grid Engine (SGE)  Software para la gestión de recursos distribuidos conocido anteriormente como CODINE desarrollado por Sun Microsystems.  Soporte para bibliotecas de programación paralela como MPI y PVM.  Brinda interfaces de programación en C y Java que cumplen con el estándar DRMAA 1.0.  Sun Microsystems ofrece también una versión comercial de SGE llamada N1 Grid Engine.  Desventajas: De difícil adaptación o modificación de su funcionamiento debido a su gran tamaño y diseño monolítico.

TORQUE  Software para la gestión de recursos distribuidos desarrollado por Cluster Resources.  Soporte para bibliotecas de programación paralela como MPI y PVM.  Brinda una interfaz de programación en C que cumple con el estándar DRMAA 1.0.  Brinda una interfaz de comunicación para la utilización de un despachador de trabajos externo.  Es un software modular de mediano porte.  Desventajas: No ofrece funcionalidades de ”robo” de ciclos de procesador. El soporte para PVM es limitado.

Maui  Software para el despacho de trabajos desarrollado por Cluster Resources.  Brinda una interfaz de comunicación con TORQUE.  Brinda una interfaz de comunicación con Gold.  Ofrece servicios avanzados de despachamiento de trabajos, e.g.: preemption, backfill, fairshare, etc.  Maui consume muy pocos recursos de hardware: en clusters de hasta 10 TeraFLOPs basta con entre 20 a 50 MB de RAM.  Cluster Resources ofrece una versión comercial de Maui llamada Moab.

Ganglia  Ganglia es un sistema de monitoreo escalable y distribuido para sistemas de alto desempeño como clusters de computadores o grids.  Se encuentra disponible para una amplia cantidad de sistemas operativos: Linux, BSD, Solaris, Windows, Darwin, etc.  Posee especial énfasis en consumir el mínimo de recursos posibles por nodo y brindar un máximo de concurrencia.  Brinda una interfaz de usuario web implementada en PHP.  Configuración muy simple.  Desventajas: No posee un sistema de alertas ni eventos.

Tecnologías elegidas (1) TORQUE y Maui  TORQUE como gestor de recursos distribuidos y Maui como despachador de trabajos.  Razones: TORQUE Brinda DRMAA 1.0 en C. Soporte para MPI y PVM. Tanto TORQUE como Maui requieren pocos recursos de hardware para su ejecución. TORQUE es un derivado de PBS por lo que cuenta con un código base muy estable y sólido. PBS fue desarrollado a mediados los años '90 para manejar recursos de computo en la NASA.

Tecnologías elegidas (2) TORQUE y Maui  Carencias: No provee funcionalidades para el “robo” de ciclos de procesador. No provee funcionalidades para la migración de procesos de forma independiente. -Requiere que estas funcionalidades sean provistas por el sistema operativo.  Estas carencias no son un problema importante ya que el cluster cuenta con nodos dedicados.

Tecnologías elegidas (3)  Para el monitoreo de recursos del sistema se eligió utilizar Ganglia. Facilidad de uso. Énfasis en consumir el mínimo de recursos posibles por nodo. Ya se estaba siendo utilizado por el CeCal. Facilidad para su integración con Fenton. Otras alternativas más avanzadas: Zenoss, Zabbix, Pandora FMS, Nagios.  Otras tecnologías: Apache. PHP. PostgreSQL.