Técnicas de Comunicación Colectiva sobre QsNet Salvador Coll Francisco J. Mora (DSD), José Duato (GAP) Fabrizio Petrini, Eitan Frachtenberg (LANL) Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas Última Actualización 02/12/2018

Motivación ASCI: Accelerated Strategic Computing Initiative ( ahora Advanced Simulation and Computing Program) LLNL,SNL,LANL Empleo de tecnologías estándar en computación de altas prestaciones Creciente empleo de los clusters como plataformas de computación de altas prestaciones (7 en Top10) QsNet (red de interconexión de Quadrics) es empleada en 4 de los 7 clusters entre los Top10 Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

QsNet Proporciona una abstracción de memoria virtual compartida y distribuida Basada en dos bloques NIC: Elan Elan3, 64-bit, 66 MHz PCI bus (QsNetI) Elan4, 64-bit, 133MHz PCI-X bus (QsNetII) Switch crossbar (16x8): Elite Elite3, 35ns (QsNetI) Elite4, 21ns (QsNetII) QsNetI: 320MB/s, 2.5μs* QsNetII: 900MB/s, 1.7μs* *Escritura de 8 bytes, 4000 nodos, 50m cable Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Trabajos desarrollados QsNet Redes Multirail Asignación dinámica de rails Evaluación de prestaciones de diferentes patrones de comunicación 2001 2002 Entrada/Salida Evaluación de prestaciones Posicionamiento de los nodos de E/S 2003 Ultimos años: evaluación de prestaciones de QsNet Esto permite identificar las limitaciones más importantes: tráfico bidireccional, broadcast en presencia de fallos (nodos no consecutivos) Multirail: aborda dos problemas, el tráfico bidireccional (80% del ancho de banda del unidireccional debido al chipset PCI); conflictos en el nodo destino al emplear división de mensajes largos entre varios rails Entrada/salida: análisis del tráfico de E/S, posición de los nodos de E/S, uso de nodos de E/S dedicados o compartidos, impacto del tráfico de fondo Comunicación Colectiva Desarrollo de nuevas técnicas de comunicación colectiva 2004 Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Topología: Fat-tree Escalabilidad Tolerancia a fallos Conectividad uniforme Soporte para operaciones colectivas Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Comunicación Colectiva. Mecanismo HW Ejemplo para 16 nodos 6μs para sincronizar 1024 nodos Estas excelentes prestaciones son un factor clave para: Obtener buen rendimiento de las aplicaciones científicas [Petrini et al. SC’03] Mejorar las operaciones de gestión de recursos [Frachtenberg et al. SC’02] Sincronización de 1024 nodos: 6us (LLNL) Broadcast: aproximadamente el ancho de banda de unicast para redes de hasta 64 nodos (140MB/s medidos sobre 1024 nodos) 1) Algunas aplicaciones científicas pasan una considerable parte de su tiempo de ejecución realizando comunicación colectiva (en algunos casos hasta el 70% del tiempo) SAGE dedica el 50% de su tiempo (4096 nodos) para hacer reducciones totales (allreduce) 2) Gestión de recursos: ej. Planificación de un trabajo 2 órdenes de magnitud más rápido que los mejores resultados publicados previamente BLOQUEO Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Comunicación Colectiva. Limitaciones Limitado al caso en que los nodos destino son consecutivos. En caso contrario se usa un árbol basado en mensajes punto a punto. Barrera 2 veces más lenta y broadcast 8 veces más lento en un sistema con 32 nodos. Tolerancia a fallos, fragmentación por planificación de trabajos Impacto en los mecanismos de gestión de recursos y en el rendimiento de las aplicaciones Solución: árboles basados en mensajes multicast (HW) Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Árboles de Multicast HW EJEMPLO: Fuente: 0 Destinos: [2,4],[6,9],[11,15] Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Árboles de Multicast HW. Problemas Múltiples multicasts en paralelo pueden producir bloqueo La red serializa todos lo multicasts a través del “árbol de broadcast” Cálculo del árbol óptimo, en términos de latencia Algoritmo de backtracking: complejidad exponencial, problema NP-Completo Algoritmo voraz: complejidad proporcional a la profundidad del árbol Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Árboles de Multicast HW. Resultados Árboles multicast óptimos 2 pasos para grandes sistemas con menos del 0.8% fallos 4 pasos en el caso peor (hasta 4096 nodos, 10% fallos) Comportamiento del algoritmo voraz Obtiene el árbol óptimo en el 99% de los casos (16..4096 nodos, 0.1%..10% fallos) 100% con menos del 1% de fallos Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Árboles de Multicast HW. Resultados Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Árboles de Multicast HW. Resultados Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Árboles de Multicast HW. Resultados Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas

Conclusiones Se ha desarrollado un nuevo mecanismo denominado Árboles Multicast con Soporte Hardware Soluciones óptimas pueden ser calculadas con un algoritmo voraz Cualquier caso práctico requiere solo 2 pasos En una red con 32 nodos, se reduce a la mitad la latencia de la barrera y se duplica el ancho de banda del broadcast Los Árboles Multicast con Soporte Hardware son una alternativa escalable y tolerante a fallos Jornada de Arquitecturas para el Cálculo y Comunicaciones Avanzadas