Arquitecturas Paralelas

Presentación del tema: "Arquitecturas Paralelas"— Transcripción de la presentación:

1 Arquitecturas Paralelas
IF - EHU 6. La red de comunicación de los computadores paralelos. Comunicación mediante paso de mensajes. - Introducción - Redes basadas en conmutadores - Redes basadas en encaminadores - Estrategias de comunicación - Conflictos en la comunicación

2 Introducción  Los sistemas paralelos necesitan un soporte robusto para la comunicación de procesos, sea para acceder a memoria compartida (centralizada, SMP, o distribuida, DSM), o sea para transportar mensajes entre procesos (MPP). Aunque la red de comunicación es, en teoría, independiente del modelo, se utilizan redes adaptadas a cada modelo.

3 Introducción  Los multiprocesadores SMP suelen utilizar un bus para acceder a memoria. M P C bus La latencia de los accesos es inde-pendiente de la posición de memoria a la que se accede: todos los datos están a la misma “distancia” (UMA).  Aunque el bus es una red sencilla y fácil de gestionar, tiene problemas de escalabilidad: - no admite más que una comunicación simultánea. - se satura cuando crece el número de procesadores.

4 Introducción  Para poder conectar muchos procesadores hay que distribuir la memoria (aunque tal vez sea compartida: DSM). Hace falta otro tipo de red de comunicación. P C M red general R  La latencia de los accesos a memoria o de los mensajes no es constante: la comunicación con los procesadores más cercanos será más rápida. El comportamiento de la red de comunicación es muy importante para minimizar las latencias.

5  Algunas características deseables en las redes de comunicación:
Introducción  Algunas características deseables en las redes de comunicación:  que la latencia de las comunicaciones sea baja.  que se permitan muchas comunicaciones simultáneas (es decir, tener un alto throughput).  que pueda seguir en funcionamiento aunque existan fallos (averías) en la red.  que sea fácil de construir y ampliar, y que existan algoritmos simples para encontrar los caminos.

6 Introducción  La infraestructura de comunicación tiene dos partes:
- el hardware conexiones, conmutadores, encaminadores de mensajes, interfaces con los procesadores. - el software protocolos de comunicación.

7 Introducción: topología
 La topología representa la forma de la red; es decir, especifica las conexiones entre procesa-dores por medio de un grafo.  Componentes del grafo: - nodos: procesadores, o dispositivos especiales para la gestión de mensajes. - arcos: conexiones entre nodos.

8 Introducción: topología
 Características topológicas principales:  Complejidad - Grado: número de conexiones de los nodos. Si es idéntico en todos, la red es regular. - Simetría: misma visión de la red desde todos los nodos. - Escalabilidad: facilidad de ampliación.  Fiabilidad - Tolerancia a fallos. - Conectividad de arcos y nodos: componentes que hay que eliminar para obtener un grafo no conexo.

9 Introducción: topología
 Características topológicas principales:  Tráfico - Bisección: conexiones que hay que eliminar para dividir el grafo en dos partes iguales.  Distancias (latencia) - Distancia media: d = Σ dij / P(P-1) - Diámetro: distancia máxima entre dos nodos.

10 Introducción: clasificación
 Dos tipos de redes: 1. Dinámicas - redes de conmutadores - para sistemas SMP (no sólo) - provienen de la red telefónica 2. Estáticas - encaminadores de mensajes (routers) - para sistemas MPP

11 Redes con conmutadores
 Conmutador: dispositivo que conecta varias entradas y salidas. grado k=2 1 E0 E1 S0 señales de control S1 E0 → S0, S1 E1 → S0, S1 E0 → S0 E1 → S1 E0 → S1 E1 → S0

12 Redes con conmutadores
1. Red Crossbar: todos conectados con todos. Cada conmutador conecta una fila y una columna. El coste puede ser muy alto: O(P2)

13 Redes con conmutadores
2. Redes multietapa Los conmutadores se organizan en varias etapas, y las conexiones entre distintas etapas se hacen por medio de una “permutación”. una permutación proc. P0 Pp-1 (o mem.)

14 Redes Omega  Ejemplo: red Omega
Conexiones entre conmutadores: barajado perfecto (perfect shuffle). logk P etapas P/k conmutadores por etapa → en total P/k × logk P conm. 2 4 6 1 3 5 7 1 2 3 5 6 7 4 Barajado perfecto: [0, 1, 2, ..., P-1] → [0, P/2, 1, P/2+1, ..., P/2-1, P-1] Rotación de un bit: 4 (100) → 1 (001) 5 (101) → 3 (011)

15 Redes Omega  Red Omega Diámetro: logk P Distancia med.: logk P
2 4 6 1 3 5 7 Diámetro: logk P Distancia med.: logk P Simétrica (regular) Grado: 2, 4... (k) Tolerancia a fallos: baja

16  Encaminamiento en la red Omega (routing)
Redes Omega  Encaminamiento en la red Omega (routing) ¿Cómo se escoge el camino para ir de i a j? 1 Bits de la dirección destino 0: salida 0 / 1: salida 1 → 6 (110) 2 4 6 1 3 5 7 1 2 Registro de encaminamiento: i xor j 0: seguir / 1: cruzar RE = 100 xor 110 = 010

17 Redes Omega  Conflictos de salida
La red Omega admite P comunicaciones simultáneas, pero no cualesquiera (red bloqueante). 0 → 1 y 6 → 0? - anular - utilizar búferes - dividir en dos 2 4 6 1 3 5 7 Núm. de permutaciones: P! Se pueden hacer: 2 P/2 log P = P P/2 P=8 → 10%; P=16 → 0,02%

18 Redes Omega  Broadcast De uno a todos los procesadores 1 2 3 4 5 6 7
2 4 6 1 3 5 7 BC BC BC

19 Red Butterfly  Otro ejemplo: red Butterfly

20 Resumen bus Omega Crossbar Latencia constante O(logkP)
Ancho de banda por procesador O(w/P)→O(w) O(w)→O(w × P) O(w × P) Complejidad de cableado O(w) O(w × P × logkP) O(w × P2) Complejidad de conmutación O(P) O(P/k × logkP) O(P2) Capacidad de comunicación de uno en uno algunas permutaciones broadcast todas las permutaciones

21 Gestor de comunicaciones
Redes con encaminadores  La red se forma mediante encaminadores de mensajes (routers). procesador/memoria local router Gestor de comunicaciones conexiones de red red de comunicación Nodo de una red estática: proc./mem. + encaminador. La distancia entre nodos no es constante. Enlaces bidireccionales.

22 Encaminador de mensajes
 Un conjunto de puertos de E/S para recibir y enviar paquetes; un conjunto de búferes para almacenar temporalmente los paquetes; y un autómata para procesar paquetes y asignarles una salida. puertos de entrada puertos de salida procesador local enlaces de comunicación búferes func. encam.+ crossbar

23 Topologías más utilizadas
1 Red crossbar : todos con todos. Compleja de construir y de coste elevado cuando P es grande. Además, el grado de los encaminadores (número de conexiones) no es constante: P-1.

24 Topologías más utilizadas
2 Redes de una dimensión: cadena y anillo. Grado: Simetría: Toler. Fallos: Diámetro: Distancia media: 2 2, regular no sí un enlace dos enlaces P-1 P/2 P/3 (P grande) [ (P+1) / 3 ] P/4 (P grande) [ P2 / 4(P-1) ]

25 Topologías más utilizadas
3 Mallas y toros (n dimensiones, k>2 nodos por dim.) k→ P = kn Enlaces: Grado: Simetría: Toler. Fallos: Escalabilidad: n kn-1 (k-1) n kn 2n 2n, regular no sí alta (n) más alta (2n) fácil fácil

26 Topologías más utilizadas
3 Mallas y toros (n dimensiones, k>2 nodos por dim.) Bisección: Diámetro: Distancia media: kn-1 2 kn-1 n (k-1) n k/2 ~ n k/3 (k grande) ~ n k/4 (k grande)

27 Topologías más utilizadas
4 Hipercubo: caso paticular de una malla de n dimensiones, con sólo dos nodos por dimensión. 0000 0001 0100 1000 0010 1111 0101 0110 1100 Enlaces con los nodos cuya dirección se diferencia en un bit. (xn-1, xn-2, ..., x1, x0) → (xn-1, xn-2, ..., x1, x0) ...

28 Topologías más utilizadas
4 Hipercubo: parámetros topológicos Nodos: Enlaces: P = 2n → n = log2 P P/2 log2 P 0000 0001 0100 1000 0010 1111 0101 0110 1100 Grado: Simetría: T. Fallos: Escal.: Bisección: n (log2P, no es constante!) sí muy grande difícil P/2 (muy grande) Diámetro: Dist. med.: n ~ n/2 (n grande)

29 Topologías más utilizadas
5 Árboles y árboles densos (fat tree) encaminadores procesadores árbol binario (k = 2) fat tree árbol denso

30 Topologías más utilizadas
5 Árboles y árboles densos (fat tree) Grado: Profund.: Simetría: T. Fallos: Escal.: Bisección: k (normalmente, 4) logk P sí grande fácil P/2 Diámetro: Dist. med.: 2 logk P fat tree o árbol denso ~ 2 logk P – 2/(k-1) (P grande)

31 parámetros topológicos (P par, grande)
Resumen de topologías parámetros topológicos (P par, grande) Proc. Grado Simetr. Enlaces d (med) Dmax Bisec. Arco-con. Crossbar P P-1 si P (P-1) 1 P2/4 Omega [conm.] k P(logkP+1) [P/k logkP] logkP - Malla (n / k>2) P = kn 2n no n kn-1 (k-1) ~ n k/3 n (k-1) kn-1 n Toro nP ~ n k/4 n k/2 2 kn-1 Hipercubo P = 2n (log P) P/2 logP ~ n/2 P/2 Árbol (fat tree) P (logkP) ~ 2 logkP - 2/(k-1) 2 logkP

32 Resumen de topologías  Por ejemplo, P = 4.096 nodos: D d(med)
2D malla 2D toro 3D malla 3D toro Hipercubo Árbol (k = 4) 126 42,7 64 32 45 15,9 24 12 12 6 12 11,3

33 Resumen de topologías  El hipercubo tiene parámetros topológicos muy buenos, pero es complejo si el número de procesadores es grande; además, el grado no es constante. Fue la topología de los primeros sistemas MPP (pocos procesadores y la latencia de los mensajes dependiente de la distancia).  Las mallas y toros 2D y 3D se utilizan mucho en sistemas MPP: son topologías simples con grado bajo. Los parámetros de distancia son mayores, pero cambió la técnica de transmisión de mensajes y la latencia no depende tanto de la distancia.  Se utilizan también árboles (o similares tipo butterfly, para formar cluster-s, Myrinet), aunque son complejos cuando el número de procesadores es muy grande.

34  Estructura de los mensajes (paquetes)
Comunicación  La red se utiliza para la comunicación entre procesos, permitiendo el envío de mensajes de proceso a proceso. ¿Cómo se envían esos mensajes? ¿Por dónde? ¿Cómo se escoge el camino?...  Estructura de los mensajes (paquetes) cabecera datos cola Inf. control Unidad de información (de flujo): un flit (en general, un byte). Tiempo para transmitir un flit, un “ciclo”.

35 Patrones de comunicación
 Tamaño de los mensajes En general, hay que transportar mensajes de diversos tamaños. Los mensajes de control suelen ser pequeños (unos bytes); los de datos, mayores (normalmente divididos en paquetes de tamaño fijo).  Patrones de comunicación Especifican cuándo y con quién se efectúa la comunicación. Evidentemente, depende de la aplicación.

36 Patrones de comunicación
 Algunos patrones de comunicación habituales: - Aleatorio: la probabilidad de comunicación entre dos nodos es la misma para cualquier par de nodos y uniformemente distribuida en el tiempo. - Esferas de localidad: hay mayor probabilidad de comunicación con unos nodos que con otros, dependiendo de la distancia (cercanos). dist. P. Com. - Broadcast, multicast, reporting... - Matriz transpuesta, FFT, perfect shuffle...

37 Construcción del camino
- Conmutación de circuitos (circuit switching) Antes de enviar el mensaje hay que reservar un camino “privado”, para lo que se envía un mensaje “sonda” hasta el destino. Tras construir el camino, se transmite todo el mensaje (no se divide en paquetes). Por ejemplo: red telefónica. Problemas: hace falta tiempo para generar el camino; y se reservan enlaces de la red, aunque no estén siendo utilizados constantemente.

38 Construcción del camino
- Conmutación de paquetes (packet switching) El mensaje se divide en varios paquetes de tamaño fijo. Cada paquete tiene información sobre el destino y va hasta el mismo, encaminador tras encaminador, compitiendo con el resto de los paquetes para la utilización de recursos. Por ejemplo: servicio de correos. Problemas: se genera una sobrecarga, porque cada paquete tiene que llevar información de control. Addemás, hay que reconstruir el mensaje en el destino.

39  Encaminamiento de paquetes (routing)
Encaminam. de paquetes  Encaminamiento de paquetes (routing) ¿Por dónde van los paquetes desde el origen al destino? ¿Cuál es el camino? - ¿Cómo indicar el camino a tomar? registro de encaminamiento, RE (routing record) - ¿Hay un sólo camino? caminos de longitud mínima, pero, ¿cuál?

40  Encaminamiento de paquetes (routing).
Encaminam. de paquetes  Encaminamiento de paquetes (routing). Dos opciones para llegar al destino: - Indicar en el paquete la dirección absoluta. La información se procesa en los encaminadores intermedios para escoger la salida (tabla, función...). - El paquete lleva el registro de encamina-miento que especifica el camino; normalmente, cuántos pasos dar en cada dimensión. El RE se actualiza en cada encaminador. Se ha llegado al destino cuando todos los componentes del RE son 0.

41 Registro de encaminamiento
 Registro de encaminamiento en una malla X: (xn-1, xn-2, ..., x1, x0) → Y (yn-1, yn-2, ..., y1, y0) 4 (1,0) 15 (3,3) [2,3] [2,2] [2,1] [2,0] [1,0] [0,0] Basta con hacer la resta de coordenadas para indicar el número de pasos a dar en cada dimensión. RE = [yn-1 - xn-1, yn-2 - xn-2, ..., y0 - x0] 4 (1,0) → 15 (3,3)  RE = [2, 3]

42 Registro de encaminamiento
 Registro de encaminamiento en un toro En cada dimensión hay dos opciones para ir al destino: hacia “adelante” o hacia “atrás”. Nunca se recorre más de medio anillo en cada dimensión. 4 (1,0) 15 (3,3) [2,-1] [2,0] [1,0] [0,0] Tras restar las coordenadas, hay que analizar el resultado para escoger el camino más corto en cada anillo: REi > k/2 → REi = REi – k REi < -k/2 → REi = REi + k 4 (1,0) → 15 (3,3) RE = [2, 3] → [2, -1]

43 Registro de encaminamiento
 Registro de encaminamiento en un hipercubo [1000] No hay más que dos nodos en cada dimensión; por lo tanto, sólo se puede dar un paso por dimensión, si las coordenadas de esa dimensión son distintas: 1001 1110 0000 0001 0100 1000 0010 1111 0101 0110 1100 0011 0111 1101 [1110] [1100] [0000] RE = [i xor j] 1010 1011 2 (0010) → 12 (1100) RE = [1110]

44  Estrategias para escoger un camino concreto
Elección del camino  Estrategias para escoger un camino concreto El registro de encaminamiento no indica un único camino (en general). ¿Cuál hay que utilizar? 1. Encaminamiento estático Se utiliza un único camino para ir de X a Y, y siempre el mismo: DOR. 4 (1,0) 15 (3,3) + Es simple + Los paquetes llegan ordenados - No se aprovechan todas las opciones para seguir adelante

45  Estrategias para escoger un camino concreto
Elección del camino  Estrategias para escoger un camino concreto 2. Encaminamiento dinámico En cada encaminador se escoge el camino en función del estado del sistema (ojo! hay que utilizar información local). 4 (1,0) 15 (3,3) + Se pueden evitar zonas de mucho tráfico (aprovechando la topología de la red) - Es más complejo (hay que decidir) - Los paquetes pueden llegar desordenados - Pueden ocurrir bloqueos

46  Estrategias para escoger un camino concreto
Elección del camino  Estrategias para escoger un camino concreto 3. Encaminamiento no mínimo Hay que utilizar en general caminos de longitud mínima. En algunos casos puede ser adecuado utilizar caminos más largos para evitar tráfico o superar averías.

47 Control del flujo  Un paquete contiene L flits (algunos para control y otros para datos). ¿Cómo se transmiten los flits de los paquetes entre encaminadores? ¿Qué hay que hacer con los flits de un paquete que se está transmitiendo? Dos opciones: - Store-and-forward habitual en redes de ordenadores - Cut-through / Wormhole la que se utiliza en multicomputadores

48 Encaminadores intermed.
Control del flujo: SF  Store-and-forward 1 2 3 4 Encaminadores intermed. t Se transmite el paquete completo (todos los flits) entre encaminadores contiguos. Durante la transmisión se almacena en un búfer interno. 2 3 4 1 3 4 1 2 4 1 2 3 1 2 3 4 2 3 4 1 3 4 1 2 4 1 2 3 Tsf ~ L × d 1 2 3 4 2 3 4 1 3 4 1 2 4 1 2 3 1 2 3 4

49 Encaminadores intermed.
Control del flujo: CT / WH  Cut-through / Wormhole Tras procesar el primer flit de la cabecera de un paquete, se transmite al siguiente encaminador, sin esperar a la llegada del resto. 1 2 3 4 Encaminadores intermed. 2 3 4 1 3 4 1 2 4 2 3 1 1 2 4 3 La transmision del paquete se “segmenta”. 4 1 2 3 1 2 3 4 Tct/wh ~ L + d

50 Control del flujo: CT / WH
 Cut-through / Wormhole Diferencia: ¿qué hacer si el flit de cabecera de un paquete no puede continuar? Wormhole Todos los flits del paquete se paran donde están. 2 3 4 1 3 4 1 2 3 4 1 2 4 2 3 1 No hay que utilizar búferes. 1 2 4 3 4 1 2 3 1 2 3 4

51 Control del flujo: CT / WH
 Cut-through / Wormhole Diferencia: ¿qué hacer si el flit de cabecera de un paquete no puede continuar? Cut-through El primer flit se para, pero el resto continúa y los flits se almacenan en los encaminadores, en búferes. 2 3 4 1 4 3 1 2 4 1 2 3 1 2 3 4 1 2 3 4 4 1 2 3 1 2 3 4

52  Búferes para paquetes
Conflictos: búferes  Búferes para paquetes Los encaminadores de mensajes suelen tener espacio para almacenar paquetes (algunos flits). SF → búfer para por lo menos un paquete. WH → espacio de memoria para un flit (puerto de entrada). CT → solución intermedia; hace falta capacidad para almacenar un paquete o algunos flits. ¿Espacio para muchos paquetes? No - no tiene que haber muchos paquetes bloqueados. - el encaminador tiene que ser rápido, es decir, simple.

53  ¿Cómo se estructuran los búferes?
Conflictos: búferes  ¿Cómo se estructuran los búferes? ¿Compartidos, o distribuidos? Compartidos + se gestiona mejor el espacio de memoria - son más complejos, tienen que aceptar varias entradas y salidas

54  ¿Cómo se estructuran los búferes?
Conflictos: búferes  ¿Cómo se estructuran los búferes? ¿En las entradas o en las salidas? Salidas + los paquetes no se tratan en orden (mejor rendimiento) - más difíciles de gestionar (entradas múltiples)

55  ¿Cómo se estructuran los búferes?
Conflictos: búferes  ¿Cómo se estructuran los búferes? ¿Y si se llenan los búferes? líneas de control líneas de datos ¿sitio? sí / no datos No debe ser una situación habitual, ya que significa que se ha superado la capacidad de comunicación de la red. Sólo para gestionar momentos de mucho tráfico.

56 Latencia y Throughput  La red de comunicación no es más que un recurso para ejecutar programas en paralelo (otra “unidad funcional”), que tiene que ser lo más eficiente posible. Principales parámetros de calidad: - Latencia de los paquetes: tiempo necesario para realizar la comunicación. - Throughput: el nivel de tráfico que puede aceptar / gestionar la red.

57  Algunas definiciones
Latencia y Throughput  Algunas definiciones - Anchura de los enlaces (phit): número de bits que se puede transmitir en paralelo (por ejemplo, 8 bits). - Ciclo de transmisión: tiempo necesario para transmitir un phit (un ciclo). - Ancho de banda (bandwidth) de los enlaces, B: cantidad de información transmitible en un segundo. - Tiempo de encaminamiento (routing time), tr: tiempo para procesar la cabecera de un paquete.

58  Tiempo de comunicación o latencia (sin tráfico)
Latencia y Throughput  Tiempo de comunicación o latencia (sin tráfico) L: longitud del paquete (en bytes = flits) d: distancia - Store-and-forward Tsf = d × (L/B + tr) d × L d + L - Cut-through / Wormhole Tct = d × (1/B + tr) + (L-1)/B

59  Ejemplo: P = 1.024, L = 256 bytes, tr = 1 ciclo
Latencia y Throughput  Ejemplo: P = 1.024, L = 256 bytes, tr = 1 ciclo hipercubo toro 2D malla 2D D d máx med SF máx med CT

60  Teniendo en cuenta el tráfico de la red
Latencia y Throughput  Teniendo en cuenta el tráfico de la red Tráfico (b/s) Latencia (s) Tráfico máximo Throughput (b/s) Tráfico (b/s) Latencia a tráfico 0

61  Cut-through versus wormhole
Latencia y Throughput  Cut-through versus wormhole Tráfico (b/s) Latencia (s) CT Throughput (b/s) Tráfico (b/s) CT WH WH

62 Enlaces de la bisección
Latencia y Throughput  Throughput máximo (tráfico aleatorio) NPaq: número de paquetes de L flits (bytes) que puede inyectar por segundo cada procesador ABB: ancho de banda de la bisección (= Bisec × B) P/2 Enlaces de la bisección NPaq/2 NPaq/2 P/2 × (NPaq × L) × 1/2 = ABB NPaq = 4 × ABB / (P × L) malla 2D toro 2D hiperc. 8D bisección n. max. flit / c. P = 256 0,25 0,5 2

63 Comunicación entre encaminadores
Latencia y Throughput  Modelo general Tcom = tini + tflit × L R = L / Tcom velocidad de transmisión Rmax = lim R (L→∞) velocidad máxima L1/2 = tini / tflit para obtener la mitad de la veloc. máxima  Resumen: componentes del tiempo de comunicación Comunicación entre encaminadores T. espera en búferes Emisor Receptor Proc. paq.

64 Problemas de la comunic.
 El proceso de comunicación es distribuido, y se ejecuta en paralelo en varios encaminadores de mensajes. Por lo tanto, puede aparecer un problema que ya hemos analizado: el bloqueo (deadlock) (livelock, starvation...).  Bloqueos: un conjunto de paquetes agota los recursos para seguir adelante (en modo CT, los búferes; en modo WH, los enlaces...), y se queda parado para siempre.

65 Problemas de la comunic.
 Por ejemplo, en modo WH: m1: 0,1→2,3 (0,0) (0,3) m2: 1,3→3,1 m4: 2,1→0,2 (3,0) (3,3) m3: 3,2→1,1

66 Bloqueos: estrategias
 ¿Qué hacer con los bloqueos? - Utilizar únicamente topologías o estrategias de encaminamiento que no generen bloqueos. - Aceptar que pueden generarse bloqueos, y, cuando se generan, detectarlos y solucionarlos. Las opciones más utilizadas son:

67 Bloqueos: estrategias
1. El encaminamiento estático ayuda Por ejemplo, si utilizamos el encaminamiento estático DOR, no se generan bloqueos en las mallas. m2: 1,3→3,1 (0,0) (0,3) (3,0) (3,3) m1: 0,1→2,3 m3: 3,2→1,1 m4: 2,1→0,2

68 Bloqueos: estrategias
2. Pero no es suficiente si la propia topología tiene ciclos. 0→2 1→3 2→0 3→1 3 1 2

69 Bloqueos: estrategias
3. Canales virtuales Para no mantener bloqueados los enlaces de los encaminadores, los búferes se dividen en dos (o más) clases. B0 B1 CV0 CV1

70 Bloqueos: estrategias
3. Canales virtuales Doble objetivo: 1 Mejorar la eficiencia: si un paquete no puede seguir, no parar un paquete que viene por detrás y que tiene el camino libre. 2 Evitar las situaciones de deadlock.

71 Bloqueos: estrategias
3. Canales virtuales 2 Evitar situaciones de deadlock 3 1 2 1→3 2→0 3→1 0→2 CV1 CV0

72 Problemas de la comunic.
 En resumen Mallas, DOR → no hay bloqueo Toros, DOR, 2 canales virtuales → no hay bloqueo 4. Pero, ¿se puede utilizar el encaminamiento dinámico sin bloqueos? - mallas virtuales - giros controlados (turn model) - caminos seguros - controlar la inyección de paquetes

73 Problemas de la comunic.
4a. Mallas virtuales (2D) - Añadir dos canales virtuales por cada canal físico. - Clasificar los paquetes en cuatro categorías, en función de las posiciones de los destinos: NE, ES, SW, WN. W1 N0 N1 E0 - Generar cuatro mallas virtuales: NE: N1-E0 ES: E1-S0 SW: S1-W0 WN: W1-N0 S1 W0 E1 S0 - En cada malla virtual los paquetes pueden tomar cualquier camino, ya que no se pueden formar ciclos.

74   Problemas de la comunic. 4b. Turn model (mallas)
- Hay que hacer cuatro giros para formar un ciclo. Cuando se utiliza encaminamiento estático (DOR) dos de ellos están prohibidos.  - Basta con prohibir uno para que no se generen ciclos; p.e, prohibido girar al oeste:  - si no van hacia el oeste, como quieran; - si no, recorrer inicialmente el camino hacia el oeste. west-first

75 Problemas de la comunic.
4c. Caminos seguros (red segura + no segura) En este caso se acepta que los paquetes se puedan bloquear. Cuando ocurre, se detecta y se soluciona el problema. Por ejemplo, en mallas y los toros: - 2 canales virtuales (2D), para generar dos redes virtuales. - Los paquetes se inyectan en una red y se mueven libremente. La otra red se utiliza para moverse en modo seguro (por ejemplo DOR, en una malla 2D). - Si un paquete se bloquea, se le hace pasar a la red segura, en la que avanzará hasta llegar al destino.

76 Problemas de la comunic.
4c. Caminos seguros Ojo: ¿cómo detectar el bloqueo? Por ejemplo, tras pasar cierto tiempo sin movimiento. 4d. Controlar la inyección de paquetes Ocurren bloqueos porque se acaban los recursos. Por lo tanto, los encaminadores rechazarán un paquete si en caso de que lo acepten se llenan los búferes. De esta manera, los recursos no se terminarán nunca (Mare Nostrum).

77 Problemas de la comunic.
 En resumen - Mallas, DOR → no hay bloqueo - Toros, DOR, 2 canales virtuales → no hay bloqueo Encaminamiento dinámico: - En general, 1 canal virtual por dimensión en una malla, y 2 en un toro. - Otras estrategias. - Tal vez, topologías que no generan ciclos: árboles!  Ojo: el encaminador tiene que ser simple, para procesar paquetes lo más rápido posible. Por lo tanto, puede que el encaminamiento estático sea suficiente!

78 Problemas de la comunic.
 Otros problemas Livelock Los paquetes van adelante y atrás, pero no consiguen llegar al destino. Pueden aparecer problemas si se desvían paquetes de los caminos mínimos “para no perder tiempo”. La causa puede estar relacionada con las prioridades. Starvation Algunos procesadores no consiguen inyectar sus paquetes en la red porque hay mucho tráfico alrededor.

79 Protocolos de comunicación
 Recuerda que en el proceso de comunicación toman parte muchos elementos. red + encaminadores interfaz + procesador (+SO?) P1 P2 El proceso más lento de la comunicación acotará la velocidad de comunicación del sistema.

80 Protocolos de comunicación
 Hemos tenido en cuenta únicamente la transmisión de paquetes. Pero el interfaz “procesador/red” es también muy importante: ¿cómo se inyectan los paquetes en la red? ¿cómo salen? Hay varios protocolos de comunicación para regular esos procesos: - El más simple, TCP/IP - Más eficientes: protocolos de 0 copias estandares: VIA, Infiniband... propietario: gm (myrinet)...

81 Protocolos de comunicación
1. TCP / IP reliable / connection oriented Protocolo de los primeros clusters (y los de bajo rendimiento). memoria usuario Implementación habitual: c. mem. sistema c. mem. sistema Int. SO Int SO

82 Protocolos de comunicación
Ojo: la sobrecarga debida al sistema operativo y a las copias puede ser muy grande. sobrecarga del protocolo 10 Mb/s tiempo de transmisión 100 Mb/s 1 Gb/s

83 Protocolos de comunicación
2. VIA (virtual interface architecture) Estándar de comunicación de los principales fabricantes. No se hacen copias en la memoria del sistema operativo; se trabaja directamente con los encaminadores: -- antes de enviar un mensaje se reserva sitio en la memoria física, en el emisor y en el receptor. -- las operaciones send/receive envían un descriptor a una cola para procesar paquetes. -- podemos esperar a la confirmación, o seguir trabajando. Son protocolos de bajo nivel, con implementaciones nativas o emuladas.

84 Infiniband 3. InfiniBand (IBA)
Objetivo: infraestructura de comunicaciones de altas prestaciones, basada en conmutadores (intra) y encaminadores (inter), para componer redes SAN (reemplazar el bus compartido). - Se utilizan adaptadores especiales para conectar nodos: HCA (nodos de computación) o TCA (nodos auxiliares). - Para conectar nodos de redes locales se utilizan conmutadores y para conectar redes locales entre ellas se utilizan encaminadores. - Los enlaces son de 2,5 Gb/s de un solo sentido, punto a punto.

85

86 Infraestructura de comunicación de alto rendimiento (caro).
Myrinet 4. Myrinet Infraestructura de comunicación de alto rendimiento (caro). Enlaces de 10 Gbit/s (full duplex), fibra óptica. Conmutadores en un crossbar (red Clos). Cut-through. Software propio para gestión de mensajes (GM). Implementaciones de Gbit ethernet / Via / Infiniband. Latencias de paquetes pequeños: 1,2 µs (Gigabit, 50 µs) Throughput máximo 9,6 Gbit/s

87 Myrinet

88 Myrinet

89 Myrinet

90 RC-PM | Protocolos de comunicación
Arkitektura Paraleloak IF - EHU  OJO: si se utilizan PCs para crear un cluster, la conexión entre la red y los nodos se hará mediante el bus PCI. ¡Puede que sea ese bus el que limite la velocidad de la comunicación, y no los componentes de la red! PCI → 32 bits / 33 MHz bits / 66 MHz MB/s PCI-X → 1 GB/s (2.0 → 4 GB/s) PCI Express → 200 MB/s por canal (× 32 → 6,4 GB/s) any questions? please, d’ont forget exercices!