Arquitecturas Avanzadas Curso 10/11 Horas 5 6 7 2 3 INTRODUCCIÓN CONECTIVIDAD MÁQUINAS MIMD MÁQUINAS SIMD AUMENTO DE PRESTACIONES

arqAva Clasificación de Flynn Ampliada Introducción-2 Arquitecturas Paralelas SISD SIMD MISD MIMD Procesadores Vectoriales Array de Procesadores Sistólicos Von Neumann ?? Multi-procesadores Multi-computadores UMA NUMA COMA Distintas formas de organizar la memoria común MPP COW Beowulf Symetric Multi Processor Distributed Shared Memory

Procesamiento Sistólico Introducción Metodología Ejemplos arqAva Temario SIMD-3 MÁQUINAS SIMD Procesamiento Sistólico Introducción Metodología Ejemplos Procesamiento Vectorial Definiciones y tipos de instrucciones Memorias entrelazadas Funciones vectoriales compuestas Encadenamiento Hardware Bibliografía: “VLSI Array Processors” S.Y. Kung-1988 [119..149] “Advanded Computer Architecture...” Kai Hwang-1993 [Capítulo 8]

arqAva Sistólicos (Introducción) SIMD-4 Límites de MIMD para grano fino El modelo sistólico Ejemplo Vector x Matriz Algunos inconvenientes Ejemplos de máquinas

arqAva Introducción (Límites de MIMD para grano fino) SIMD-5 Problema: Multiplicar una secuencia muy grande de vectores por una matriz Algunas aplicaciones Filtrado de imagen Generación de efectos de vídeo Conversión, cod/decod de vídeo Manipulación de imagen en 3D Procesado de imágenes médicas Reconocimiento de objetos detectando bordes Filtros FIR para sistemas de comunicaciones

arqAva Introducción (Límites de MIMD para grano fino) SIMD-6 Problema: Multiplicar una secuencia muy grande de vectores por una matriz ..... Xi4, ..... X24, X14 * A4x4 ==> ..... Yi4, ..... Y24, Y14 (x1,x2,x3,x4)i * a11 a12 a13 a14 a21 a22 a23 a24 a31 a32 a33 a34 a41 a42 a43 a44 = (y1,y2,y3,y4)i x1a11+x2a21+x3a31+x4a41 x1a14+x2a24+x3a34+x4a44 ¿Tiempo  de cálculo de Yi4 en monoprocesador? T(*) => 2 T(+) => 1 T(Mem <==> Reg) => 1 T(Yi4) = 16*2+12*1+20*1+4*1 = 68 (*) (+) (r) (w)

arqAva Introducción (Límites de MIMD para grano fino) SIMD-7 Paralelización de X4*A4x4 con multiprocesadores 1 3 2 -1 x x1 x2 x3 x4 . X2 X1 P11 . . P14 . P22 . . . . . . P41 . . P44 3 5 -1 4 2 7 3 -2 4 0 1 5 8 6 9 -3 3 5 -1 4 6 21 9 -6 8 0 2 10 -8 -6 -9 3 1 1 => 16 Pij multiplican  0 => Cargar coeficientes y P11 P12 P13 P14 9 20 1 11 y1 y2 y3 y4 2 2 => 4 P1i suman Y1 Y2 . . . . . . ¿Cada cuánto tiempo obtengo Yi?

arqAva Introducción (Límites de MIMD para grano fino) SIMD-8 Hagamos los cálculos: repeat [i,j] := X[i] * A[i,j] -- Los 16 Pij T1 Y[i] := [1,i]+[2,i]+[3,i]+[4,i] -- Los 4 P1i T2 forever T1 = 1(r) + 2(*) + 1(w) = 4 11 ¿SEGURO? T2 = 3(r) + 3(+) + 1(w) = 7 -- Código de P1i repeat -- Multiplicar -- Sumar ¿Conflictos de accesos paralelos a datos comunes? Bajar (SNuevoX); ¡ Sincronizar ! El tiempo puede dispararse 20 .... Barreras de sincronización Hw. B(SP1i); B(SP1i); B(SP1i); Subir (SNuevoY); ¿Mejorable con multicomputadores?

arqAva Introducción (Límites de MIMD para grano fino) SIMD-9 Paralelización de X4*A4x4 con multicomputadores ¿Flujo E/S? Xi / Yi D=I 1 3 2 -1 x x1 x2 x3 x4 3 5 -1 4 2 7 3 -2 4 0 1 5 8 6 9 -3 y 9 20 11 y1 y2 y3 y4 12.. 1 3 1 2 5 -1 26 8 4 3 5 -1 4 2 7 -2 8 6 -3 9 1 Coste 3 3 S=I*A21+N 9 2 ? ? * + ! ! 17 -1 2 1 9 9 ¿Será alcanzable  4? Sistólicos

arqAva Introducción (El modelo sistólico) SIMD-10 1978 (H.T. Kung y C.E. Leiserson) Mucho interés en los 80 Yale, Carnegie Mellon, MIT Objetivo: Aprovechar el alto grado de paralelismo espacial y temporal de algunos algoritmos muy demandados y limitados por cómputo Flujo Datos 8 (E/S) vs 28 (*/+) ....X43, X42, X41 * a11 a12 a13 a14 a21 a22 a23 a24 a31 a32 a33 a34 a41 a42 a43 a44 = .... Y43, Y42, Y41 Aplicaciones: Computación científica, procesado de señal e imagen, análisis de datos biológicos, criptografía, etc.

arqAva Introducción (El modelo sistólico) SIMD-11 Sistólicos: Máquinas paralelas de propósito específico: Paralelismo masivo y descentralizado (Pipeline) Peso del cómputo mucho mayor que el de E/S Comunicaciones locales Arquitectura regular y modular organizada como una red de un gran número de unidades de proceso idénticas (celdas), conectadas localmente. Sólo las celdas de los bordes pueden comunicarse con el exterior. Modo de operación síncrono Factores de posibilidad (VLSI, CAD) y muy escalables HOST ARQUITECTURA SISTÓLICA Trabajos Resultados

arqAva Introducción (El modelo sistólico) SIMD-12 Ejemplos de redes sistólicas

arqAva Introducción (El modelo sistólico) SIMD-13 Modo de operación síncrono Cada celda siempre hace lo mismo: Recibe datos de sus vecinos Realiza unos cálculos sencillos Transmite resultados a sus vecinos t0 t1 t2 t3 t4 ........... 3 i i+1 i+2 En cada ciclo (), dos fases: Intercambio de datos 2 Cálculo Paralelo Recibe datos de sus vecinos Realiza unos cálculos sencillos Transmite resultados a sus vecinos

arqAva Introducción (Ejemplo Vector * Matriz) SIMD-14 ¿Cómo utilizar esta arquitectura para multiplicar Vectores2 * Matriz2x2? Recordar el intento de paralelización con multicomputadores aij N S D I 1 ?I, ?N, !S, !D 2 S = (I*aij)+N, D = I Propagación de las Xi t0 x11 x11a11 a22 a11 a12 a21 t1 x12 x11  x21 a22 a11 a12 a21 Situación justo al inicio del ciclo

arqAva Introducción (Ejemplo Vector * Matriz) SIMD-15 x11a11 x12 x11 x21 t1 x12a11 x13 x12 x22 t2 x21 y11 x11a12 x13a11 x14 x13 x23 t3 x22 y12 x12a12 y21 x1ia11 x1i+1 x1i x2i ti x2i-1 Y1i-1 x1i-1a12 Y2i-2 x14a11 x15 x14 x24 t4 x23 y13 x13a12 y22

arqAva Introducción (Ejemplo Vector * Matriz) SIMD-16 ¿Tiempo de cálculo de Yi4 con este método? x11 x12 x21 x13 x22 x31 x14 x23 x32 x41 x15 x24 x33 x42 t0 x1i+1 x2i x3i-1 x4i-2 ti y11 y12 y21 y13 y22 y31 y14 y23 y32 y41 y15 y24 y33 y42 t4 Obtenemos un resultado cada ciclo () Transferir datos => 1 Multiplicar => 2 Sumar => 1 Total => 4 ¿Tiempos creíbles?

arqAva Introducción (Ejemplo Vector * Matriz) SIMD-17 Posible aspecto de una celda:  * + Ck aij

arqAva Introducción (Algunos inconvenientes) SIMD-18 Dificultad algorítmica (Veremos una sistematización) Sincronismo de reloj (Sesgo de reloj | Clock Skew) Ck ¿Soluciones? Distribución regular de Ck Frente de Ola | Wave Front Asíncronos Flujo de Datos vs Flujo de Control Ck

arqAva Introducción (Ejemplos de máquinas) SIMD-19 iWarp (1988-1992) Carnegie Mellon Univ. + Intel Supercomputing System Div. Todavía la mejor en 1995 para algunas aplicaciones µP RISC de 32 bits de 96bit LIW a 20MHz Desde 4 a 1024 celdas. Típico un toro de 8x8 => 64µP iPSC www-2.cs.cmu.edu/~iwarp “iWarp: Anatomy of a Parallel Computing System” 1998

arqAva Introducción (Ejemplos de máquinas) SIMD-20 SAMBA (1993-1995) www.irisa.fr/SAMBA Systolic Accelerator for Molecular Biological Applications Laboratorio IRISA de Rennes 1994 => Chips con 4µP de 100MIPS (12bits) (Total 128µP) 1998 => “Speeding up genome computations with a systolic accelerator” Estudio genético => 41’ en SAMBA y 127,5h en una WorkStation 1998 => Chips con 16..20µP más MIPS => Todo en una tarjeta PCI

arqAva Introducción (Ejemplos de máquinas) SIMD-21 … GeneMatcher2 … 2004] www.paracel.com Sistema de análisis de similitud de secuencias genéticas. Acelerador => 3.072..221.184 P GeneMatcher2: 192 P SIMD Empresa comprada en junio 2000 por Celera Genomics Group. www.celera.com

arqAva Introducción (Ejemplos de máquinas) SIMD-22 Procesador CSX700 [Hoy] www.clearspeed.com “Convierta su PC en un supercomputador” #9 Top500 11/06 TSUBAME Grid Cluster #29 Top500 11/08 #56 Top500 11/09 + GPU’s 96 GFlops y < 9 W 96

arqAva Introducción (Ejemplos de máquinas) SIMD-23 DeCypher Engine G4 => SeqCruncher [Hoy] www.timelogic.com 4 128 Xeon

arqAva Introducción (Ejemplos de máquinas) SIMD-24 Cell [Hoy] www.blachford.info/computer/Cell/Cell0_v2.html QS21

arqAva Introducción (Ejemplos de máquinas) SIMD-25 GPU’s[Hoy] www.nVidia.com 240 Tesla C1060 *4 Tesla S1070 *170 TSUBAME

arqAva Vectoriales (Definiciones) SIMD-26 Vector: Conjunto ordenado de unidades de datos escalares de un mismo tipo Procesador vectorial: Conjunto de elementos hardware diseñado para procesar vectores Un resultado por ciclo Menor overhead control bucle por software Menos conflictos de accesos a memoria Vectorización Conversión de código escalar a vectorial Proporción de vectorización Grado de vectorización alcanzado Compilador vectorial Traductor diseñado para vectorizar código

arqAva Vectoriales (Definiciones) SIMD-27 Vector: Conjunto ordenado de unidades de datos escalares de un mismo tipo short V1[5]; long V2[5]; tPersona V3[5]; $1004 V4[0] $1000 V4[2] V4[1] V4[3] V4[4] $1008 $100C $1010 ¿Vector V4? V1[0] $1000 V1[2] V1[1] V1[3] V1[4] V2[0] V2[1] V2[2] V2[3] V2[4] $1006 $1002 $1004 $1008 $1004 $1008 $100C $1010 Stride  tsize(tipo) Stride 2 ¿Utilidad? Stride 4 Stride 4

arqAva Tipo / Fuentes (Control, Datos, Flujo) Introducción-28 PARALELISMO DE DATOS (Espacial) Operaciones sobre datos regulares (vectores) aplicando la misma operación sobre cada elemento 2 1 3 4 5 7 8 6 9 + A C B Suma de Vectores, etc. ¡LIMITACIONES! Más datos que U.P. Operaciones escalares En los procesadores vectoriales hay poca replicación hardware (pocas unidades de proceso que sumen). En su lugar, se apoyan en una especialización mediante pipeline.

arqAva Vectoriales (Definiciones) SIMD-29 Unidad Funcional Aritmética Segmentada 2 1 3 4 5 7 8 6 9 A C B 8+1 8+1 7 3+6 1+1 5+2 4+0 8 7+1 1+1 5+2 4+0 7+1 8+1 5+2 4+0 9 7+1 8+1 5+2 7+1 8+1 Registros Vectoriales 4 Etapas: Sumar Exponentes Multiplicar Mantisas Normalizar Redondear Un resultado por ciclo

arqAva Vectoriales (Tipos de instrucciones) SIMD-30 TIPOS DE INSTRUCCIONES VECTORIALES Unidad funcional segmentada Vector-Vector Vi  Vj Vj x Vk  Vi Vi Vk Vj S x Vk  Vi Escalar-Vector Vi Vk S M  V V  M Memoria-Vector, Vector-Memoria V Memoria

arqAva Vectoriales (Tipos de instrucciones) SIMD-31 Vector reducción Vi  S , Vj x Vk  S S Vk Vj Compresión (gather  recoger) M  Vj x Vk 410 769 130 49 46 20 56 200 201 202 206 203 205 204 etc. memoria Vk 4 200 3 6 etc. Vj VL A0 130 410 56 20 etc. ¿Utilidad?

arqAva Vectoriales (Tipos de instrucciones) SIMD-32 Expansión (scatter  esparcir) 4 200 130 410 56 20 etc. 1 2 5 xx 201 202 206 203 205 204 Vj Vk memoria Vj x Vk  M VL A0 MPI_Scatter MPI_Gather MPI_Reduce MPI

arqAva Vectoriales (Tipos de instrucciones) SIMD-33 Máscara (masking) 7 230 91 66 etc. Vk Vk x Vm  Vi 56 VL 1011001...... 6 3 xx 2 200 201 202 206 203 205 204 etc. Vi VM ¿Utilidad? ¿Utilidad VM?

arqAva Vectoriales (Memorias entrelazadas) SIMD-34 Acceso a bloques: Instrucciones Arrays Líneas de caché Vectorial M.P. ¿Un único pipe? Vectorial M0 M1 M7 V[0] V[1] V[7] V[8] V[9] ¿Memoria multipuerto? ¿Cuántos bancos?   Patrón de acceso a MP ¿ Acceso paralelo al vector V[16] ? palabra módulo n 3 Entrelazado orden inferior ¡ Demasiado secuencial !

arqAva Vectoriales (Memorias entrelazadas) SIMD-35 Para acceder a un vector en memoria (longElemento = palabra): DirInicio, NumElementos, Stride (Separación entre elementos) Entrelazado de orden inferior: Acceso Concurrente Memoria de 2a+b palabras, # de módulos: m=2a, Palabras por módulo: w=2b palabra módulo a Dirección de memoria b m m(w-1) 2m RIM M0 1 m+1 m(w-1)+1 2m+1 M1 m-1 2m-1 wm-1 3m-1 Mm-1 decodificador RDM

arqAva Vectoriales (Memorias entrelazadas) SIMD-36 Stride=1 ¿Stride=2? Pérdida de eficiencia Módulos M7 t total de un vector grande (m) M6 M5 M4 M3 M2 M1 M0 t de acceso () t de transmisión () Tiempo ¡ Ojo al ubicar matrices en memoria ! ¿Stride = 3? Sin pérdida de eficiencia

arqAva Vectoriales (Memorias entrelazadas) SIMD-37 Entrelazado de orden inferior: Acceso Simultáneo Memoria de 2a+b palabras, # de módulos: m=2a, Palabras por módulo: w=2b M0 M1 Mm-1 1 m-1 m m+1 2m-1 b Ciclo de búsqueda Dirección de memoria 2m 2m+1 3m-1 palabra módulo a m(w-1) m(w-1)+1 wm-1 RIM RIM RIM Ciclo de acceso Multiplexador

arqAva Vectoriales (Memorias entrelazadas) SIMD-38 Módulos Ciclo de búsqueda M7 M6 Ciclo de acceso M5 M4 M3 M2 M1 Tiempo M0 ‘m’ palabras (8) Pérdida de eficiencia para Stride  1

arqAva Vectoriales (Funciones vectoriales compuestas) SIMD-39 Y(I) = S * X(I) + Y(I) Vectorización BUCLE I=1 HASTA 100 CARGA R1,X(I) CARGA R2,Y(I) MULTIPLICA R1,S SUMA R2,R1 ALMACENA Y(I), R2 FIN BUCLE Carga de Vector Escalar x Vector Suma vectorial Almacenamiento de Vector IV1: CARGA VECTOR IV2: CARGA VECTOR IV3: MULTIPLICA VECTOR x ESCALAR IV4: SUMA VECTOR, VECTOR IV5: ALMACENA VECTOR Si disponemos de 2 U.F. (*,+) ¿Ociosa siempre una?

arqAva Vectoriales (Encadenamiento hardware) SIMD-40 Una vez extraídos X e Y, hay que realizar 2 operaciones vectoriales S * X(I) + Y(I) Vx 1 2 3 4 5 6 Vector intermedio Vector intermedio 2 1 3 4 2 1 3 2 1 2 3 4 5 6 2 1 2 S Multiplicador Sumador Vy Etapa de procesamiento Y(I) = S * X(I) + Y(I) Conflicto en los 3 accesos a memoria Cuantos más pipelines de acceso a memoria tengamos, mejor podremos encadenar los procesamientos vectoriales

arqAva Vectoriales (Encadenamiento hardware) SIMD-41 Y(I) = S * X(I) + Y(I) Conflicto en los 3 accesos a memoria Disponiendo de un solo pipeline para acceso a memoria (Cray I): memoria Vy Carga de memoria Carga de Y Etapa 1 memoria Carga de memoria Carga de X Vx Vy S V3 V4 Sumador Multiplicador Etapa de procesamiento Etapa 2 memoria V4 Almacenamiento en memoria Almacenamiento de Y Etapa 3

arqAva Vectoriales (Encadenamiento hardware) SIMD-42 Y(I) = S * X(I) + Y(I) Conflicto en los 3 accesos a memoria Disponiendo de tres pipelines para acceso a memoria (Cray X-MP): memoria Carga de memoria Carga de Y V4 Almacenamiento en memoria Almacenamiento de Y Carga de X Vx Vy S V3 Sumador Multiplicador Etapa de procesamiento Encadenamiento completo

arqAva Vectoriales (Encadenamiento hardware) SIMD-43 Eficiencia sin utilizar encadenamiento: Eficiencia utilizando encadenamiento con un solo pipe de acceso a memoria: Eficiencia utilizando encadenamiento con 3 pipes de acceso a memoria: Carga X Carga Y S * X V + Y Almacena Y t Carga Y Carga X S * X V + Y Almacena Y t Carga X Limitaciones: # Unidades Funcionales # Registros Vectoriales Carga Y S * X V + Y Almacena Y t

arqAva Vectoriales (Encadenamiento hardware) SIMD-44 Cray Y-MP 1988 8 registros de 64 elementos Fujitsu VP200 1988 Fichero registros 64K: 8 x 1024 16 x 512 32 x 256 64 x 128 128 x 64 256 x 32 Earth Simulator 2001 72 registros de 256 elementos + 17 registros máscara FIN 64 bits 128 bits