ARQUITECTURAS PARALELAS LOS SISTEMAS PARALELOS

ARQUITECTURAS PARALELAS LOS SISTEMAS PARALELOS
DE ALTA VELOCIDAD HOY EHU - KAT ARQUITECTURAS PARALELAS ´05-06

DE LOS SISTEMAS PARALELOS DE ALTA VELOCIDAD
1ª parte ARQUITECTURA DE LOS SISTEMAS PARALELOS DE ALTA VELOCIDAD ARQUITECTURAS PARALELAS ´05-06

ARQUITECTURAS PARALELAS ´05-06
introducción  La evolución de los computadores puede explicarse como combinación de tres factores:  avances en la tecnología electrónica  avances el diseño de la arquitectura del sistema  avances en el desarrollo del software del sistema ARQUITECTURAS PARALELAS ´05-06

introducción  Avances en la tecnología electrónica  número de transistores > 200/300 M  frecuencia de reloj > 1 GHz  velocidad de conmutación  tecnología de empaquetamiento  contenido de la memoria  mejora en las comunicaciones ARQUITECTURAS PARALELAS ´05-06

introducción  Avances en la arquitectura del sistema  arquitecturas RISC  jerarquía de memoria  unidades funcionales específicas  segmentación (ILP) desorden (Tomasulo) superescalar - VLIW // especulación - predicción multithreading  diseños en tres líneas desktop - servidores - aplic. específicas ARQUITECTURAS PARALELAS ´05-06

introducción  Avances en el software del sistema  list scheduling, loop unrolling software pipelining (ILP) trace scheduling, EPIC...  vectorización de bucles  paralelización de bucles  reparto de tareas, monitorización, análisis de rendimiento... ARQUITECTURAS PARALELAS ´05-06

introducción Unos pocos fabricantes copan el mercado de procesadores de altas prestaciones: IBM  Power4-5 / PowerPC Intel / HP  Itanium 2 IA-64 Compaq-Digital (HP)  EV7 (alpha) Hewlett-Packard  PA-RISC 8700/8800 MIPS (SGI)  RS16000 Sun  UltraSparc IV IBM  Pentium IV, Xeon AMD  Opteron ARQUITECTURAS PARALELAS ´05-06

introducción Características generales de los procesadores “hoy”: Hardware 0,13 → 0,11/0,9 µ >200/300 M transistores! Múltiples unidades funcionales  2-4 Gflop/s Grandes bancos de registros Caches L1/L2 en el chip, gran tamaño (kB, MB), asociativa por conjuntos, alto ancho de banda Ejecución Desorden / pero también orden Predicción estática y dinámica Ejecución especulativa Multithreading Operaciones vectoriales Multiproc. Varios procesadores en un chip Conexión entre chips de alta capacidad: 4 c. – 16 GB/s ARQUITECTURAS PARALELAS ´05-06

un ejemplo: Itanium (IA-64)
ARQUITECTURAS PARALELAS ´05-06

un ejemplo: Itanium 2 ARQUITECTURAS PARALELAS ´05-06

19,5 mm 21,6 mm ARQUITECTURAS PARALELAS ´05-06

un ejemplo: IBM Power4 ARQUITECTURAS PARALELAS ´05-06

power5  más memoria y de menor tiempo de acceso L2 1,92 MB, bloques de 128 bytes, asociativa 10 vías, LRU L3 36 MB, bloques de 256 bytes, asociativa 12 vías, LRU  simultaneous multithreading  más facilidades para la interconexión ARQUITECTURAS PARALELAS ´05-06

power5 ARQUITECTURAS PARALELAS ´05-06

PowerPC ARQUITECTURAS PARALELAS ´05-06

necesidad de paralelismo
 La busca de paralelismo a nivel de instrucción tiene un límite, marcado en muchas ocasiones por la propia aplicación (+ hard, + soft). Existen múltiples problemas para los que un solo procesador no es suficiente, por más que éste sea cada vez más rápido. ARQUITECTURAS PARALELAS ´05-06

necesidad de paralelismo
Ejemplo “simple”: meteorología atmósfera dividida en “puntos” de 1x1x1 km3  1010 puntos 300 operaciones c.f. / elemento  3 x 1012 f cada 10 minutos (144 veces día)  5 x 1014 f una máquina a 1000 MF/s  5 x 105 s  simular una interacción días. Además, el tamaño de las tareas a ejecutar puede crecer todo lo que queramos. ARQUITECTURAS PARALELAS ´05-06

clasificación de los sistemas paralelos
MP P C bus memoria compartida SMP 1 N SIMD MIMD SISD fl. intsrucciones flujo datos MPP/NUMA Clusters memoria distribuida P C M red general Array Vectorial ARQUITECTURAS PARALELAS ´05-06

evolución de las arquitecturas
 Un procesador (vectorial)  Sistemas SMP / sistemas SIMD  Sistemas masivamente paralelos MPP las mejores prestaciones (velocidad de cálculo): comunicación de baja latencia y elevado ancho de banda, en algunos casos procesadores con diseño específico, software de control muy optimizado, etc. Pero COSTE MUY ELEVADO  Alternativa: clusters ARQUITECTURAS PARALELAS ´05-06

clusters  Clusters Se trata de obtener un sistema paralelo a partir de la utilización de P máquinas de propósito general (bajo coste), unidas mediante una red de comunicación igualmente de bajo coste. Se asume que no se trabaja con el último modelo de procesador y que la latencia de las comunicaciones será algún orden de magnitud mayor que en el caso de los supercomputadores MPP. objetivo: buena relación coste/rendimiento ARQUITECTURAS PARALELAS ´05-06

clusters  Clusters Para ciertas aplicaciones, muy sensibles a la latencia de las comunicaciones, este tipo de arquitecturas no ofrecen todavía una buena respuesta. Sería necesario desarrollar nuevos algoritmos más eficientes y menos sensibles a la comunicación. Pero para otro conjunto grande de aplicaciones resultan ser una alternativa rentable. De hecho, ya forman parte de la lista top500 y aparecen cada vez con más fuerza como una alternativa que ofrece un nivel elevado de paralelismo a un coste razonable. ARQUITECTURAS PARALELAS ´05-06

clusters Algunas definiciones: C1 Cluster Máquina MIMD formada por un conjunto de nodos unido por una red LAN. Cada nodo puede ser un solo procesador o un pequeño SMP. El número de nodos es muy superior al número de procesadores por nodo. BEOWULF ARQUITECTURAS PARALELAS ´05-06

clusters Algunas definiciones: Constellation Un cluster en el que el número de nodos es mucho menor que el número de procesadores por nodo. La red de conexión suele ser de más altas prestaciones. ARQUITECTURAS PARALELAS ´05-06

clusters  hardware “habitual” - procesador “estándar” (+memoria, disco, conexiones exterior) - red propia, con conexiones a una red global (fast) gigabit ethernet... Myrinet, SCI, Inifiniband, Quadrics...  software “habitual” - desarrollo: MPI, OpenMP, HPF (+debuggers, profilers...) - administración del sistema: instalación, monitorización, diagnosis... ARQUITECTURAS PARALELAS ´05-06

protocolos de comunicación
1. TCP / IP reliable / connection oriented protocolo de los primeros clusters memoria usuario Implementación habitual: copia m. sistema copia m. sistema int SO int SO ARQUITECTURAS PARALELAS ´05-06

El overhead generado por el sistema operativo y las copias van a suponer una parte importante en el tiempo total de comunicación. overhead del protocolo 10 Mb/s tiempo de transmisión 100 Mb/s 1 Gb/s ARQUITECTURAS PARALELAS ´05-06

2. Active Messages (Fast Messages) Librería de comunicación de baja latencia del proyecto NOW (Berkeley). Mensajes cortos: síncronos, request/reply - se crea el mensaje en la memoria de usuario. - el receptor crea un buffer en memoria de usuario y envía una petición (request). - el hardware de red envía el mensaje desde la memoria de usuario del emisor a la del receptor. - No se hacen copias en memoria del sistema: 0 copias. ARQUITECTURAS PARALELAS ´05-06

VIA Estándares para clusters 1. VIA: virtual interface architecture Estándar de comunicaciones que combina las principales ideas desarrolladas en las universidades. Consorcio de fabricantes: Intel, Compaq, Microsoft, ... -- antes de enviar un mensaje, se reserva en memoria física, emisor y receptor, sitio para el mensaje. -- las operaciones send/receive consisten en enviar un descriptor del paquete a una cola de proceso de paquetes. -- puede esperarse confirmación o seguir con el trabajo. ARQUITECTURAS PARALELAS ´05-06

VIA Estándares para clusters 1. VIA: virtual interface architecture Implementaciones -- nativa: parte del código se carga en el propio interfaz de red. -- emulada: todo el proceso lo ejecuta el procesador del nodo (aunque con menor overhead que TCP/IP). -- no “seguro” (reliable”)! -- bajo nivel: usar un interfaz. Por ejemplo, ya hay versiones de MPICH que soportan VIA. ARQUITECTURAS PARALELAS ´05-06

InfiniBand 2. InfiniBand (IBA) Objetivo: infraestructura de comunicaciones de altas prestaciones, basada en switches (intra) y routers (inter), para formar redes SAN (sustitución del bus compartido) - Los nodos se conectan mediante adaptadores especiales: HCA (nodos de cómputo) o TCA (nodos auxiliares). - Los switches interconectan los nodos de la red local, y los routers las redes locales entre sí. - Los enlaces operan a 2,5 Gb/s, unidireccionalmente, punto a punto. ARQUITECTURAS PARALELAS ´05-06

Cluster Computing ARQUITECTURAS PARALELAS ´05-06

Myrinet (www.myrinet.com)
- Infraestructura de comunicaciones de alto rendimiento (pero “cara”). - Enlaces a 2+2 Gbit/s (full duplex) fibra óptica Switches en crossbar - red de Clos / cut-through - Software propio de control de mensajes (GM) Implementaciones de Gbit ethernet / Via / Infiniband ARQUITECTURAS PARALELAS ´05-06

Myrinet ARQUITECTURAS PARALELAS ´05-06

otros productos Gigabit Eth. Infiniband Myrinet Qsnet (quadrics) SCI Bandwith (MB/s) 125 1250 300 1300 320 Latency (µs) 100 5 - 7 7 3 2 in-switch (µs) 40 0,2 - Coste/ puerto (300 e.) ++ (1000?) + VIA: integrado / emulado MPI: versiones propias o de terceros (LAM, MPICH) ARQUITECTURAS PARALELAS ´05-06

 CUIDADO: si, por ejemplo, utilizamos PCs para formar el cluster, la conexión red/nodo se hará a través del bus PCI. Bien pudiera ser que fuera ese elemento el que limitara la velocidad de comunicación! PCI → MB/s PCI-X → GB/s PCI Express → 6,8 GB/s ARQUITECTURAS PARALELAS ´05-06

2ª parte TOP500 diciembre 2005 ARQUITECTURAS PARALELAS ´05-06

top500  Lista de los 500 supercomputadores más rápidos del mundo ejecutando el banco de pruebas LINPACK.  Sistemas de ecuaciones lineales densos (cálculo matricial). Permite obtener velocidades muy altas (un máximo virtual).  Se mide el valor de Rmax, Nmax y N1/2. ARQUITECTURAS PARALELAS ´05-06

top500  Cada 6 meses desde 1993 (junio/diciembre)  Lista nº 26 - diciembre 2005  Más o menos aceptado por todos los fabricantes.  Análisis de tendencias / evolución del mercado. ARQUITECTURAS PARALELAS ´05-06

top500  evolución de la velocidad de cálculo  top10  área de uso / aplicaciones  tipo de procesador / fabricantes / n. proc.  tipo de arquitectura  red de comunicación  sistema operativo ARQUITECTURAS PARALELAS ´05-06

x2 BlueGene NEC Earth Sim. IBM ASCI white LLNL Intel ASCI red Sandia 2.300 TF/s (4,6 GF/s) pr. ARQUITECTURAS PARALELAS ´05-06

Installation site Country/year
top10 (dic-05) Rank Computer N. Pr. Rmax Rpeak (Tflop/s) Nmax Nhalf (x1000) Installation site Country/year Type 1 mpp toro3D IBM BlueGene/L eServer BlueGene PowerPC - 0,7 GHz 1.769 - DOE / NSSA / LLNL USA / 2005 Research 1 2 mpp toro3D IBM BGW eServer BlueGene PowerPC - 0,7 GHz 40.960 91 115 983 - IBM T. Watson USA / 2005 Research 2 3 mpp toro3D ASC Purple eServer pSeries p5 575 Power5 – 1,9 GHz – SP switch 10.240 63 78 1.280 - DOE / NSSA / LLNL USA / 2005 Research 3 4 mpp cross/hip SGI Columbia SGI Altix, Voltaire IA GHz NUMAlink/Infiniband 10.160 52 61 1.290 - NASA USA / 2004 Research 5 cluster Dell Thunderbird PowerEdge, EMT64, 3,6 GHz Infiniband 8.000 38 65 975 110 Lawrence Livermore Nat. Lab. USA / 2005 Research ARQUITECTURAS PARALELAS ´05-06

Installation site Country/year
top10 (dic-05) Rank Computer N. Pr. Rmax Rpeak (Tflop/s) Nmax Nhalf (x1000) Installation site Country/year Type 6 mpp Cray Red Storm XT3 AMD x86_64, 2 GHz 10.880 36 44 1.100 - Sandia Nat. Lab. USA / 2005 Research 7 vec / smp crossbar NEC Earth-Simulator SX6 vector pr. 5.120 36 41 1.075 266 Earth Simulator Center Japan / 2002 Research 8 cluster IBM Mare Nostrum JS20 cluster PowerPC, 2,2 GHz – Myrinet 4.800 28 42 978 - Barcelona SC Center Spain / 2005 Academic 9 mpp Stella eServer BlueGene PowerPC, 0,7 GHz 12.288 27 34 516 - Univ. Groningen Netherlands / 2005 Academic 10 mpp Cray Jaguar XT3 AMD x86_64, 2,4 GHz 5.200 21 25 - Oak Ridge N.L. USA / 2005 Research (x3) (x2,5) ARQUITECTURAS PARALELAS ´05-06

top500 (dic. - 05) área de utilización Cant. % Rmax (TF/s) #proc. Industry 265 53 661 Research 121 24,2 1.171 Academic 71 14,2 356 98.730 Vendor 17 3,4 13.980 Classified 22 4,4 51 12.760 Govern. 4 0,8 14 3.664 Total 500 100 2.305 ARQUITECTURAS PARALELAS ´05-06

top500 (dic. - 05) arquitectura del procesador Cant. % Rmax (TF/s) #proc. Scalar 486 97,2 2.208 Vector 14 2,8 97 10.426 Total 500 100 2.305 %4, %2,4 ARQUITECTURAS PARALELAS ´05-06

top500 (dic. - 05) procesadores Cant. % Rmax (TF/s) #proc. Pentium 4 Xeon 203 40,6 556 Xeon EM64T 82 16,4 248 58.864 PowerPC 440 / 970 28 5,6 806 Power 3/4/5 44 8,8 262 69.370 Itanium 2 46 9,2 216 45.064 Cray X1 8 1,6 45 3.034 PA-8700/8800 17 3,4 30 14.784 Alpha 4 0,8 24 15.160 Total (+) 500 100 2.305 ARQUITECTURAS PARALELAS ´05-06

top500 (dic. - 05) fabricante del sistema Cant. % Rmax (TF/s) #proc. IBM 219 43,8 1.218 HP 168 33,6 430 Cray Inc. 18 3,6 144 29.735 SGI 127 24.224 Dell 114 25.020 Linux Network 16 3,2 52 14.706 NEC 6 1,2 53 7.368 Self made 5 1 37 7.384 Hitachi 19 1.506 Total (+) 500 100 2.305 ARQUITECTURAS PARALELAS ´05-06

top500 (dic. - 05) 1450 ARQUITECTURAS PARALELAS ´05-06

VP500 Y-MP C90 CM5 Paragon T3D SP2 T3E ASCI Red Sun HPC CM2 Earth Sim. ARQUITECTURAS PARALELAS ´05-06

top500 (dic. - 05) arquitectura del sistema Cant. % Rmax (TF/s) #proc. Cluster 360 72 1.110 %48, 3 %44 MPP 104 20,8 1.116 %49, 11 %52 Constell. 36 7,2 78 27664 Total 500 100 2.305 un año → x 2, x 1,79 ARQUITECTURAS PARALELAS ´05-06

top500 (dic. - 05) red de conexión Cant. % Rmax (TF/s) #proc. Gigabit Eth. 249 49,8 611 Myrinet 101 20,2 336 91.244 SP switch 42 8,4 262 67.226 Infiniband 27 5,4 128 28.592 Proprietary 20 4 530 Crossbar 17 3,4 114 15.866 NUMA link 15 3 66 11.632 Quadrics 14 2,8 89 30.052 Total (+) 500 100 2.305 ARQUITECTURAS PARALELAS ´05-06

371 100 ARQUITECTURAS PARALELAS ´05-06

Spain in the top 500 (dic. – 03/04)
4 Mare Nostrum, Supercomputer Center, Barcelona IBM eServer BladeCenter pr. - 20,5 Tflop/s (PowerPC, 2,2 GHz) 269 Carrefour Integrity SuperDome, 1,5 GHz (HP) 256 pr. - 1,2 Tflop/s 441 Vodafone SuperDome, 875 MHz 480 pr. – 0,95 Tf/s 227 Centro de Supercomputación de Galicia Integrity Superdome, 1.5 GHz (HP) 128 pr Gflop/s 310 T-Systems 312 Vodafone Superdome, 875 MHz (HP) 256 pr ,5 Gflop/s 363 I.N. Meteorología Cray X1 (Cray Inc.) 40 pr Gflop/s 457 Airtel Móvil 464 Generalitad 477 PT Comunications Superdome, 875 MHz (HP) 192 pr Gflop/s ARQUITECTURAS PARALELAS ´05-06

Spain/France in the top 500(dic. - 05)
8 Mare Nostrum, Supercomputer Center, Barcelona JS20 cluster pr. – 27,8 Tflop/s (PowerPC 970, 2,2 GHz, Myrinet) 400 I.N. Meteorología Cray X1E, 1,13 GHz (MPP, crossbar) 124 pr. – 1,8 Tflop/s 62/100 CEA NovaScale 5180, Itanium2, 1,6 GHz / const., 1.008, Quadrics / 5,8 TF/s AlphaServer SC45, 1 GHz / cluster, 2.560, Quadrics / 4 TF/s 91 Total IBM eServer p5 / MPP, 1024 pr. Power, Myrinet / 4,3 TF/s ARQUITECTURAS PARALELAS ´05-06

EHU - KAT enero de 2006 títulos de crédito JAVIER MUGUERZA
AGUSTIN ARRUABARRENA KONPUTAGAILUEN ARKITEKTURA ETA TEKNOLOGIA ARQUITECTURA Y TECNOLOGÍA DE COMPUTADORES INFORMATIKA FAKULTATEA EUSKAL HERRIKO UNIBERTSITATEA EHU - KAT enero de 2006 ARQUITECTURAS PARALELAS ´05-06

BlueGene/L 15 way fully assoc. pref. caches 11 GB/s 27 GB/s 5,5 GB/s 22 GB/s 5,5 GB/s ARQUITECTURAS PARALELAS ´05-06

BlueGene/L ARQUITECTURAS PARALELAS ´05-06

BlueGene/L 32 x 32 x 64 1,4 Gb/s (x2) 5,6 Tb/s bisección tr (max) = 69 ns cut-through adaptativo deadlock-free active messages ARQUITECTURAS PARALELAS ´05-06

BlueGene/L ARQUITECTURAS PARALELAS ´05-06

asc purple ARQUITECTURAS PARALELAS ´05-06

earth simulator ARQUITECTURAS PARALELAS ´05-06

mare nostrum (www.bsc.org.es)
ARQUITECTURAS PARALELAS ´05-06

ARQUITECTURAS PARALELAS LOS SISTEMAS PARALELOS

Presentaciones similares

Presentación del tema: "ARQUITECTURAS PARALELAS LOS SISTEMAS PARALELOS"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

ARQUITECTURAS PARALELAS LOS SISTEMAS PARALELOS

Presentaciones similares

Presentación del tema: "ARQUITECTURAS PARALELAS LOS SISTEMAS PARALELOS"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback