ARQUITECTURAS PARALELAS

Presentación del tema: "ARQUITECTURAS PARALELAS"— Transcripción de la presentación:

1 ARQUITECTURAS PARALELAS
ACTUALES

2 Arquitectura Paralela : AYER
Históricamente, la computación paralela ha consistido en una serie de modelos rivales y arquitecturas divergentes, sin una línea de desa- rrollo predecible Software de Aplicaciones Software del Sistema Arrays Sistólicos SIMD Arquitectura Pase de Mensajes Memoria Compartida Flujo de Datos La incertidumbre arquitectural ha paralizado el desarrollo del software paralelo

3 Arquitectura Paralela : HOY
Extensión de la noción clásica de la arquitectura de computadores (ISA), para soportar comunicación y cooperación Arquitectura de Comunicaciones = Abstracción de la Comunicación + Implementación Abstracción: Primitivas de comunicación HW/SW visibles al programador (ISA) Ej.: memoria compartida, pase de mensajes, … Se asume que las primitivas se implementan eficientemente Implementación: Integración del controlador de comunicaciones Estructura de la red de interconexión

4 Arquitectura de Comunicaciones
Multi- Programación Memoria Compartida Pase de Mensajes Paralelismo de datos Modelo de Programación Compilación Librería Nivel Usuario Abstracción de la Comunicación Nivel Sistema Soporte del Sistema Operativo Hardware de Comunicación Frontera Hardware/ Software Medio de Comunicación Físico Objetivos: Amplia aplicabilidad Facilidad de programación Escalable Bajo coste

5 Arquitecturas de Memoria Compartida
Propiedad Clave: Todos los procesadores pueden acceder de forma directa a todas las posiciones de memoria en el sistema (mecanismo convenien- te y rápido (?) para la comunicación) Abstracción de la Comunicación: Espacio de Direccionamiento Virtual Compartido Múltiples procesos pueden tener una región de memoria com- partida proyectada sobre su espacio de direcciones virtual, de modo que las escrituras de variables residentes en esta región son visibles para el resto de los procesos.

6 Espacio de Direcciones Compartido
Pn LOAD Direcciones Físicas Comunes P2 STORE P1 P0 Espacio de Direcciones Compartido Direcciones Físicas Diferentes Espacio de Direcciones Privado La comunicación, compartición y sincronización se hace mediante operaciones Load/Store de variables compartidas Modelo de programación agradable (uniprocesador + sincronización) Una desventaja potencial es la escalabilidad

7 Arquitecturas de Pase de Mensajes
Propiedad Clave: La comunicación (cooperación entre procesadores está integrada al nivel de I/O, y no en el sistema de memoria (ahora los bloques de diseño son computadores completos) Abstracción de la Comunicación: Espacio de Direccionamiento Local Los procesadores solo pueden acceder a su memoria local, establecién- dose la comunicación/sincronización mediante llamadas explícitas al S.O. (mensajes send/receive)

8 Abstracción del Pase de Mensajes
recv Y,P,t send X,Q,t Dirección Y Dirección X Espacio de Direcciones Local Espacio de Direcciones Local Proceso P Proceso Q La combinación send-recv establece una copia memoria a memoria y una sincronización entre los procesos involucrados Enviar un mensaje consume mucho tiempo: - Construir la cabecera del mensaje; copiar los datos en el buffer de la red; enviar el mensaje; copiar los datos en el buffer receptor; copiar los datos del espacio S.O. al espacio usuario

9 Organización de Paralelismo de Datos
Procesador de Control P-M P-M    P-M P-M P-M    P-M          P-M P-M    P-M Matriz de muchos procesadores simples y con poca memoria La matriz se conecta a un procesador de control de propósito general Comunicación eficiente general y especializada Sincronización global rápida

10 Arquitecturas de Paralelismo de Datos
Modelo de Programación: Las operaciones se ejecutan paso a paso y en paralelo sobre cada Elemento de una gran estructura de datos regular (típicamente un array) Las operaciones suelen ser aritméticas y transferencias globales de datos Cada procesador tiene asociado un elemento de la estructura de datos

11 Evolución y Convergencia
Origen a mediados de los 60 : El coste hardware/temporal de leer una instrucción era muy superior al de su ejecución. Muchas aplicaciones científicas operan sobre datos estructurados matricialmente y con depen- dencias locales. Resurgimiento a mediados de los 80 : La tecnología VLSI permite construir máquinas con miles de procesadores elementales, con procesamiento a nivel de bit y palabras multi-bit Aplicabilidad restringida: Máquinas restringidas a cálculos científicos regulares Utilidad controvertida : Las aplicaciones regulares suelen exhibir una fuerte localidad espacial y temporal, haciéndolas Aptas para su paralelización eficiente en multiprocesadores El modelo de programación paralelismo de datos ha evolucionado en el modelo SPMD (Single Program Multiple Data)

12 ! Hardware Organizations : Scalability Network Network
M M    M Network Network M M M $ $ $ $ $ $ P P P    P P P NUMA (Non-Uniform Memory Access) Dance-Hall or UMA (Uniform Memory Access) - Medium/low-BW network - Medium/low-latency memory access - High-BW network - High-latency memory access Complex memory controller ! Cache coherency problem

13 Arquitectura Paralela Genérica
Network    M C $ P Colección de computadores esencialmente completos, incluyendo uno o varios procesadores y Memoria, conectados a través de una red de comunicaciones escalable Cada nodo incluye un controlador de comunicaciones, que determina las características clave de la arquitectura: denominación, compartición, protección, sincronización, ...

14