ARQUITECTURAS PARALELAS ACTUALES

Arquitectura Paralela : AYER Históricamente, la computación paralela ha consistido en una serie de modelos rivales y arquitecturas divergentes, sin una línea de desa- rrollo predecible Software de Aplicaciones Software del Sistema Arrays Sistólicos SIMD Arquitectura Pase de Mensajes Memoria Compartida Flujo de Datos La incertidumbre arquitectural ha paralizado el desarrollo del software paralelo

Arquitectura Paralela : HOY Extensión de la noción clásica de la arquitectura de computadores (ISA), para soportar comunicación y cooperación Arquitectura de Comunicaciones = Abstracción de la Comunicación + Implementación Abstracción: Primitivas de comunicación HW/SW visibles al programador (ISA) Ej.: memoria compartida, pase de mensajes, … Se asume que las primitivas se implementan eficientemente Implementación: Integración del controlador de comunicaciones Estructura de la red de interconexión

Arquitectura de Comunicaciones Multi- Programación Memoria Compartida Pase de Mensajes Paralelismo de datos Modelo de Programación Compilación Librería Nivel Usuario Abstracción de la Comunicación Nivel Sistema Soporte del Sistema Operativo Hardware de Comunicación Frontera Hardware/ Software Medio de Comunicación Físico Objetivos: Amplia aplicabilidad Facilidad de programación Escalable Bajo coste

Arquitecturas de Memoria Compartida Propiedad Clave: Todos los procesadores pueden acceder de forma directa a todas las posiciones de memoria en el sistema (mecanismo convenien- te y rápido (?) para la comunicación) Abstracción de la Comunicación: Espacio de Direccionamiento Virtual Compartido Múltiples procesos pueden tener una región de memoria com- partida proyectada sobre su espacio de direcciones virtual, de modo que las escrituras de variables residentes en esta región son visibles para el resto de los procesos.

Espacio de Direcciones Compartido Pn LOAD Direcciones Físicas Comunes P2 STORE P1 P0 Espacio de Direcciones Compartido Direcciones Físicas Diferentes Espacio de Direcciones Privado La comunicación, compartición y sincronización se hace mediante operaciones Load/Store de variables compartidas Modelo de programación agradable (uniprocesador + sincronización) Una desventaja potencial es la escalabilidad

Arquitecturas de Pase de Mensajes Propiedad Clave: La comunicación (cooperación entre procesadores está integrada al nivel de I/O, y no en el sistema de memoria (ahora los bloques de diseño son computadores completos) Abstracción de la Comunicación: Espacio de Direccionamiento Local Los procesadores solo pueden acceder a su memoria local, establecién- dose la comunicación/sincronización mediante llamadas explícitas al S.O. (mensajes send/receive)

Abstracción del Pase de Mensajes recv Y,P,t send X,Q,t Dirección Y Dirección X Espacio de Direcciones Local Espacio de Direcciones Local Proceso P Proceso Q La combinación send-recv establece una copia memoria a memoria y una sincronización entre los procesos involucrados Enviar un mensaje consume mucho tiempo: - Construir la cabecera del mensaje; copiar los datos en el buffer de la red; enviar el mensaje; copiar los datos en el buffer receptor; copiar los datos del espacio S.O. al espacio usuario

Organización de Paralelismo de Datos Procesador de Control P-M P-M    P-M P-M P-M    P-M          P-M P-M    P-M Matriz de muchos procesadores simples y con poca memoria La matriz se conecta a un procesador de control de propósito general Comunicación eficiente general y especializada Sincronización global rápida

Arquitecturas de Paralelismo de Datos Modelo de Programación: Las operaciones se ejecutan paso a paso y en paralelo sobre cada Elemento de una gran estructura de datos regular (típicamente un array) Las operaciones suelen ser aritméticas y transferencias globales de datos Cada procesador tiene asociado un elemento de la estructura de datos

Evolución y Convergencia Origen a mediados de los 60 : El coste hardware/temporal de leer una instrucción era muy superior al de su ejecución. Muchas aplicaciones científicas operan sobre datos estructurados matricialmente y con depen- dencias locales. Resurgimiento a mediados de los 80 : La tecnología VLSI permite construir máquinas con miles de procesadores elementales, con procesamiento a nivel de bit y palabras multi-bit Aplicabilidad restringida: Máquinas restringidas a cálculos científicos regulares Utilidad controvertida : Las aplicaciones regulares suelen exhibir una fuerte localidad espacial y temporal, haciéndolas Aptas para su paralelización eficiente en multiprocesadores El modelo de programación paralelismo de datos ha evolucionado en el modelo SPMD (Single Program Multiple Data)

! Hardware Organizations : Scalability Network Network M M    M Network Network M M M $ $ $ $ $ $ P P P    P P P NUMA (Non-Uniform Memory Access) Dance-Hall or UMA (Uniform Memory Access) - Medium/low-BW network - Medium/low-latency memory access - High-BW network - High-latency memory access Complex memory controller ! Cache coherency problem

Arquitectura Paralela Genérica Network    M C $ P Colección de computadores esencialmente completos, incluyendo uno o varios procesadores y Memoria, conectados a través de una red de comunicaciones escalable Cada nodo incluye un controlador de comunicaciones, que determina las características clave de la arquitectura: denominación, compartición, protección, sincronización, ...