Introducción a la Computación Paralela Germán Larrazábal Departamento Computación, FACYT, Universidad de Carabobo, Venezuela

Presentación del tema: "Introducción a la Computación Paralela Germán Larrazábal Departamento Computación, FACYT, Universidad de Carabobo, Venezuela"— Transcripción de la presentación:

1

2 Introducción a la Computación Paralela Germán Larrazábal Departamento Computación, FACYT, Universidad de Carabobo, Venezuela glarraza@uc.edu.ve

3 Introducción La Computación Paralela Moda Estrategia de Mercado Complicar el desarrollo de software !!REALIDAD¡¡

4 Operaciones y Tiempo 10 13 320.000 años 10 10 9 10 8 10 6 10 3 10 1 320.años 32 años 40 años 1.5 semanas 30 minutos Tiempo No. Operaciones 10 12 10 15 10 18 10 20 10 22 10 23 LINPACK (10 4 x 10 4 )Aerodinámica (viento) Turbulencia (viento) Aerodinámica (avión) Turbulencia (avión) Combustión 1 Mflop 1 Gflop 1 Tflop

5 Antes de Paralelizar Evaluar la eficiencia del código secuencial Herramientas de Profiling –Perfex –SpeedShop –ssrun ( ejecución ideal ) Compilar con las opciones de optimización (-O3) –Desenrosque de bucles –software pipelining Ayudar al compilador escribiendo un código eficiente –localidad de datos –bucles

6 Paralelismo Qué es el paralelismo y dónde está? PARALELISMO: Posibilidad de ejecutar varias acciones simúltaneamente A nivel de programas A nivel de subrutinas A nivel de bucles A nivel de sentencias PARALELISMO GRANO GRUESO PARALELISMO GRANO FINO

7 Paralelismo ¿Qué es el software paralelo? Son programas que usan más de un procesador –Programación en Memoria Compartida: Explota el paralelismo de grano fino –Programación de Paso de Mensajes: Explota el paralelismo grano grueso

8 Paralelismo ¿Qué tipo de paralelismo? Memoria Compartida –Fácil programación. Paralelismo extraído por el compilador –Poca escalabilidad (O(10) procesadores) –Requiren un hardware más costoso Memoria Distribuida (Paso de Mensajes) –Programación compleja –Usualmente mayor aprovechamiento de la localidad –Alta escalabilidad –Alta portabilidad => Se puede ejecutar el código en plataformas hardware sencillas

9 Arquitecturas Paralelas P0P1 P n-1 MEMORIA P0 Memoria P1 Memoria Pn-1 Memoria Compartida Memoria Distribuida

10 Arquitecturas Paralelas Memoria Compartida-Distribuida Memoria P0P1P2P3 Memoria P0P1P2P3 Memoria P0P1P2P3 P0P1Pn-1

11 Paralelismo ¿Qué estrategia de programación seguir? OpenMP –Fácil programación a nivel de directivas HPF (High Performance Fortran) –Simple programación –Faltan directivas de distribución de datos realmente eficaces MPI (Message Passing Interface) –Algo más complejo de programar –Máxima flexibilidad

12 Paralelismo Problemas de la Paralelización Balanceo de Carga –Distribución de datos adecuada para TODAS las faces de la simulación Minimización de las comunicaciones –Mínimo número de mensajes –Mínima longitud de los mensajes –Optima distribución de las comunicaciones sobre la topología de la red de interconexión

13 Diseño de Algoritmos Paralelos Problema Partición Comunicación Agrupación Asignación