PROGRAMACIÓN PARALELA Tema 4: Metodología de la programación Foster, cap 2 Programación Paralela Metodología de la Programación 1

Programación paralela Especificación de problema  algoritmo paralelo. Programación paralela: no hay recetas, creatividad, aproximación metodológica. Programación Paralela Metodología de la Programación 2

Fases Particionado: descomponer datos y tareas independiente del número de procesadores Comunicación: establecer comunicaciones entre tareas. Aglomeración: combinación de tareas para reducir costes. Mapeo: asignación de tareas a procesadores, maximizar balanceo, minimizar comunicaciones. Programación Paralela Metodología de la Programación 3

Particionado Descomposición del problema de grano fino: gran número de tareas. Descomposición del dominio: primero se descomponen los datos y después las tareas. Descomposición funcional: primero se descomponen las tareas y después los datos. Programación Paralela Metodología de la Programación 4

Descomposición del dominio Conjunto de datos del mismo tamaño. Tareas que trabajen sobre esos datos. Tareas pueden necesitar información de distintos conjuntos de datos. Posibles distintas particiones: Ejemplo: malla tridimensional. Programación Paralela Metodología de la Programación 5

Descomposición funcional Puede haber datos distintos para las distintas funciones, o compartición de datos: Por duplicación, Por comunicación Ejemplo: modelado del clima, tratamiento de imágenes. Programación Paralela Metodología de la Programación 6

Particionado, chequeo ¿Las tareas superan al menos en un orden de magnitud el número de procesadores? Si no, poca flexibilidad para los pasos posteriores. ¿Se evita duplicación de computación y de almacenamiento? Si no, puede dar lugar a algoritmo no escalable. ¿Son las tareas de tamaño similar? Si no, puede ser difícil hacer una asignación balanceada. ¿Aumenta el número de tareas con el tamaño del problema? ¿Se han estudiado distintas particiones? ¿y descomposición del dominio y funcional? Programación Paralela Metodología de la Programación 7

Comunicación Se definen canales (directos o indirectos) entre tareas que tienen que comunicar datos. Se definen mensajes a enviar y recibir. En paralelismo de datos no se podrán crear los canales. Optimización de prestaciones: Distribuyendo comunicaciones (paralelismo en comunicaciones). El sistema puede limitarlo (redes). Comunicaciones globales: identificar conjuntos de tareas que intervienen en la comunicación. Utilizar rutinas optimizadas, o programarlas si no están disponibles. Solapar comunicación y computación (pipeline). Programación Paralela Metodología de la Programación 8

Comunicación Ejemplos: Suma de n números. Relajación de Jacobi. Programación Paralela Metodología de la Programación 9

Comunicación Preferible comunicación estructurada. No estructurada: dificulta la programación, puede necesitar algoritmos de asignación para mejorar balanceo y reducir comunicaciones, aumenta coste. Dinámica: se sabe en tiempo de ejecución. Ejemplo: matrices dispersas. Programación Paralela Metodología de la Programación 10

Comunicación Lectura de datos globales  comunicación asíncrona. Posibilidades: cada tarea testea periódicamente si recibe peticiones, otro conjunto de tareas para atender requerimientos, interrupciones. En Memoria Compartida problema de coherencia. Ejemplo: backtracking y branch & bound. Programación Paralela Metodología de la Programación 11

Comunicación, chequeo ¿Se han balanceado las comunicaciones? Si no, algoritmos poco escalables. Si estructura a la que se accede muy frecuentemente controlada por una tarea, cuello de botella: distribuir la estructura y crear más tareas. ¿Se comunica cada tarea con un número reducido? ¿Se pueden ejecutar las comunicaciones concurrentemente? Si no, puede dar lugar a algoritmo no escalable. ¿Impiden las comunicaciones que las tareas se ejecuten concurrentemente? ¿Se puede solapar comunicación y computación? Programación Paralela Metodología de la Programación 12

Aglomeración En la aglomeración y mapeo se piensa en el sistema donde se va a ejecutar. Para obtener buenas prestaciones puede ser necesario agrupar tareas: menos tiempo de creación, menos comunicaciones. Estudiar distintas maneras de agrupamiento. Si el número de tareas se reduce a una por procesador, el diseño está acabado. Ejemplo: suma de números, malla tridimensional. Programación Paralela Metodología de la Programación 13

Aglomeración Intentar reducir las comunicaciones: Reducir número de datos a enviar o número de mensajes. Efecto volumen/superficie: normalmente la computación es de un orden de magnitud mayor que la comunicación (matriz-vector, matriz-matriz), por lo que la relación computación/comunicación es mayor al aumentar la granularidad (relajación de Jacobi) Algunas veces se puede reducir la comunicación replicando computación o datos (suma en anillo) Si las tareas no pueden ejecutarse concurrentemente se pueden aglomerar tareas de diferentes niveles (suma en árbol) Programación Paralela Metodología de la Programación 14

Aglomeración Número de tareas: Con número reducido menor coste de creación. Número mayor que procesadores, permite: asignar varias tareas a un procesador y solapar comunicación y computación (por ejemplo, una tarea para comunicación y otra para computación en cada procesador), estudiar varias posibilidades de mapeo. El número de tareas debe variar con el tamaño del sistema y el problema. Tener en cuenta reutilización de código y que la salida de un programa puede ser entrada para otro. Programación Paralela Metodología de la Programación 15

Aglomeración, chequeo ¿Hemos aglomerado tareas que se comunican frecuentemente? Si no, puede haber un gran número de comunicaciones. Si se replican computaciones, ¿repercute en una reducción de las comunicaciones? Si se replican mucho puede ser perjudicial para la escalabilidad. ¿Se han generado tareas con coste de computación y de comunicación semejante (balanceo de la carga)? ¿Varía el número de tareas proporcionalmente al número de procesadores? Si no, no escalable. ¿Se ha reducido todo lo posible el número de tareas sin reducir posibilidades de escalabilidad ni producir desbalanceo? ¿Se posibilita la reutilización de código? Programación Paralela Metodología de la Programación 16

Mapeo Para reducir tiempo de ejecución: En memoria distribuida no hay herramientas automáticas eficientes para asignar tareas a procesadores, pero sí en memoria compartida. Para reducir tiempo de ejecución: asignar tareas que se comunican con frecuencia al mismo procesador (puede haber limitaciones en el número de tareas por procesador), y tareas que se ejecutan concurrentemente a procesadores distintos. Programación Paralela Metodología de la Programación 17

Mapeo Ejemplo: matrices dispersas, branch & bound. Algoritmos de balanceo de carga: Estáticos, si el número de tareas y la carga de cada una es conocido. Tienen coste adicional al principio. Dinámicos, si no se conoce a priori, o se conoce pero la distribución de la carga no es regular, o si las tareas pueden generar nuevas tareas. Coste adicional durante la ejecución. Ejemplo: matrices dispersas, branch & bound. Programación Paralela Metodología de la Programación 18

Mapeo ESTÁTICOS Bisección recursiva: Dividir la tarea en dos subgrupos minimizando comunicaciones y manteniendo balanceo. Y seguir recursivamente. Métodos probabilistas: Asignar arbitrariamente. Se obtiene buena distribución sólo en algunos casos. Las comunicaciones no deben ser locales. Mapeo cíclico: Si se sabe que la carga evoluciona regularmente. Puede ser cíclico por bloques. Preprocesado: Antes de le ejecución realizar una evaluación (trazado de rayos). Programación Paralela Metodología de la Programación 19

Mapeo DINÁMICOS Algoritmos locales: Cada procesador compara periódicamente su carga con la de procesadores vecinos, y puede haber intercambio de datos. Utilización de una bolsa de tareas: Los procesadores toman tareas de la bolsa y posiblemente generan nuevas tareas. La computación acaba cuando la bolsa está vacía y no hay posibilidad de generar nuevas tareas (problema de detección de la terminación). Un único manejador de la bolsa, puede ser un cuello de botella si las tareas son pequeñas y hay comunicaciones frecuentes. Jerarquía de manejadores, que se comunican entre ellos, y posiblemente un maestro común. Distribuida entre los procesadores. Cada procesador debe evaluar su bolsa además de computar, por lo que habrá tareas de computación y de gestión de la bolsa. Programación Paralela Metodología de la Programación 20

Mapeo, chequeo ¿Se ha considerado las dos posibilidades de creación estática y dinámica de tareas? Si se utiliza esquema maestro-esclavo, estudiar si el maestro se puede convertir en un cuello de botella, especialmente si puede llegar a ejecutarse en un gran número de procesadores. Si es posible, utilizar asignaciones estáticas, pues son simples, especialmente las probabilísticas y cíclicas, y no es necesario aplicar algoritmos de rebalanceo durante la ejecución. En caso de distribución probabilística o cíclica, asegurarse de que hay muchas más tareas que procesadores. Programación Paralela Metodología de la Programación 21