Departamento de Computación, FACYT, Universidad de Carabobo

Presentación del tema: "Departamento de Computación, FACYT, Universidad de Carabobo"— Transcripción de la presentación:

1 Departamento de Computación, FACYT, Universidad de Carabobo
Introducción a la Computación de Alto Rendimiento: Computación Paralela, Computación Distribuida, Computación Grid y Más Germán Larrazábal Departamento de Computación, FACYT, Universidad de Carabobo

2 Contenido Prefacio Qué es la Computación de Alto Rendimiento?
Computación Paralela Computación Distribuida, Computación Grid, y más Futura tendencia en HPC

3 Propósito Propósito del curso:
Educar a los investigadores acerca del valor e impacto de las técnicas de computación de alto rendimiento (HPC) y tecnologías en ciencias computacionales e Ingeniería Educar a los investigadores acerca de las técnicas y herramientas de computación paralela, y mostrar las posiblidades que presentan éstas mediante computación distribuida y Computación Grid

4 Metas Las metas de esta presentación son ayudar a:
Entender en que se basa la computación de alto rendimiento Desarrollar un comprensivo entendimeinto sobre la computación paralela Comenzar a entender cómo la computación Grid y Distribuida realzarán en el futuro las capacidades de las ciencias computacionales

5 Contenido Prefacio Qué es la Computación de Alto Rendimiento?
Computación Paralela Computación Distribuida, Computación Grid, y más Futura tendencia en HPC

6 ‘Supercomputación’ Primero, los sistemas HPC fueron sistemas basados en vectores (e.g. Cray) llamados ‘supercomputadores’ porque ellos eran un orden de magnitud más poderosos que los sistemas comerciales Ahora, un ‘supercomputador’ está formado por computadores pequeños Los sistemas grandes son versiones escaladas de sistemas pequeños Sin embargo, la ‘Computación de Alto Rendimiento tiene varios significados

7 Definiendo HPC Computación de Alto Rendimiento:
Puede significar muchas Flop Por procesador En total sobre varios procesadores trabajando sobre un mismo problema En total sobre varios procesadores trabajando sobre problemas relacionados Puede significar rápidez de ejecución Sistemas más poderosos Usando multiples sistemas simultáneamente

8 Mi Definición HPC: Cualquier técnica computacional que soluciona un problema grande de forma más rápida que usando posiblemente sistemas simples Procesadores de alto redimiento (e.g. Cray, NEC) Computación Paralela Computación Distribuida Computación Grid

9 Mi Definición Computación Paralela: sistemas simples con varios procesadores trabajando sobre el mismo problema Computación Distribuida: varios sistemas acoplados por un secuenciador de trabajo sobre problemas relacionados Computación Grid: varios sistemas acoplados por software y redes para trabajar en conjunto en poblemas simples o en problemas relacionados

10 Importancia de HPC HPC ha tenido tremendo impacto sobre todas las areas de ciencias computacionales e ingenieria en la academia, gobierno e industria. Muchos problemas han sido solucionados con técnicas de HPC que eran imposibles de solucionar con estaciones de trabajo individuales o computadores personales.

11 Contenido Prefacio Qué es la Computación de Alto Rendimiento?
Computación Paralela Computación Distribuida, Computación Grid, y más Futura tendencia en HPC

12 Qué es un Computador Paralelo?
Computación Paralela: el uso de multiples computadores o procesadores trabajando en conjunto sobre una tarea común Computador Paralelo: un computador que contiene multiples procesadores: Cada procesador trabaja sobre su sección del problema Los procesadores permiten intercambio de información con otros procesadores

13 Computadores Paralelos vs. Seriales
Dos grandes ventajas de los computadores paralelos: Rendimiento Memoria Los computadores Paralelos son capaces de resolver problemas que: Requerien una rápida solución Requieren gran cantidad de memoria Ejemplo que requiere ambas: predicción de clima

14 Computadores Paralelos vs. Seriales
Algunos beneficios de los computadores paralelos: muchos datos dominios muy grandes búsqueda de soluciones en regiones muy grandes muchas particulas muchos pasos de tiempo largas ejecuciones mejor resolución temporal ejecución más rápida tiempo más rápidos para obtener solución muchas soluciones al mismo tiempo largas simulaciones en tiempo real

15 Rendimento de un Computador Serial
Aunque la Ley de Moore’s ‘predice’ que el rendimiento de un simple procesador se dobla cada 18 meses, los limites físicos de la tecnología serán alcanzados

16 Tipos de Computadores Paralelos
La manera más simple y útil para clasificar los computadores paralelos modernos es por su modelo de memoria: memoria compartida memoria distribuida

17 Compartida vs. Distribuida
Memoria Compartida – Un espacio simple de direccionamiento. Todos los procesadores tienen acceso a un pool de memoria compartida. (Eje.: SGI Origin, Sun E10000) BUS Memory P P P P P P Memoria Distribuida – cada procesador tiene su propia memoria local. Se debe hacer paso de mensaje para intercambiar datos entre procesadores. (Eje.: CRAY T3E, IBM SP, clusters) M M M M M M Network

18 Memoria Compartida: UMA vs. NUMA
Acceso Uniforme a Memoria (UMA): Cada procesador tiene un acceso uniforme a memoria. También conocido como multiprocesadores simétricos, o SMPs (Sun E10000) P P P P P P BUS Memory P P P P P P P P Acceso No-Uniforme a Memoria (NUMA): El tiempo de acceso depende de la ubicación de los datos. Los accesos locales son más rápidos. Son más fácilmente escalables que SMPs (SGI Origin) BUS BUS Memory Memory Network

19 Memoria Distribuida: MPPs vs. Clusters
Nodos Procesador-memoria son conectados por algún tipo de red de interconexión Procesador Masivamente Paralelo (MPP): completamente integrado, imágen de un sistema simple. Cluster: computadores individuales conectados por un s/w CPU MEM Interconnect Network

20 Procesadores, Memoria y Redes
Los sistemas de memoria compartida y distribuida tienen: procesadores: RISC procesadores memoria: DRAM red/interconexión: entre los procesadores y memoria (bus, crossbar, fat tree, torus, hypercube, etc.) Estas piezas se tienen que describir en detalles, comenzando con definiciones de terminos.

21 Procesador-Términos Relacionados
Período de Reloj (cp): el mínimo intervalo de tiempo entre sucesivas acciones en el procesador. Fijo: depende del diseño del procesador. Medidas en nanosegundos (~1-5 para procesadores muy rápidos). Inverso de la frequencia (MHz). Instrucción: una acción ejecutada por un procesador, tal como una operación matemática o una operación de memoria. Registro: una pequeña y extremadamente rápida ubicación para almacenar datos o instrucciones en el procesador.

22 Procesador-Términos Relacionados
Unidad Funcional (FU): un elemento de hardware que ejecuta una operación sobre un operando o parejas de operaciones. Comúmente las FUs son ADD, MULT, INV, SQRT, etc. Pipeline : técnica de solapar multiples instrucciones en ejecución. Superscalar: multiples instrucciones son posibles por período de reloj. Flops: operaciones de punto flotante por segundo.

23 Procesador-Términos Relacionados
Cache: memoria rápida (SRAM) cercana del procesador. Ayuda a mantener instrucciones y datos cercanos a las unidades funcionales, entonces el procesador puede ejecutar más instrucciones más rápidamente. Translation-Lookaside Buffer (TLB): mantiene direcciones de páginas (bloques de memoria) en memoria principal que recientemente han sido accesados (una cache para direcciones de memoria)

24 Memoria-Términos Relacionados
SRAM: Static Random Access Memory (RAM). Muy rápida (~10 nanosegundos), hecha usando el mismo tipo de tecnología del procesador, entonces la velocidad es comparable. DRAM: Dynamic RAM. El tiempo de acceso es más lento (~100 nanosegundos), pero mantiene más bits y es menos costosa (10x más barata). Jerarquía de Memoria: la jerarquía de memoria en un sistema paralelo, desde registros a cache a memoria local a memoria remota. Luego….

25 Interconexión-Términos Relacionados
Latencia: Redes: Cuanto tiempo se lleva incializar el envio de un "mensaje"? Medido en microsegundos. Procesador: Cuanto tiempo se lleva la salida de resultados de algunas operaciones, tales como suma punto flotante, dividir etc., las cuales son hechas en pipelined?) Ancho de Banda: Qué porcentaje de data puede ser sostenida una vez que el mensaje es inicializado? Medido en Mbytes/sec o Gbytes/sec

26 Interconexión-Términos Relacionados
Topología: la forma en la cual los nodos son conectados. La mejor elección es conexión completa (cualquier procesador con cualquier otro). Infactible debido a razones de costo y escalamiento. Por ejemplo, los procesadores son conectados en alguna variación de mallas, torus, o hypercube. 3-d hypercube 2-d mesh 2-d torus