La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Técnicas de computación avanzada en mecánica de fluidos Sergio Hoyas CMT- Motores Térmicos, Universidad Politécnica de Valencia Funding: DEISA, BSC,CICYT,PIC.

Presentaciones similares


Presentación del tema: "Técnicas de computación avanzada en mecánica de fluidos Sergio Hoyas CMT- Motores Térmicos, Universidad Politécnica de Valencia Funding: DEISA, BSC,CICYT,PIC."— Transcripción de la presentación:

1 Técnicas de computación avanzada en mecánica de fluidos Sergio Hoyas CMT- Motores Térmicos, Universidad Politécnica de Valencia Funding: DEISA, BSC,CICYT,PIC Mark Simens, Javier Jiménez ETSI Aeronáuticos, UPM

2 CMT – Motores Térmicos Técnicas avanzadas...2

3 Arquitecturas actuales de cálculo Arquitecturas actuales Pc yServidores Pc y Servidores Grid computing Clusters y supercomputadores Técnicas avanzadas...3

4 Arquitecturas actuales de cálculo Servidores Ventajas: Inconvenientes Recomendaciones: - Hardware: Mejor Intel que AMD. El principal motivo el compilador de Intel. - Sistema operativo: Ubuntu o Debian. Nunca Suse. Evolución Objetivos Pruebas, problemas pequeños, post – proceso. Tamaño problema limitado, Espacio y refrigeración. Más procesadores, cálculo/memoria >>1. Precio, fácil administración cores, 16GB de Ram Técnicas avanzadas...4

5 Arquitecturas actuales de cálculo Grid y Supercomputadores - Se prevee un aumento significativo del ratio de procesadores por nodo. - -Máquinas de 2000 procesadores son ya comunes. - -En pruebas MariCell, que lleva el chip de la PlayStation 3 Administración, grandes recursos, herramientas.Ventajas: Inconvenientes Evolución Objetivos Acceso a recursos, administrativas. Barridos parámetricos, grandes problemas. Técnicas avanzadas...5

6 Software numérico Lenguajes de alto nivel: Matlab Fortran C Técnicas avanzadas...6

7 Software numérico Ventajas: Inconvenientes: Lenguajes de alto nivel: Matlab Fortran C Intuitivo, fácil de programar y depurar Imprescindible para la visualización de resultados Gran cantidad de bibliotecas y rutinas de fácil acceso Interpretado (no compilado) -> lento Es fácil de programar, pero difícil de programar bien. No tiene todavía implementaciones paralelas. La implementación GNU (Octave) está lejos de Matlab Técnicas avanzadas...7

8 Software numérico Potente y versatil. Gran cantidad de bibliotecas y rutinas, sobre todo básicas. Varias implementaciones paralelas: MPI, OpenMP. La mayoría de los compiladores son gratuitos bajo Linux. No hay herramientas de visualización de resultados. Los depuradores son poco intuitivos. No existen en paralelo El enlace con librerías y optimización puede ser difícil Lenguajes de alto nivel: Matlab Fortran C Ventajas: Inconvenientes: Técnicas avanzadas...8

9 Software numérico Lenguajes de alto nivel: Matlab Fortran C El más potente de los tres. Se puede hacer cualquier cosa. Admite varias paralelizaciones: MPI, OpenMP y Posix Enorme cantidad de recursos de libre acceso en la red Muy díficil de programar bien para un no-informático. Gran cantidad de herramientas no intuitivas. Ventajas: Inconvenientes: Técnicas avanzadas...9

10 Claves Los códigos deben estar llenos de comentarios ¡Velocidad vs Legibilidad! Nombre de rutinas y variables: significativo y consecuente Basicas: Orden: columnas, filas. Matlab: Ordenes vectoriales. Predimensionalización Avanzadas: Memoria cache Minimización de llamadas a funciones Legilibidad Reglas generales Fortran: Trabajar punto a punto. Implicit none Técnicas avanzadas...10

11 Herramientas Matlab: Profile on; My_code; profile viewer. Compilador: mcc –m My_code Fortran ifort –pg my_code.f90 ;./a.out; gprof gmon.out a.out Fortran y C/C`++ gdb Profilers Bibliotecas FFT: FFTW Álgebra lineal básica BLAS (Basic Linear Algebra Subprograms) Álgebra lineal Lapack (Linear Algebra PACKage) Varios Numerical Recipes Técnicas avanzadas...11

12 Ejemplo práctico: DNS en Turbulencia Capas límites Canales Dos ejemplos Características: No estudiamos casos concretos de aplicaicón inmediata en la ingeniería. Son casos construidos ad-hoc, para estudiar la física de la turbulencia de pared Las capas límites son más parecidas a la realidad Los casos presentados son los más grandes calculados en cada caso. Técnicas avanzadas...12

13 ¿Que herramientas hay en Ingeniería? Son ecuaciones sobre las magnitudes fluidas medias Algortimos rápidos, pero no muy precisos. Necesitan SIEMPRE validación experimental Rans: Reynolds Averaged Navier Stokes LES: Large Eddy simulation Modelan sólo las escalas más pequeñas de la turbulencia, resolviendo las demás En gran expansión debido a la potencia mayor de ordenadores. Campo de investigación muy activo. Todavía no hay un modelo cerrado. Técnicas avanzadas...13 Herramientas Normalmente se usan malladores y códigos comerciales (Gambit, Fluent, StarCD) o libres (OpenFOAM)

14 ¡9 Millones de horas! ¿Para qué y por qué necesitamos 9e6 horas y 50 Tb? Cascada de Energía Richardson Kolmogorov (1941) Técnicas avanzadas...14

15 Cascada de Energía Técnicas avanzadas...15

16 Flujo de energía en turbulencia isótropa Flujos industriales típicos Estela de una persona caminando Capa límite de un avión Entrada Disipación Energía Esfuerzos Cascada Técnicas avanzadas...16

17 Cascadas en la turbulencia de pared Energía Viscosa Log Exterior Dissipación Energía Momento Técnicas avanzadas...17

18 Dominio flujo x z y Capa límite Técnicas avanzadas...18

19 Dominio flujo Técnicas avanzadas...19

20 Mallado del canal Espacio físico Espacio de Fourier # Puntos (Fis.) # Puntos (Fourier, R.) # Puntos (Fourier, C.) Memoria total 400GB (simple precision). Técnicas avanzadas...20

21 Simulaciones anteriores Kim, Moin and Moser, 1987, 180 (Cray XMP, NASA Ames) Del Álamo and Jiménez, 2003 (Kadesh, CEPBA) 550 Del Álamo, Moser, Jiménez and Zandonade, 2004 (Blue Horizon) 950 Del Álamo and Jiménez, 2003 (Kadesh, CEPBA) 180 Técnicas avanzadas...21

22 Simulaciones anteriores Técnicas avanzadas...22

23 Ecuaciones de Navier-Stokes Técnicas avanzadas...23

24 Forma Velocidad-Vorticidad 70-80% of time 99% of communication Técnicas avanzadas...24

25 Discretización en x y z Discretización Espacial: Fourier en x y z, diferencias finitas compactas en z con tomando Técnicas avanzadas...25

26 Ecuaciones en el espacio de Fourier Técnicas avanzadas...26

27 FFT. El problema del dealiasing Problema clásico de la turbulencia: como calcular por ejemplo como Error de aliasing Técnicas avanzadas...27

28 Dealiasing Dos formas de evitarlo: phase shifts y truncación o 3/2 Truncación: agrandamos la transformada 0 n m n+m n+m-N N/2KK-N/2 Técnicas avanzadas...28

29 Condición de Neumann para v Técnicas avanzadas...29

30 Discretización Método: Runge-Kutta de tercer orden (Spalart et al, 1991) 118 e6 ecuaciones/paso Técnicas avanzadas...30

31 Discretización - y Normal: Diferencias finitas compactas (Lele, 1991) N=M=7 N=M=5 Primera derivad: malla de 7 puntos. Mapeada a la original Segunda derivada: malla real Sistemas: métodos LU, sin pivotaje, adaptadas de Numerical Recipes Técnicas avanzadas...31

32 Discretización - y Sistemas: métodos LU, sin pivotaje, adaptadas de Numerical Recipes Técnicas avanzadas...32

33 Esquema clásico de paralelización Solo podemos usar N y procs Problema dealiasing 2D Técnicas avanzadas...33

34 Speed-up del nuevo esquema Importante Optimización de rutinasAdaptado: - XLF - Arquitectura de MareNostrum Claves Input/ouput Input/ouput Comunicaciones Comunicaciones Técnicas avanzadas...34

35 Esquema en lineas-planos Proc a Proc b Técnicas avanzadas...35

36 Técnicas avanzadas...36 Paralelización en planos-líneas Proc b

37 Paralelización en lineas planos: esquema Primera parte 1.- Calculamos vel. y vort. (F-P-F) 2.- Transformamos z al espacio físico Segunda parte Movemos de yz a líneas en x Tercera parte 1.- Transformamos x a físico 2.- Cálculo de la helicidad 3.- Transfomamos la helicidad a Fourier Quinta parte 1.- Transformamos a (F-P-F) 2.- Calculo del RHS de la ecuación 3.- Resolvemos los sistemas 4.- Avanzamos en tiempo Cuarta parte Movemos de líneas en x a yz % % (133MB) % % (66 MB) % Técnicas avanzadas...37

38 Comunicaciones 1. 1.Si A está mandando datos a B, B tiene que estar esperando a A Nadie más tiene que comunicarse con A o B #Procs = 4=2 2 1st Comm. 2nd Comm. 3rd Comm. P1P1 P2P2 P3P3 P4P4 Técnicas avanzadas...38

39 Hipercubo #Procs = 8=3 2 1st. 2nd 3rd 4th 5th 6th 7th Técnicas avanzadas...39

40 Hipercubo: seudocódigo Wrong!!! Técnicas avanzadas...40

41 Comparación entre códigos Técnicas avanzadas...41

42 Entrada/salida de datos - El código salva una imagen cada 200 pasos. - El archivo pesa alrededor de 60GB - Implementación clásica: esclavos a maestro - Todos los procesadores tienen que esperar a que el archivo esté escrito 30% 7% Técnicas avanzadas...42

43 Dos soluciones Propuesta por MN: Cada procesador escribe su plano a un directorio - No se implemento - Problemas: 2048 procesadores intentando escribir al mismo tiempo archivos generados por cada imagen, en total Implementada: Pedimos 60 procs más y creamos dos MPI_GROUPS Cálculo Sálida P 1 -P x1 P x2 -P x3 P xn-1 -P GB Disk P1P1 P2P2 P s m Técnicas avanzadas...43

44 Simulaciones cinemáticas de canales Técnicas avanzadas...44

45 !DNS son muy caras! Procesador Total Memoria 0.2GB400GB Pasos Tiempo por cada paso del Runge-Kutta40s40s CPU-hours totales2800h6e6h (1.3e6) Horas humanas totales4 months 4months Transferencia de datos entre procesadores 0.6GB1.2PB Total de datos transmitidos 73PB145EB Base de datos obtenidad 25TB25TB Flops conseguidos 50GF3TF Flops totales18.3PF 3.6EF Técnicas avanzadas...45

46 Mare Nostrum Supercomputador perteneciente al centro nacional de supercomputación procesadores PowerPC 970FX a 2,2 GHz 9.6 TB de memoria ram. 236 TB de disco Potencia mantenida de 38 Tflops. Información: Técnicas avanzadas...46

47 Agradecimientos Almacenamiento: Port dinformacio cientifica,ww.pic.es. Castor: Capacitad 1.5 PB. Idea del centro: Llegar a 10PB Técnicas avanzadas...47

48 Agradecimientos BSC José María Cela: FFTW and general optimization. Sergi Girona: Input/output routines and many discussions about MareNostrum. Jesús Labarta: Communications routines CPU-H assigned to run the simulation.PIC Manuel Delfino: Storage of the results of the simulations. 25 TB of permanent storage.DEISA CPU-H assigned through a project. Técnicas avanzadas...48

49 Conclusions We have made a new algorithm for a DNS of a turbulent channel flow, capable of use several thousands of processors, showing an excellent speed- up. The code has been written in Fortran90, C++ for the fft and MPI for the communication routines. This DNS has been a very expensive simulation, but not more that one experiment of the same magnitude, and we can compute almost any imaginable quantity. We have obtained 25TB of data that we are analyzing: Pressure, Energy balances… We have confirmed some trends but we also have found new questions. Técnicas avanzadas...49

50 When a channel 4000 ? Grid size Estimated time per step: Number of steps needed Total time (12288,901,9216) 140s on 4096 processors, 280 on million CPU-Hours, between 800 and 1400 days Future work? Do you have a new MareNostrum? Técnicas avanzadas...50

51 ¡Gracias! Fluid Dynamics Lab Escuela de Aeronáutica, UPM Técnicas avanzadas...51


Descargar ppt "Técnicas de computación avanzada en mecánica de fluidos Sergio Hoyas CMT- Motores Térmicos, Universidad Politécnica de Valencia Funding: DEISA, BSC,CICYT,PIC."

Presentaciones similares


Anuncios Google