E-infrastructure shared between Europe and Latin America Richard Miguel SENAMHI, Perú 13th EELA Grid Tutorial La Antigua, 18 - 19 de Octubre de 2007 Aplicaciones.

Presentación del tema: "E-infrastructure shared between Europe and Latin America Richard Miguel SENAMHI, Perú 13th EELA Grid Tutorial La Antigua, 18 - 19 de Octubre de 2007 Aplicaciones."— Transcripción de la presentación:

1 E-infrastructure shared between Europe and Latin America Richard Miguel SENAMHI, Perú 13th EELA Grid Tutorial La Antigua, 18 - 19 de Octubre de 2007 Aplicaciones Climáticas en Grid: Proyecto EELA

2 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 2 Socios del WP3 - Clima SENAMHI es el único socio peruano de EELA en la actualidad. Participamos del WP3: Applications, Task 3.3b Climate Applications. Otros socios en la misma tarea son: –Universidad de Concepción, Chile UDEC –Universidad de Cantabria, España UC

3 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 3 Justificacion Los cambios climáticos y su gran impacto socio económico en LA (Fenómenos El Niño y La Niña) pueden enfrentarse uniendo recursos (infraestructura y conocimiento) usando GRID. Anomalía Positiva (El Niño) Anomalía Negativa (La Niña) Tres aplicaciones fueron identificadas Modelo de Circulación Atmosférica Global (CAM) Modelo Regional de Tiempo (WRF) Herramientas de minería de datos (SOM) Dos de estas aplicaciones ya están implementadas en el Testbed

4 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 4 Reto Computacional El reto computacional no es un problema trivial ya que depende mucho de las relaciones entre las aplicaciones, por lo que se propuso realizar simulaciones en cascada. CAM WRF (par 1) WRF (par 2) WRF (par n) … SE SOM Sea Surface Temperature, etc. La cascada de aplicaciones interactúa con el middleware para: Preparar y enviar los trabajos dependientes. Almacenar y recuperar datasets desde el LFC Administrar los metadatos con AMGA (datasets y estado de la aplicación. Restablecer los experimentos abortados o con falla.

5 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 5 Aplicación SOM El carácter multidimensional de los datos involucrados en las simulaciones climáticas, requieren de técnicas eficientes de minería de datos para extraer algún conocimiento útil. El clustering no supervisado permite dividir la base de datos de simulaciones produciendo tipos de clima o tiempos característicos que pueden ser materia de estudio. Los algoritmos SOM son uno de los mas usados, principalmente en el área de modelamiento y visualización. The weather types can be locally projected to obtain statistical regional forecasts of variables of interest. (Right) Precipitation at two different stations in Peru for a El Niño period.

6 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 6 Simulación en Cascada Los sistemas ensamblados de predicción, comparan múltiples corridas del modelo de tiempo con ligeramente distintas condiciones iniciales y parametrizaciones del modelo. Las simulaciones resultantes contiene información valiosa acerca de las fuentes de incertidumbre en la muestra. Sea surface temperature CAM WRF (par 1) WRF (par 2) One El Niño year 365 simulations … WRF (par n) … SE SOM Compare the SOM distribution of each parameterization.

7 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 7 Interacción entre CAM y WRF CAM y WRF ya están ejecutándose en el Testbed de EELA CAM es un productor de datos y WRF es un consumidor de datos WRF se alimenta con los datos de CAM Se usa una llamada SYSTEM de FROTRAN 90 para enviar datos a LFC y AMGA. Toda la integración de las aplicaciones esta hecha usando shell scripts. El progreso ha sido realizado para la Administración de Tareas y el Monitoreo usando AMGA. El usuario, después de colocar los datos a disponibilidad, decide cual job va a ejecutar –Start, Restart or Cancel a CAM experiment Jobs –Start or Cancel WRF Tasks WRFCAM

8 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 8 CAM: Community Atmospheric Model The Community Atmosphere Model (CAM) is the latest in a series of global atmosphere models developed at NCAR for the weather and climate research communities. –grid size: 128 x 64 x 27 (XYZ) = 221184 gridpoints –6 output time steps = 197MB NetCDF -> 33MB/tstep –This includes ALL default variables (32x3D + 56x2D) –WRF only requires as input 5x3D and 9x2D (effective MB: 5/step = 620MB/month(6hly input). 720GB per 100 years –1 Year of simulation takes 48 CPU hours. A climate simulations of 100 Years takes 7 CPU months A case study simulating the climate of the past century It will require a CAM job running 7 months. Then Checkpoints is an important feature. For ENSEMBLES studies (multi-parametric) those figures increase.

9 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 9 CAM: Community Atmospheric Model

10 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 10 WRF Model Weather Research and Forecasting (WRF) modeling system is a multiagency effort intended to provide a next-generation mesoscale forecast model and data assimilation system that will advance both the understanding and prediction of mesoscale weather and accelerate the transfer of research advances into operations.

11 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 11 Data and Metadata Datasets produced by WRF and CAM models are stored in the LFC catalog. The metadata from these datasets is extracted and uploaded to AMGA. CAM produce checkpoint dataset and Its uploaded to LFC and notified to the user using AMGA. WP 3.3b. Climate

12 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 12 Application Workflow The user queries CAM Jobs status. If jobs is not running query to AMGA about if was done. If not check was what the last checkpoint file and restart the CAM job. Meanwhile CAM job is running, the User queries AMGA about datasets produced by CAM then triggers the WRF jobs.

13 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 13 Application Workflow Schema UI supersubmiter.sh Generate CAM.jdl Submit CAM.jdl Insert entry in CAM collection AMGA Resource Broker WN change_status_CAM.sh Update status Insert runon CAM collection AMGA CAM upload_info_CAM.sh Insert entry in WRF collection AMGA 1 2 3 checkpoint_CAM.sh Insert entry in CHECKPOINT collection AMGA update_history_CAM.sh Insert entry in HISTORYCAM collection AMGA 1 2 3 4

14 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 14 Portal Climático Usamos GENIUS para interactuar con las aplicaciones. En un futuro cercano, un portal especifico de clima será desarrollado, el cual estará disponible para la comunidad científica.

15 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 15 Trabajo Actual En el segundo año del proyecto nos enfocamos en: –Simulaciones regionales en alta resolución para eventos fuertes el Niño y La Niña 1982-1983 y 1997 – 1998. –Implementación de sistema de administración del flujo de trabajo. –Debido a la duración de los jobs, es necesario implementar una solución usando el catalogo de metadatos (AMGA) –Completando la unión de la infraestructura en Perú

16 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 16 Recursos Humanos UC-Spain José M.Gutiérrez Antonio Cofiño Valvanuz Fernández Jesús Fernández UDEC-Chile Rodrigo Abarca Claudio Baeza SENAMHI-Perú Richard Miguel Mauricio Carrillo

17 E-infrastructure shared between Europe and Latin America 13 th EELA Grid Tutorial La Antigua, 18 – 19 de Octubre de 2007 17 Referencias CAM Application: http://www.ccsm.ucar.edu/models/atm-cam/http://www.ccsm.ucar.edu/models/atm-cam/ Users Guide to the NCAR Community Atmosphere Model (CAM 3.0): J. R. McCaa, M. Rothstein, B. E. Eaton, J. M. Rosinski, E. Kluzek, M. Vertenstein: Climate And Global Dynamics Division, NCAR, Boulder, Colorado, 2004, 88 pp. W. D. Collins, C. M. Bitz, et al. (2006) The Community Climate System Model: CCSM3, Journal of Climate, Special Issue on CCSM, 19(11). WRF Application: http://www.wrf-model.org/http://www.wrf-model.org/ Skamarock, W. C., J. B. Klemp, J. Dudhia, D. O. Gill, D. M. Barker, W. Wang and J. G. Powers, 2005: A Description of the Advanced Research WRF Version 2. NCAR Technical note, 2005, 88 pp. Michalakes, J., J. Dudhia, D. Gill, T. Henderson, J. Klemp, W. Skamarock, and W. Wang, 2004: "The Weather Reseach and Forecast Model: Software Architecture and Performance,"Proceedings of the 11th ECMWF Workshop on the Use of High Performance Computing In Meteorology, 25-29 October 2004, Reading U.K. Ed. George Mozdzynski. SOM Application (grid version): http://www.meteo.unican.eshttp://www.meteo.unican.es F. Luengo, A.S. Cofiño, and J.M. Gutiérrez (2004) GRID Oriented Implementation of Self-Organizing Maps for Data Mining in Meteorology, Lecture Notes in Computer Science, 2970, 163 – 171.

18 E-infrastructure shared between Europe and Latin America Gracias por su atención Foro sobre Tecnologias GRID aplicadas al clima y a la Biomedicina 18