Análisis de sensibilidad y validación en modelos de simulación Clase pública 19 de Septiembre de 2011 Concurso Jefe de Trabajos Prácticos Exclusiva Departamento de Métodos Cuantitativos y Sistemas de Información Facultad de Agronomía – Universidad de Buenos Aires Licenciatura en Ciencias Ambientales Modelos de simulación sites.google.com/a/agro.uba.ar/modelos-de-simulacion

Ciclo de modelado Definición del problema y sistema Conocimiento Límites Restricciones Supuestos Construcción conceptual y diagrama de flujo Análisis de sensibilidad Implementación del modelo Verificación interna Formulación lógico- matemática de los procesos Calibración Validación Resultados experimentos de simulación

Análisis de sensibilidad Identificación de aquellos parámetros (condiciones iniciales, submodelos, variables de ingreso y/o funciones) que ejercen mayor influencia en las variables de respuesta de interés ¿Qué significa? ¿Cómo lo hacemos? Exploración sistemática del espacio parámetrico del modelo mediante experimentos de simulación

Análisis de sensibilidad – Ejemplo I en STELLA ¿Cuál es el parámetro de mayor sensibilidad, respecto de la abundancia de ciervos para el modelo propuesto por: Rosatte, Hamr, Young, Fillio, Smith The restoration of Elk (Cervus elaphus) in Ontario, Canadá: Restoration Ecology 15 (1): P1 Ciervos P2

Análisis de sensibilidad – Ejemplo II en STELLA ¿Cuál es el parámetro de mayor sensibilidad, respecto de la abundancia de árboles para el modelo PATUMOD propuesto por: Gillet F. et al Ecological Modelling

Análisis de sensibilidad – Ejemplos en STELLA

Análisis de sensibilidad ¿Para qué sirve este análisis? Entender los principales controles del modelo Verificación del modelo Simplificar el modelo Mejorar las estimaciones de los parámetros clave

Validación ¿Qué significa? Probar las estimaciones de los parámetros incluídos en el modelo (calibración) contra un conjunto de datos independientes Entonces…… decimos que un modelo es válido si las predicciones realizadas con el modelo son capaces de reproducir adecuadamente lo que sucede en el sistema real Cuestionamientos filosóficos ¿?

Validación Sistema Modelo Variables de Ingreso Resultados observados Resultados simulados ¿Cómo lo hacemos? Contrastamos las predicciones del modelo contra observaciones independientes del sistema real Ahora, ¿Son todos los modelos validables?

Validación Verificación Probamos la lógica interna del modelo. La estructura del modelo incluye las relaciones causa-efecto más importantes del sistema real. ¿El modelo reacciona cómo esperamos? ¿Las unidades empleadas son coherentes? ¿Se cumple con la ley de conservación de masa y/o energía? Probamos si los resultados del modelo reproducen lo que ocurre en el sistema real ¿Qué medidas usamos? ¿Qué precisión exigimos? Error = Sim – Obs Depende del objetivo Validación Predictiva (cuantitativa) Validación Estructural (cualitativa) vs.

Validación – Ejemplos Simulador forestal desarrollado por el INTA EEA MonteCarlo Cappa y colaboradores Modelo de lixiviación de nitratos (NLEAP) Rimsky-Korsakov y colaboradores Muschietti Piana, M.P. Otros enfoques ERROR 5.9% 4.1% 12.7% 12.6% 13.8%