Validación y prueba de modelos

Presentación del tema: "Validación y prueba de modelos"— Transcripción de la presentación:

1 Validación y prueba de modelos
Evaluación de Modelos Validación y prueba de modelos Información adaptada del libro de Sterman, y del curso de dinámica de sistemas de la Universidad Nacional de Colombia Sede Medellín

2 K. Popper “Las teorías científicas no son enteramente justificables o verificables pero sí pueden ser contrastables o corroborables” “El objetivo de la ciencia consiste en ofrecer explicaciones satisfactorias para todo aquello que requiera de una explicación. Para que la explicación no sea ad-hoc se tendrá que analizar una gran variedad de consecuencias contrastables (falseables)”

3 K. Popper “Se considera preferible la teoría que nos diga más; es decir, la teoría que contenga mayor cantidad de explicación o contenido empírico; que sea lógicamente más fuerte; que tenga mayor poder explicativo y predictivo; y que, por ende, pueda ser examinada más severamente comparando los hechos predichos con las observaciones. En resumen, preferimos una teoría interesante, audaz e informativa en alto grado, a una teoría trivial”

4 K. Popper “La verdad no es el único objetivo de la ciencia. Queremos más que la mera verdad: lo que buscamos es una verdad interesante, verdad a la cual es difícil llegar... Una verdad con un alto poder explicativo”

5 Introducción ¿Qué hace que un modelo sea bueno?
Como modelador, como sabe si puede confiar en los resultados? Como contratante de un modelo, cuando debe aceptar usted un modelo para tomar decisiones? Que preguntas debería usted formularse?, Qué preguntas deberán hacerse? Que estándares debe aplicar?

6 Introducción Desafortunadamente, las prueban se utilizan a menudo para “probar” que el modelo es “correcto”. Peor aun, muchos test importantes simplemente no se llevan a cabo!! Muchos modeladores se enfocan excesivamente en la replicación de datos históricos!!!

7 Evaluación de Modelos Las preguntas podrían enfocarse a problemas como: ¿Qué tan apropiadas son las suposiciones base? ¿Robustez? ¿Sensibilidad de los resultados a suposiciones concernientes a los límites del modelo y la estructura de realimentación? Modeladores y los clientes sufren de “sesgos de confirmación” Presentan datos favorables a sus preconcepciones y por tanto se aferran a su “cuento” a pesar de las evidencias

8 Evaluación de Modelos La Prueba del Modelo debe estar dirigida a descubrir los errores de forma tal que modeladores y clientes: Entiendan las limitaciones del modelo Lo mejoren Usen el mejor modelo disponible para asesorar la toma de decisiones importantes.

9 Evaluación de Modelos Los modelos no pueden ser validados o verificados. Porque? Todos los modelos están malos! Como simplificaciones de la realidad, no son susceptibles a pruebas... Forrester (1961) “Cualquier procedimiento de validación de modelos “objetivo” se basa eventualmente en algún nivel de juicio o fé en que tanto el procedimiento o sus metas son aceptables sin una prueba objetiva”

10 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen.
Muchos modelos son como las estrategias de guerra: Grandiosos cuando se conciben pero olvidados en el calor de la batalla Las preguntas debe estar dirigidas a: Discutir la conveniencia general del modelo a los propósitos Su conformidad a los principios de formulación fundamentales La sensibilidad de los resultados a la incertidumbre en las suposiciones La integridad del proceso de modelamiento

11 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen.
Propósito, Adecuación, Límites Cuál es el propósito del modelo? Cuál es el límite del modelo? (Las cuestiones importantes se tratan endógenamente? Que variables importantes han sido consideradas exógenamente, o excluidas? ¿Se excluyen variables importantes por falta de datos?) Cuál es el horizonte de tiempo relevante al problema? Es el nivel de agregación consistente con el propósito?

12 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen.
Estructura Física El modelo se ajusta a las leyes básicas de conservación de la materia? (Las ecuaciones son dimensionalmente consistentes sin el uso de “charles”?) La estructura de niveles y flujos es explícita y consistente con el propósito del modelo? El modelo representa desequilibrios dinámicos o asume que el sistema esta en o cerca de el equilibrio en todo momento? Se toman en cuenta y de manera apropiada los retardos, restricciones y cuellos de botella?

13 Estructura de Toma de Decisiones
Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Estructura de Toma de Decisiones Se asume que la gente actúa racionalmente y que optimizan su desempeño? (El modelo considera limitaciones cognitivas, realidades organizacionales, motivos no económicos, factores políticos?) Las decisiones simuladas están basadas en la información que los tomadores de decisión reales poseen actualmente? (El modelo considera los retardos, distorsiones y ruido en los flujos de información?)

14 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen.
Robustez y sensibilidad a Suposiciones Alternativas El modelo es robusto ante condiciones extremas en las condiciones de entrada o en las políticas? Las recomendaciones de políticas son sensibles a variaciones significativas en cuanto a: Suposiciones? Parámetros? Agregación? Límites del modelo?

15 Pragmática y Políticas de Uso del Modelo Está documentado el modelo?
Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Pragmática y Políticas de Uso del Modelo Está documentado el modelo? (La información está disponible públicamente? Puedo correr el modelo en mi computador?) Qué tipos de datos se utilizaron para desarrollar y probar el modelo? (Estadísticas agregadas recolectadas por terceros, fuentes primarias de datos, observaciones y datos de campo cualitativos, archivos, entrevistas?) Cómo describen los modeladores el proceso utilizado para probar y construir la confianza del modelo? (Terceras partes independientes revisaron el modelo?)

16 Pragmática y Políticas de Uso del Modelo
Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Pragmática y Políticas de Uso del Modelo Cuánto cuesta correr el modelo? (El presupuesto y el tiempo permiten hacer pruebas de sensibilidad adecuadas?) Cuanto tiempo toma revisar y actualizar el modelo? El modelos será operado por sus diseñadores o por terceras partes? Cuáles son los sesgos, ideologías y agendas políticas de los modeladores y clientes? (Como pueden estos sesgos afectar los resultados, tanto deliberada como inadvertidamente?)

17 Modelamiento Protectivo vs. Modelamiento Reflectivo
Protectivo: modelos usados para Probar un punto Mantener ocultas las suposiciones Usar datos selectivamente Apoyar preconcepciones y respuestas preseleccionadas ... y cubrir la preselección!! Promover la autoridad del modelador Reflectivo: modelos usados para Promover dudas Exponer las suposiciones ocultas Motivar un amplio rango de pruebas empíricas Retar las preconcepciones y apoyar múltiples puntos de vista ... involucrando a toda la empresa!! Promover el empoderamiento de los clientes

18 Prueba de modelos en la práctica
Los modeladores de dinámica de sistemas han diseñado una amplia gama de test específicos para descubrir fallas y mejorar los modelos Los test están orientados a responder las preguntas anteriores 1. Pruebas de Límites 7. Reproducción del Comportamiento 2. Valoración de la Estructura 8. Anomalías de Comportamiento 3. Consistencia Dimensional 9. Pertenencia a otros sistemas (Family Member) 4. Valoración de Parámetros 10.Comportamiento Sorpresivo 5. Condiciones Extremas 11. Análisis de Sensibilidad 6. Errores de Integración 12. Mejoramiento del Sistema

19

20

21

22 Estadisticos usados para “validar”
Métrica Definicion Formula R2 Fracción de la varianza explicada por el modelo. (adimensional) r = coeficiente de correlación entre el modelo y las series de datos MAE Error Medio Absoluto (unidades) MAPE Porcentaje de Error Medio Absoluto (adimensional) (Multiplicar por 100) Otros: MSE, RMSE; MAE/Xd