La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Evaluación de Modelos Validación y prueba de modelos Información adaptada del libro de Sterman, 2000. y del curso de dinámica de sistemas de la Universidad.

Presentaciones similares


Presentación del tema: "Evaluación de Modelos Validación y prueba de modelos Información adaptada del libro de Sterman, 2000. y del curso de dinámica de sistemas de la Universidad."— Transcripción de la presentación:

1 Evaluación de Modelos Validación y prueba de modelos Información adaptada del libro de Sterman, y del curso de dinámica de sistemas de la Universidad Nacional de Colombia Sede Medellín

2 K. Popper Las teorías científicas no son enteramente justificables o verificables pero sí pueden ser contrastables o corroborables El objetivo de la ciencia consiste en ofrecer explicaciones satisfactorias para todo aquello que requiera de una explicación. Para que la explicación no sea ad-hoc se tendrá que analizar una gran variedad de consecuencias contrastables (falseables)

3 K. Popper Se considera preferible la teoría que nos diga más; es decir, la teoría que contenga mayor cantidad de explicación o contenido empírico; que sea lógicamente más fuerte; que tenga mayor poder explicativo y predictivo; y que, por ende, pueda ser examinada más severamente comparando los hechos predichos con las observaciones. En resumen, preferimos una teoría interesante, audaz e informativa en alto grado, a una teoría trivial

4 K. Popper La verdad no es el único objetivo de la ciencia. Queremos más que la mera verdad: lo que buscamos es una verdad interesante, verdad a la cual es difícil llegar... Una verdad con un alto poder explicativo

5 Introducción ¿Qué hace que un modelo sea bueno? Como modelador, como sabe si puede confiar en los resultados? Como contratante de un modelo, cuando debe aceptar usted un modelo para tomar decisiones? Que preguntas debería usted formularse?, Qué preguntas deberán hacerse? Que estándares debe aplicar?

6 Introducción Desafortunadamente, las prueban se utilizan a menudo para probar que el modelo es correcto. Peor aun, muchos test importantes simplemente no se llevan a cabo!! Muchos modeladores se enfocan excesivamente en la replicación de datos históricos!!!

7 Evaluación de Modelos Las preguntas podrían enfocarse a problemas como: –¿Qué tan apropiadas son las suposiciones base? –¿Robustez? –¿Sensibilidad de los resultados a suposiciones concernientes a los límites del modelo y la estructura de realimentación? Modeladores y los clientes sufren de sesgos de confirmación Presentan datos favorables a sus preconcepciones y por tanto se aferran a su cuento a pesar de las evidencias

8 Evaluación de Modelos La Prueba del Modelo debe estar dirigida a descubrir los errores de forma tal que modeladores y clientes: –Entiendan las limitaciones del modelo –Lo mejoren –Usen el mejor modelo disponible para asesorar la toma de decisiones importantes.

9 Evaluación de Modelos Los modelos no pueden ser validados o verificados. Porque? Todos los modelos están malos! Como simplificaciones de la realidad, no son susceptibles a pruebas... Forrester (1961) Cualquier procedimiento de validación de modelos objetivo se basa eventualmente en algún nivel de juicio o fé en que tanto el procedimiento o sus metas son aceptables sin una prueba objetiva

10 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Muchos modelos son como las estrategias de guerra: Grandiosos cuando se conciben pero olvidados en el calor de la batalla Las preguntas debe estar dirigidas a: –Discutir la conveniencia general del modelo a los propósitos –Su conformidad a los principios de formulación fundamentales –La sensibilidad de los resultados a la incertidumbre en las suposiciones –La integridad del proceso de modelamiento

11 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Propósito, Adecuación, Límites –Cuál es el propósito del modelo? –Cuál es el límite del modelo? (Las cuestiones importantes se tratan endógenamente? Que variables importantes han sido consideradas exógenamente, o excluidas? ¿Se excluyen variables importantes por falta de datos?) –Cuál es el horizonte de tiempo relevante al problema? –Es el nivel de agregación consistente con el propósito?

12 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Estructura Física –El modelo se ajusta a las leyes básicas de conservación de la materia? (Las ecuaciones son dimensionalmente consistentes sin el uso de charles?) –La estructura de niveles y flujos es explícita y consistente con el propósito del modelo? –El modelo representa desequilibrios dinámicos o asume que el sistema esta en o cerca de el equilibrio en todo momento? –Se toman en cuenta y de manera apropiada los retardos, restricciones y cuellos de botella?

13 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Estructura de Toma de Decisiones –Se asume que la gente actúa racionalmente y que optimizan su desempeño? (El modelo considera limitaciones cognitivas, realidades organizacionales, motivos no económicos, factores políticos?) –Las decisiones simuladas están basadas en la información que los tomadores de decisión reales poseen actualmente? (El modelo considera los retardos, distorsiones y ruido en los flujos de información?)

14 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Robustez y sensibilidad a Suposiciones Alternativas –El modelo es robusto ante condiciones extremas en las condiciones de entrada o en las políticas? –Las recomendaciones de políticas son sensibles a variaciones significativas en cuanto a: Suposiciones? Parámetros? Agregación? Límites del modelo?

15 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Pragmática y Políticas de Uso del Modelo –Está documentado el modelo? (La información está disponible públicamente? Puedo correr el modelo en mi computador?) –Qué tipos de datos se utilizaron para desarrollar y probar el modelo? (Estadísticas agregadas recolectadas por terceros, fuentes primarias de datos, observaciones y datos de campo cualitativos, archivos, entrevistas?) –Cómo describen los modeladores el proceso utilizado para probar y construir la confianza del modelo? (Terceras partes independientes revisaron el modelo?)

16 Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen. Pragmática y Políticas de Uso del Modelo –Cuánto cuesta correr el modelo? (El presupuesto y el tiempo permiten hacer pruebas de sensibilidad adecuadas?) –Cuanto tiempo toma revisar y actualizar el modelo? –El modelos será operado por sus diseñadores o por terceras partes? –Cuáles son los sesgos, ideologías y agendas políticas de los modeladores y clientes? (Como pueden estos sesgos afectar los resultados, tanto deliberada como inadvertidamente?)

17 Modelamiento Protectivo vs. Modelamiento Reflectivo –Protectivo: modelos usados para Probar un punto Mantener ocultas las suposiciones Usar datos selectivamente Apoyar preconcepciones y respuestas preseleccionadas... y cubrir la preselección!! Promover la autoridad del modelador –Reflectivo: modelos usados para Promover dudas Exponer las suposiciones ocultas Motivar un amplio rango de pruebas empíricas Retar las preconcepciones y apoyar múltiples puntos de vista... involucrando a toda la empresa!! Promover el empoderamiento de los clientes

18 Prueba de modelos en la práctica –Los modeladores de dinámica de sistemas han diseñado una amplia gama de test específicos para descubrir fallas y mejorar los modelos –Los test están orientados a responder las preguntas anteriores 1. Pruebas de Límites7. Reproducción del Comportamiento 2. Valoración de la Estructura8. Anomalías de Comportamiento 3. Consistencia Dimensional9. Pertenencia a otros sistemas (Family Member) 4. Valoración de Parámetros10.Comportamiento Sorpresivo 5. Condiciones Extremas11. Análisis de Sensibilidad 6. Errores de Integración12. Mejoramiento del Sistema

19

20

21

22 MétricaDefinicionFormula R2R2 Fracción de la varianza explicada por el modelo. (adimensional) r = coeficiente de correlación entre el modelo y las series de datos MAEError Medio Absoluto (unidades) MAPEPorcentaje de Error Medio Absoluto (adimensional) (Multiplicar por 100) Estadisticos usados para validar Otros: MSE, RMSE; MAE/X d


Descargar ppt "Evaluación de Modelos Validación y prueba de modelos Información adaptada del libro de Sterman, 2000. y del curso de dinámica de sistemas de la Universidad."

Presentaciones similares


Anuncios Google