Simulación Dr. Ignacio Ponzoni

Slides:



Advertisements
Presentaciones similares
Fundamentos de Diseño de Software INFT.1
Advertisements

Metodología de la Investigación Social
También conocido como Diseño Lógico Rodrigo Salvatierra Alberú.
Pruebas de Diseño Diplomado en Calidad en el Software NOTAS
Análisis y Diseño Estructurado
Objetivos Definir el propósito de un sistema para el seguimiento y evaluación de políticas de seguridad alimentaria; e Identificar los enfoques y métodos.
Evaluaciones de Sistemas de Administración de la Seguridad SMSA
Técnicas para la elaboración de un instrumento
Simulación Dr. Ignacio Ponzoni
Resolución de Problemas
Simulación Dr. Ignacio Ponzoni
Fundamentos de Ingeniería de Software
Guia Diseño Robert Echeverria
¿Qué es un modelo conceptual?
Combinadores SK.
INGENIERIA DE REQUERIMIENTOS
CONCEPTO DE MARCO LÓGICO
Administración de Procesos de Pruebas
Evaluación de Productos
Diseño de un Sistema de Control en Tiempo Real para el Kernel del Sistema Operativo utilizando MatLab-SimuLink Por: MARCO ANTONIO ESPINEL CANGUI DIRECTOR:
Gestión de las comunicaciones del Proyecto
Simulación Dr. Ignacio Ponzoni
Simulación Dr. Ignacio Ponzoni
AUDITORIA DE LA SEGURIDAD en Telecomunicaciones y redes de computadoras Unidad VI.
HERRAMIENTAS CASE.
Capítulo 3 Etapas de un Proyecto de simulación
MESA 3 Evaluación, seguimiento y mejora, auditorias internas y Revisión por la dirección Requisitos P
ING. CATALINA DONCEL GONZÁLEZ ING. MÓNICA LORENA TORRES VIVAS
PROCEDIMIENTOS ANALITICOS DE AUDITORÍA
INTELIGENCIA DE NEGOCIOS
Proceso investigativo
SOFTWARE DE SIMULACION
Importancia de las aplicaciones de estadística en el control de procesos Guatemala 2010.
INTRODUCCIÓN A LA SIMULACIÓN DE EVENTOS DISCRETOS
DISEÑO DE SOFTWARE 1ª. Parte
Mt. Martín Moreyra Navarrete.
(Organización y Manejo de Archivos)
SISTEMA DE INFORMACION GERENCIAL
5.3 APROXIMACIONES AL DISEÑO
UNIVERSIDAD NACIONAL INTERCULTURAL DE LA AMAZONIA
ISF5501 Ingeniería de Software
Ejemplo de Dinámica de Sistema Ingeniería de Sistemas II. Lic. Olban Vargas.
Procedimiento para el establecimiento de indicadores de gestión
Pasos de un estudio de simulacion (repaso).
Simulación Dr. Ignacio Ponzoni Clase IX: Conceptos Básicos de DEVS Departamento de Ciencias e Ingeniería de la Computación Universidad Nacional del Sur.
Métodos de calibración: regresión y correlación
Simular: Representar una cosa, fingiendo o imitando lo que no es.
Simulación Dr. Ignacio Ponzoni
Modelos de Sistemas con
Sistemas, Procesos y Modelos
Importancia en la efectividad del:
INTRODUCCIÓN A LA INGENIERÍA DEL SOFTWARE
El modelo de análisis tiene como objetivo generar una arquitectura de objetos que sirva como base para el diseño posterior del sistema. Dependiendo del.
Ing. Noretsys Rodríguez. Definición de Conceptos  Falla: Ocurre cuando un programa no se comporta de manera adecuada. Es una propiedad estadística de.
SENA REGIONAL HUILA REGIONAL HUILA CENTRO DE LA INDUSTRIA LA EMPRESA Y LOS SERVICIOS Huila Elementos de sistemas de información.
Alexander Aristizabal Ángelo flores herrera
Diseño de Sistemas.
Introducción al proceso de verificación y validación.
Profesora: Kinian Ojito Ramos
Estimación de proyectos de software
Simón Esneider Herrera Álvarez Media Técnica Casd 10-2
Especialidad en Administración de Proyectos
Auditoria Computacional
G ESTIÓN DE LA C ONFIGURACIÓN DEL S OFTWARE G ESTIÓN DE LA C ONFIGURACIÓN DEL S OFTWARE Daniel Eduardo Almeciga Angie Katterine Cruz O. Diego Fernando.
REVISION Y AUDITORIA.
Proceso de desarrollo de Software
Clase N°2 Validación de modelos de simulación
LOGO Profa. Oly Mata. Concepto de Datos: Un dato puede considerarse como un elemento no tratado; como una señal emitida. 25% es un dato Son los elementos.
EI, Profesor Ramón Castro Liceaga IV. AREAS DE EVALUACIÓN DE LA AUDITORIA EN INFORMÁTICA. UNIVERSIDAD LATINA (UNILA)
Modelo de procesos de software
Transcripción de la presentación:

Simulación Dr. Ignacio Ponzoni Clase XIX: Verificación y Validación de Modelos de Simulación Departamento de Ciencias e Ingeniería de la Computación Universidad Nacional del Sur Año 2005

Verificación y Validación La verificación y validación de un modelo es una de las tareas más difíciles e importantes para un desarrollador de modelos de simulación. El objetivo de estas etapas es mejorar la confianza en los resultados provenientes de la simulación. Conceptualmente, este proceso consiste de los siguientes pasos: La verificación compara el modelo conceptual con la representación computacional que implementa dicho modelo. En esta etapa se responde a las siguientes cuestiones: ¿está el modelo implementado correctamente en la computadora?, ¿los parámetros de entrada y la estructura lógica del modelo están correctamente representados? La validación es utilizada para determinar si el modelo construido representa en forma precisa el sistema real que se desea simular. La validación se logra a través de la calibración del modelo, el cual es un proceso iterativo de comparación entre el modelo y el sistema real que finaliza cuando se alcanza un nivel de precisión apropiado.

Construcción del Modelo, Verificación y Validación El primer paso en la construcción del modelo consiste en observar el sistema real y la interacción entre sus distintos componentes, y en la recolección de datos sobre su comportamiento. En esta etapa resulta fundamental la opinión e información que pueden brindar las personas familiarizadas con el sistema. La segunda etapa consiste en construir el modelo conceptual lo cual consiste en establecer: Suposiciones sobre los componentes del modelo. Suposiciones estructurales, que definen las interacciones entre los componentes del sistema. Parámetros de entrada y suposiciones de datos. El tercer paso es la traducción del modelo conceptual a un modelo operacional (formato computacional).

Esquema del Proceso de Construcción del Modelo Sistema Real Calibración y Validación Validación Conceptual Modelo Conceptual: 1. Suposiciones sobre las componentes del sistema. 2. Suposiciones estructurales, que definen las interacciones entre las componentes del modelo. 3. Parámetros de entrada y suposiciones de datos. Verificación del modelo Modelo Operacional (representación computacional)

Verificación de Modelos El propósito de verificar el modelo es asegurar que el modelo conceptual es reflejado en forma precisa por la representación computarizada. Existen varias sugerencias sobre como llevar adelante el proceso de verificación: Chequear la representación computacional por personas ajenas a la implementación del modelo operacional. Construir un diagrama de flujo que incluya cada acción, lógicamente posible, que un sistema puede tomar cuando un evento ocurre. Seguir el modelo lógico para cada acción y para cada tipo de evento. Analizar cuan razonables son las salidas obtenidas con el modelo operacional para diferentes configuraciones de los parámetros de entrada del modelo. Tomar medidas estadísticas de las salidas.

Verificación de Modelos Efectuar una adecuada documentación del código del programa. Utilizar controladores de corrida interactivos (IRC) o programas de debugging. Los IRC asisten en la corrección de errores permitiendo entre otras cosas que la simulación pueda ser monitoreada en progreso. Estas herramientas permiten avanzar la simulación hasta que una determinada cantidad de tiempo a transcurrido o hasta que se verifique cierta condición o se ejecute determinado evento. Luego es posible inspeccionar el estado del sistema en dicho momento. La interfaces gráficas y las herramientas de animación pueden contribuir a una verificación más ágil del modelo operacional. Otras técnicas empleadas en Ingeniería de Software para el testeo de sistemas computacionales.

Verificación de Modelos Además de las reglas anteriores, existen dos tests estadísticos que indican rápidamente la razonabilidad del modelo operacional: contenidos actuales y, contador total. Contenidos actuales: refiere a la cantidad de items en cada componente del sistema en un dado instante de tiempo. Contador total: refiere a la cantidad total de items que han entrado a cada componente del sistema en un determinado instante de tiempo. Estas medidas estadísticas en general son calculadas automáticamente por los lenguajes o paquetes de simulación.

Verificación de Modelos Si los contenidos actuales en determinado instante de tiempo son muy altos, esto indica que hay una gran cantidad de entidades demoradas en el sistema. Si en un sistema de colas los contenidos actuales crecen en forma lineal con el tiempo, luego es posible que estemos en presencia de un sistema con colas inestables. Esto puede indicar la necesidad de agregar más servidores al sistema. Si el contador total para un determinado componente del sistema es cero, luego ningún item ha entrado en dicha componente. Por otra parte, si los contenidos actuales y el contador total son iguales a uno, esto indica la posibilidad de que una entidad haya capturado un recurso y nunca lo haya liberado. Una cuidadosa inspección de los valores de estas variables para distintas longitudes de corrida de la simulación puede ayudar a detectar errores lógicos y datos no especificados en el modelo.

Calibración y Validación de Modelos La calibración es un proceso iterativo de comparación del modelo con el sistema real que mediante pequeños y sucesivos ajustes va refinando el modelo, haciéndolo cada vez más cercano a la realidad.

Calibración y Validación de Modelos Sistema Real Modelo Inicial Primera Revisión del Modelo Segunda Revisión Revisión Comparar el modelo con la realidad

Calibración y Validación de Modelos La comparación entre el modelo y la realidad se lleva adelante mediante varios test, algunos subjetivos y otros objetivos. Los test subjetivos usualmente involucran personas, con conocimiento sobre uno o más aspectos del sistema, que emiten juicios de valor sobre el modelo y sus salidas. Los test objetivos siempre requieren datos sobre el comportamiento del sistema más los datos correspondientes producidos por el modelo. Luego, varios test estadísticos pueden realizarse para comparar los datos del sistema real con los obtenidos del modelo.

Calibración y Validación de Modelos Este procedimiento iterativo de comparar el modelo con el sistema, revisando tanto el modelo conceptual como el operacional para ajustar y resolver cualquier deficiencia, se repite hasta que el modelo se considera lo suficientemente preciso. Un aspecto criticable de la calibración es que a lo largo de todo el proceso se utiliza un único conjunto de datos para ajustar el modelo. Una alternativa es obtener dos conjuntos de valores del sistema, en vez de uno solo, y utilizar el segundo para efectuar la “validación final”. Si el modelo no se ajusta bien para los datos del segundo conjunto, se debe iniciar un nuevo proceso de calibración.

Fases de la Validación de Modelos Uno de los enfoques más empleados en la validación de modelos es el método formado por las siguientes tres fases: Construir un modelo que posea una alta face vadility. Validar las suposiciones del modelo. Comparar las transformaciones de entrada-salida efectuadas por el modelo con las transformaciones de entrada-salida efectuadas por el sistema real.

Validación de Modelos Face Validity El primer objetivo de un modelador es construir un modelo que resulte razonable para los usuarios del sistema y para aquellas personas con conocimiento sobre el sistema real a ser simulado. Los potenciales usuarios de un modelo de simulación deben estar estrechamente involucrados en la construcción del modelo desde su conceptualización hasta su implementación operacional. Esto debe asegurar un modelo con alto grado de realismo construido sobre la base de apropiadas suposiciones de la estructura del sistema y datos confiables.

Validación de Modelos Face Validity Los análisis de sensibilidad pueden ser empleados para chequear la face validity de un modelo. Luego, al usuario de un modelo se le pregunta si el modelo se comporta como el sistema real cuando una o más variables de entrada son modificadas. Por ejemplo, en un sistema de colas, cuando la tasa de arribos se incrementa, las demoras, porcentajes de utilización y colas también crecen. Basándose en la experiencia y observación del sistema real, el modelador tendrá probablemente al menos una noción de la dirección en que cambia una variable de salida del modelo cuando cambia una variable de entrada.

Validación de Modelos Validaciones de las Suposiciones del Modelo Suposiciones del modelo pueden clasificarse en: estructurales, y de datos. Las suposiciones estructurales involucran cuestiones sobre como opera el sistema, incluyendo simplificaciones y abstracciones de la realidad. Las suposiciones de datos se basan en el análisis estadístico de datos confiables obtenidos del sistema.

Validación de Modelos Validaciones de las Suposiciones Por ejemplo, para un sistema de colas de un banco, la cantidad de cajeros (servidores), la cantidad de colas, y la disciplina y comportamiento de las colas son ejemplos de suposiciones estructurales, es decir, aspectos vinculados a la estructura y funcionamiento del sistema que se asumen a partir del comportamiento observado y la opinión de quienes conocen la operatoria del banco. Por otra parte, las distribuciones probabilísticas que siguen los tiempos entre arribos y los tiempos de servicio constituyen ejemplos de suposiciones de datos. Para estas suposiciones, las técnicas de validación emplean métodos estadísticos de bondad de ajuste tales como Chi-Cuadrado o Kolmogorov-Smirnov.

Validación de Modelos Transformaciones de Entrada-Salida El último test del modelo, el cual es en definitiva el único test completamente objetivo del modelo, evalúa la capacidad del modelo de simulación para predecir el comportamiento del sistema real. Es decir, cuando los valores de entrada del modelo coinciden con los valores de entrada del sistema real, los valores de salida obtenidos por la simulación deberían reflejar la salida del sistema real.

Validación de Modelos Transformaciones de Entrada-Salida En esta fase del proceso de validación, el modelo es visto como un caja negra que transforma datos de entrada en datos de salida. Básicamente, se trabaja comparando las medidas de desempeño del sistema real (datos de salida) para distintas posibles configuraciones de los parámetros y valores de las variables de entrada del sistema generados aleatoriamente o tomados de registros históricos. Estos tests consisten en comparar estadísticamente los datos de salida del sistema real con los valores obtenidos por la simulación.

Validación de Modelos Transformaciones de Entrada-Salida La validación de transformación de entrada-salida del modelo requiere de la existencia de alguna variante del sistema real bajo estudio a fin de contar con datos para efectuar la comparación. Si no se cuenta con al menos una versión del sistema real, la validación de transformación de entrada-salida no puede llevarse a cabo. En algunas situaciones, cuando se está construyendo un nuevo modelo para un sistema, y si no se cuenta con el sistema real pero si con un modelo validado de dicho sistema, la comparación puede efectuarse entre el modelo validado y el modelo propuesto.

Validación de Modelos Entrada-Salida utilizando Datos Históricos En general, cuando uno puede obtener la salida del sistema real para cualquier combinación de valores de entrada, los datos de entrada para efectuar la validación son generados en forma aleatoria. Para algunos sistemas, sólo es posible trabajar con datos de entrada y salida históricos. En estos casos es necesario asegurar que la comparación entre el sistema real y el modelo de simulación sea justa en términos de las condiciones bajo las cuales se obtuvieron los datos históricos.

Validación de Modelos Entrada-Salida utilizando Datos Históricos Por un lado, es necesario asegurarse de que los datos de entrada y salida del sistema recolectados correspondan al mismo período de tiempo. Por otra parte, se deben reproducir correctamente las condiciones operativas e identificar situaciones especiales que hayan tenido injerencia en los valores de salida del sistema real en el momento de relevar los datos históricos.

Validación de Modelos Entrada-Salida utilizando el Test de Turing Además de los test estadísticos, o cuando los test estadísticos no son aplicables, personas con conocimiento sobre el comportamiento del sistema pueden ser empleadas en el proceso de validación mediante la realización de Tests de Turing. Por ejemplo, suponga que 5 reportes correspondientes al funcionamiento de un sistema durante 5 días son efectuados por expertos con acabados conocimiento del sistema y mezclados con otros 5 reportes generados automáticamente por el modelo de simulación. Los 10 reportes con el mismo formato.

Validación de Modelos Entrada-Salida utilizando el Test de Turing Se dan dichos reportes a los gerentes y personal de la empresa acostumbrada a leer regularmente este tipo de documentos vinculados con el desempeño del sistema. Si estas personas pueden distinguir buena parte de los reportes generados por la simulación de los redactados por los expertos, el modelo necesita ser corregido. Sino, se considera que el modelo es suficientemente preciso y cercano al sistema real.

Recomendaciones Lectura sugerida: Capítulo 10 del libro Discrete-Event System Simulation de Banks, Carson, Nelson y Nicol. Capítulo 10 del libro Computer Simulation in Management Science de Pidd.