Simulación Dr. Ignacio Ponzoni Clase XX: Análisis de la Salida de una Simulación Departamento de Ciencias e Ingeniería de la Computación Universidad Nacional del Sur Año 2005

Análisis de la Salida de una Simulación El análisis de la salida de una simulación consiste en examinar los datos de salida generados por el modelo operacional del sistema simulado. En general, el propósito es predecir el desempeño del sistema bajo estudio o comparar dos o más diseños de sistemas alternativos. Existen distintos tipos de análisis de salida los cuales dependen de las características del sistema.

Tipos de Simulaciones respecto del Análisis de Salida Cuando se analizan los datos de salida se debe distinguir entre simulaciones “terminantes” y “no terminantes” (o de estado-estacionario). Una simulación terminante es aquella que se ejecuta para cierta duración TE, donde E es un evento (o conjunto de eventos) que detienen la simulación. En estas simulaciones, el sistema simulado “abre” en un tiempo 0 bajo ciertas condiciones iniciales y “cierra” en un tiempo de parada TE.

Tipos de Simulaciones respecto del Análisis de Salida Un sistema es no terminante si se trata de un sistema que corre en forma continua en el tiempo, o al menos, por un período de tiempo muy largo. Las líneas ensambladoras, las centrales telefónicas, las salas de emergencia en hospitales, los sistemas de redes de cómputo son generalmente ejemplos de este tipo de sistema. La simulación de estos sistemas también se realiza para un período de tiempo que va desde un tiempo inicial 0 a un tiempoTE. Donde TE es muy grande.

Tipos de Simulaciones respecto del Análisis de Salida En los sistemas no terminantes, el analista se concentra en establecer las propiedades del sistema en estado estacionario. Propiedades que no están influenciadas por las condiciones iniciales de la simulación. En general, se debe tener en cuenta que al inicio de estas simulaciones el sistema está en estado “transitorio” hasta alcanzar el estado estacionario. Los datos de una variable de salida NO deben ser relevados durante el estado transitorio dado que pueden diferir significativamente respecto del valor de la variable en estado estacionario.

Tipos de Simulaciones respecto del Análisis de Salida Simulación No Terminante - Evolución del Estado en el Tiempo Variable de estado Observaciones Inicial. 3 Inicial. 2 Estado estacionario Estado transitorio Inicial. 1 Tiempo

Simulación Terminante Ejemplo Un banco atiende al público entre las 8:30 y las 16:30. Condiciones iniciales: Al momento de apertura del banco: no hay clientes dentro del banco y hay 11 cajeros disponibles para atender al público. TE = 480 minutos (duración de la simulación). En este caso, el analista de la simulación está interesado en modelar la interacción entre clientes y cajeros del banco a lo largo de un día completo, incluyendo el efecto de las condiciones iniciales sobre los resultados de salida.

Simulación No Terminante Ejemplo HAL Inc. es una importante compañía dedicada a brindar servicios de computación a gran escala con clientes diseminados por todo el mundo. Un sistema de cómputos central está integrado por varios servidores, estaciones de trabajo y periféricos que están operativos las 24 horas del día. Dado que la empresa a detectado un incremento en la sobrecarga de su sistema de cómputos, está estudiando la incorporación de CPUs y discos adicionales a su red de atención a clientes. Se están considerando distintas alternativas para aumentar la capacidad del sistema. En particular, la compañía está interesada en las condiciones operativas en estado estacionario de cada uno de los servidores que conforman su red de cómputos. Este es un ejemplo de situación en donde una simulación no terminante puede resultar fundamental para predecir el impacto de cada una de las alternativas en el desempeño del sistema.

Naturaleza Estocástica de los Datos de Salida Gran parte de los resultados de una simulación no determinística dependen de valores aleatorios y por ende tiene una naturaleza estocástica. Por ejemplo, las métricas de un sistema de colas arrojarán distintos valores para distintas corridas de la simulación. En tales casos, resulta de interés poder establecer una estimación del valor de la variable de salida del sistema real en función de los resultados obtenidos por la simulación y analizar cuan precisa es dicha estimación.

Estimador de Punto e Intervalo de Confianza Ejemplo: ¿Cómo podemos estimar el valor real de las variables de salida? Utilización = (0.808+0.875+0.708+0.842)/4 Estimador de Punto ¿Cuan confiable es nuestro punto de estimación? Analizamos la varianza entre los datos utilizados en la estimación y estimamos un rango de precisión para ese valor. Intervalo de Confianza

Estimación de Medidas de Desempeño Estimador de Punto Si se desea estimar una variable  sobre la base de una secuencia de datos Y1, Y2, … Yn, luego el estimador de punto es:

Estimación de Medidas de Desempeño Estimador de Punto Cuando se desea estimar una variable  que cambia en forma continua en el tiempo, tenemos que los datos para la estimación están dados por los Y(t), 0<t<TE. Luego, el estimador de punto se calcula como:

Estimación de Medidas de Desempeño Estimador del Intervalo de Confianza Este estimador en general requiere de un método para estimar la varianza del estimador de punto. Una vez obtenido este valor, se utiliza la distribución t-student para ajustar este valor en función del nivel de confianza requerido. Luego, el intervalo de confianza es:

Análisis de la Salida en Simulaciones Terminantes Estimador de Punto La forma más general para el estimador de punto es la siguiente: donde R es el número de corridas efectuadas en la simulación, nr es la cantidad de observaciones de la variable de salida tomadas en la r-ésima corrida de la simulación, Yri, es la i-ésima muestra de la variable de salida obtenida en la r-ésima corrida de la simulación.

Análisis de la Salida en Simulaciones Terminantes Intervalos de Confianza estimados mediante Número Fijo de Réplicas En estos casos, la varianza para calcular el intervalo de confianza puede obtenerse como:

Análisis de la Salida en Simulaciones Terminantes Ejemplo Suponga que se quiere estimar el porcentaje de utilización de un servidor sobre la base de la siguiente información: En este caso R = 4, y la cantidad de valores observados por corrida es 1.

Análisis de la Salida en Simulaciones Terminantes Ejemplo Calculamos los estimadores de punto y varianza: Asumiendo R-1 grados de libertad y un nivel de confianza del 95%, tenemos que: f =3 y  = 0.05 Luego, de la tabla con la distribución t-student obtenemos t0.025,3 = 3.18 De este modo, el intervalo de confianza será:

Análisis de la Salida en Simulaciones No Terminantes Desarrollar intervalos de confianza para medidas de desempeño requiere efectuar varias corridas de un modelo de simulación. Para sistemas no terminantes complejos, una corrida completa puede tomar horas y hasta varios días de cómputo. Esto torna poco factible la realización de la cantidad de corridas suficientes como para obtener buenas estimaciones de los intervalos de confianza para las variables de salida. En estos casos, una alternativa es utilizar el Método de las Medias Batch.

Análisis de la Salida en Simulaciones No Terminantes Pasos del Método de las Medias Batch: Efectuar una corrida lo suficientemente extensa para remover los efectos del estado de transición y obtener una importante muestra de valores para las variables de salida. Dividir el período de tiempo de la simulación (solo el tiempo de corrida correspondiente a estado estacionario) en subintervalos de tiempo. Cada uno de estos subintervalos corresponderá a un “batch” de datos. Computar el promedio de los valores muestrales para cada batch, y usar técnicas clásicas de calculo de intervalos de confianza, tratando a cada media batch como la media obtenida de una corrida independiente de la simulación.

Análisis de la Salida en Simulaciones No Terminantes Ejemplo del Método de las Medias Batch Suponga que se desea estimar la variable X correspondiente al nivel de reciclado de una planta potabilizadora de agua. Se decide simular la planta durante 10 horas. Como se sabe que el proceso industrial alcanza su estado estacionario recién después de superar las 5 horas de producción, sólo se relevan datos a partir de la 6 hora de simulación. Por cada hora se toman 60 observaciones del nivel de producción. Una observación por minuto.

Análisis de la Salida en Simulaciones No Terminantes Tomando 5 batches correspondientes a una hora completa de simulación cada uno, se obtuvieron las siguientes medias y valores de desviación estándar para el nivel de reciclado de agua: Luego, el punto estimado es el promedio de las medias de cada batch, es decir:

Análisis de la Salida en Simulaciones No Terminantes El intervalo de confianza estará dado por: donde: n es la cantidad de intervalos o batches. S es el estimador del desvío estándar de la muestra. En este ejemplo, para =0.05 tenemos el siguiente intervalo de confianza:

Comparación de Sistemas y Políticas Cuando deseamos comparar el desempeño de dos o más sistemas a partir de los valores obtenidos para las variables de salida de la simulación, debemos distinguir entre dos casos: Muestras Independientes: en donde las secuencias de valores aleatorios utilizadas para efectuar las corridas son distintas para cada sistema. Muestras Correlacionadas: en donde las secuencias de valores aleatorios utilizadas para efectuar las corridas son las mismas para todos los sistemas.

Muestras Independientes Sea X la variable de comparación entre dos sistemas, luego la comparación puede cuantificarse mediante la siguiente expresión: donde: corresponden a las medias estimadas para cada sistema. es el valor de z correspondiente con probabilidad (100-/2)% en la distribución normal. corresponden a los desvíos estándar estimados para cada sistema. Luego, si el 0 está incluido en el intervalo se considera que las diferencias entre las salidas de los sistemas para dicha variable son despreciables. En caso contrario, la diferencia es significativa.

Muestras Correlacionadas Cuando deseamos comparar los valores obtenidos por dos simulaciones de una única corrida para una misma variable de salida con muestras correlacionadas, se dispone de la siguiente información:

Muestras Correlacionadas El primer paso consiste en construir la tabla de las diferencias:

Muestras Correlacionadas En este caso, la comparación se efectúa aplicando los siguientes pasos: Una vez computadas las diferencias corrida a corrida, se calcula la media y el desvío estándar de las diferencias. Finalmente, obtengo el intervalo de confianza como: donde: es la media de las diferencias. es el desvío estándar de las diferencias.

Recomendaciones Lectura sugerida para los temas vistos en esta clase: Capítulo 11, secciones 1 a 4, del libro Discrete-Event System Simulation de Banks, Carson, Nelson y Nicol. Apunte Complementario. Ejercitación propuesta: Trabajo Práctico 13: Análisis de la Salida de una Simulación.