Diseño de Experimentos en Simulación

Presentación del tema: "Diseño de Experimentos en Simulación"— Transcripción de la presentación:

1 Diseño de Experimentos en Simulación
Capítulo 9 Diseño de Experimentos en Simulación 08

2 Contenido de Temas A. 2 Sistemas B. Sistemas Multiples (>2)
Comparación y evaluación de alternativas de diseño de sistemas A. 2 Sistemas Muestras Independientes Muestras Correlacionadas B. Sistemas Multiples (>2) Método de Bonferroni Modelos de Diseño de Experimental

3 Comparación de 2 Sistemas
Estudio comparativo del comportamiento de un sistema bajo dos escenarios excluyentes. Por Ejemplo: Modelo 1: Banco con una línea espera ante cada cajero Modelo 2: Banco con una sola línea de espera para todos los cajeros Para comparar los dos sistemas el Analista debe seleccionar: Un largo de corrida, Ti , para cada modelo (i=1,2) Un número de réplicas, Ri, para simular cada modelo Hipótesis Nula: No existe una diferencia significativa en el desempeño entre ambos diseños. Hipótesis Alternativa: Existe una diferencia significativa.

4 Comparación de 2 Sistemas
Muestras Independientes Procesar diferentes Entidades en cada Escenario Variancias Iguales ( ’s iguales ) Variancias Desiguales ( ’s distintos) Muestras Correlacionadas Procesar las MISMAS entidades en ambos escenarios Analizar las propiedades de la Entidad a su llegada

5 Diferencia de dos Medias
Muestras Grandes La diferencia entre dos medias obedece a una distribución normal con: \ I.C. para m1- m2 = Supuesto: Muestras Independientes con más de 30 observaciones cada una

6 Diferencia de dos Proporciones
Muestras Grandes Para muestras grandes n1 y n2 > 30 La aproximación es buena, siempre que ningún intervalo incluya el 0 o el 1

7 Diferencia de Medias de procesos
Muestras Pequeñas con Variancias Iguales I.C. para m1- m2 = donde (”varianza combinada”) Supuestos 1.- Muestras independientes de poblaciones normales 2.- Variancias desconocidas pero iguales

8 Diferencia de Medias de procesos
Pequeñas Muestras, Variancias Desiguales I.C. para m1- m2 = Donde Asumiendo : Independencia y Normalidad

9 Intervalo de confianza para 2 Varianzas
Asumiendo : Muestras Independientes de una Población Normal

10 IC para la diferencia de 2 Medias: Muestras Correlacionadas
Consideremos PARES de observaciones relativas al factor común de los 2 sistemas (Y1i, Y2i) Sea di = Y1i - Y2i la diferencia observada para el par i-ésimo I.C. para donde son la media y la desviación estándar de una muestra de n diferencias. Asumiendo : Observaciones Aleatorias; la población de las diferencias de los pares sigue una distribución Normal.

11 Muestras Correlacionadas
De: Luego, VCORR = VIND - VCORR < VIND (siempre que la correlación sea positiva) Una correlación positiva está generalmente (NO siempre!) inducida por el uso de los mismos números aleatorios para generar entidades.

12 Comparación de Escenarios Múltiples
Muestreo: Fijo (tamaño de las muestras predeterminado) Secuencial (se recogen suficientes datos en la muestra hasta que se alcanza una precisión predeterminada) Metas: Estimación de cada parámetro (K intervalos de confianza) Comparación de cada medida de funcionamiento c/r de un valor de control (K-1 intervalos de confianza) Todas las comparaciones posibles (K(K-1)/2 intervalos de confianza) Selección del mejor (el más grande o el más pequeño)

13 Múltiples Medidas de Desempeño
En la mayoría de los modelos de simulación reales, se consideran varias medidas de desempeño simultáneamente. Algunos ejemplos: Throughput ( Medida Rendimiento Global) Largo promedio de la cola Utilización Tiempo promedio en el sistema Cada medida de desempeño se estima frecuentemente con un intervalo de confianza. Cualquiera de los intervalos podría “fallar” en relación a su medida de desempeño esperada. Se debe tener cuidado con sobredimensionar los indicadores (ya en tal caso es difícil que todos los intervalos contengan sus medidas de funcionamiento esperadas simultáneamente).

14 Múltiples Medidas de Desempeño
Suponga que tenemos k medidas de desempeño y el intervalo de confianza para la medida de desempeño s para s = 1, 2, ..., k, está en un nivel de confianza Entonces la probabilidad que todos los k intervalos de confianza contengan simultáneamente su medida real respectiva es Esta desigualdad es conocida como la desigualdad de Bonferroni o desigualdad de Boole. P todos los intervalos contengan su medida de desempeño respectiva

15 Múltiples Medidas de Desempeño
Para asegurar que la probabilidad (que los k intervalos de confianza contengan simultáneamente a su verdadera media) sea por lo menos 100 ( ) %, debemos elegir los ‘s tales que Se pueden seleccionar para todos los s = /k, o escoger los diferentes ’s para las medidas de desempeño más importantes).

16 Múltiples Medidas de Desempeño
Ejemplo: Si k =2 y quisieramos que el nivel total deseado de confianza fuera por lo menos 90%, podemos construir dos intervalos de confianza del 95%. Dificultad: Si hay una gran cantidad de medidas de desempeño, y deseamos un nivel total razonable de confianza (ej., 90% ), los individuales podría llegar a ser muy pequeño, haciendo los intervalos de confianza correspondientes muy amplios. Por lo tanto, se recomienda que el número de medidas de desempeño no exceda de 10.

17 Análisis de varios Sistemas
La mayoría de los proyectos de simulación requieren de la comparación de dos o más sistemas o configuraciones: Modificar la arquitectura de redes en centros de trabajo Evaluar varias políticas de despacho de trabajo (FIFO,LIFO, etc.) Con dos sistemas alternativos, la meta puede ser: test de hipótesis: v/s construir intervalos de confianza para Con k > 2 alternativas, el objetivo puede ser: construya intervalos de confianza simultáneos para varias combinaciones de seleccione la “mejor” de las k alternativas seleccione un subconjunto de tamaño m < k que contenga la “mejor” alternativa

18 Comparación de dos Sistemas Alternativos
Formar un intervalo de confianza para la diferencia entre las medidas de desempeño de los dos sistemas ( ej., ). Si el intervalo no contiene al 0, hay una diferencia estadística significativa entre los dos sistemas. Los intervalos de confianza son mejores que los test de hípótesis porque si existe una diferencia, el intervalo de confianza mide su magnitud, no así un test de hipótesis. Hay dos maneras levemente distintas de construir intervalos de confianza: Pares-t Dos-Muestras-t.

19 Intervalo de Confianza de Pares
Efectuando n replicas de los 2 sistemas. Sea la j-ésima observación del sistema I (i = 1, 2). El par define para j = 1, 2, …, n. Entonces , los son v.a. IID con cantidad para la cúal nosotros deseamos construir un intervalo un I.C. Sea ; Entonces, el intervalo 100(1- ) % es

20 Intervalo de Confianza de 2 Muestras
Hacer n1 replicaciones del sistema 1 y n2 replicaciones del sistema 2. Aquí Nuevamente, para el sistema i = 1, 2, queda y Estimar los grados de libertad como Entonces, el I.C. aproximado 100(1- ) porciento es

21 Comparación de los Métodos
El método de dos muestras-t requiere independencia entre e mientras que el método de pares -t no requiere independencia entre e Por lo tanto, en el método de pares-t, números aleatorios pueden ser usados para introducir correlación positiva entre las observaciones de los diferentes sistemas como una forma de reducir la variancia. En el método de pares-t ,se debe cumplir que n1 = n2, mientras que en el método de dos muestras

22 Intervalos de Confianza para Comparar más de dos Sistemas
En el caso de más de dos sistemas alternativos, hay dos maneras de construir un intervalo de confianza en las diferencias seleccionadas Comparación con un estándar o testigo Comparación de todos los pares NOTA: Puesto que estamos haciendo k > 1 intervalos, para tener un nivel total de confianza de , debemos hacer cada intervalo al nivel (Bonferroni).

23 Comparación con un estándar
En este caso, uno de los sistemas (quizás el sistema en operación o la política existente) es un “estándar”. Si el sistema 1 es el estándar y deseamos comparar los sistemas 2, 3, ..., k con el sistema 1, se deben construir k-1 intervalos de confianza para las k-1 diferencias Para alcanzar un nivel total de confianza de al menos , cada uno de los k-1 intervalos de confianza se debe construir en el nivel Podemos usar los métodos pares-t o dos-muestras-t descritos en la sección previa para hacer los intervalos individuales.

24 Comparación de todos los pares
En este caso, cada sistema se compara a todos los otros sistemas para detectar y cuantificar cualquier diferencia significativa. Por lo tanto, para k sistemas, construimos k (k -1) / 2 intervalos de confianza para las k (k -1) / 2 diferencias: Cada uno de los intervalos de confianza deben ser construidos en un nivel de para que una confianza total de al menos sea alcanzada. Nuevamente, podemos usar los métodos pares-t o dos-muestras-t para hacer los intervalos de confianza individuales.

25 Ranking y Selección El objetivo de la selección y el ranking son diferentes y más ambiciosas que hacer simplemente una comparación entre varios sistemas alternativos. Aquí, la meta puede ser: Seleccionar el mejor de k sistemas Seleccionar los distintos subconjuntos de tamaño m a partir de los k sistemas Seleccionar el mejor subgrupo m Seleccionar la mejor Solución dentro del subgrupo

26 Ranking y Selección 1. Seleccionar el mejor de k sistemas:
Queremos seleccionar uno de los k sistemas alternativos como el mejor. Debido a la aleatoriedad inherente en los modelos de simulación, no podemos estar seguros que el sistema seleccionado es el de menor (asumiendo que “menor” es bueno). Por lo tanto, especificamos una probabilidad P* de selección correcta (como 0.90 or 0.95). También especificamos una zona de indiferencia d* la cual quiere decir que si la mejor media y la segunda mejor media difieren por más de d*, seleccionamos la mejor con probabilidad P*. Como ejemplo, suponga que tenemos 5 configuraciones alternativas y queremos identificar el mejor sistema con una probabilidad de al menos 95%.

27 Ranking y Selección 2. Seleccionar un subconjunto de tamaño m que contenga al mejor de los k sistemas: Queremos seleccionar un subconjunto de tamaño m (< k) que contenga al mejor sistema con una probabilidad de al menos P*. Este acercamiento es útil en la visión inicial de las alternativas para eliminar las opciones inferiores. Por ejemplo, suponga que tenemos 10 configuraciones alternativas y deseamos identificar un subconjunto de 3 alternativas que contengan al mejor sistema con una probabilidad de al menos 95% .

28 Ranking y Selección 3. Seleccionar el mejor m de k sistemas:
Queremos seleccionar el mejor m (no ordenado) de los k sistemas de modo que con probabilidad de al menos P* las respuestas esperadas del subconjunto seleccionado sean iguales a las m respuestas mas pequeñas esperadas. Esta situación puede ser útil cuando deseamos identificar varias buenas opciones, en el caso de que la mejor sea inaceptable por alguna razón. Por ejemplo, suponga que tenemos 5 configuraciones alternativas y deseamos seleccionar las 3 mejores y tenemos que la probabilidad de seleccionar la correcta es al menos 90% .

29 Ejemplo. Comparación de Sistemas
Para ilustrar el peligro en la generación de un sólo paso y calcular visualmente los resultados al comparar alternativas, considere el siguiente ejemplo: Comparar: Alternativa 1: M/M/1 cola con tiempo entre llegadas de 1 min., y una máquina “rápida” con tiempo de servicio de 0.9 min., y Alternativa 2: M/M/2 cola con tiempo entre llegadas de 1 min., y dos máquinas “lentas” con tiempo de servicio de 1.8 min. por cada máquina.

30 Ejemplo. Comparación de Sistemas
Si la medida del desempeño de interés es el retardo medio esperado en la cola de los 100 primeros clientes, con condiciones iniciales vacias y ociosas, usando análisis de colas, los retardos medios del estado estacionario en la cola son: Por lo tanto, sistema 2 es “mejor” Si ejecutamos cada modelo apenas una vez y calculamos el retardo promedio, , de cada alternativa, y se selecciona el sistema con el más pequeño, entonces Prob(seleccionando sistema 1 (respuesta incorrecta)) = 0.52 Razón: La aleatoriedad de la salida

31 Ejemplo. Comparación de Sistemas
Solución: Replique cada alternativa n veces Haga = retardo medio de la j-ésima replica de la alternativa i Calcule el promedio de todas las réplicas para la alternativa i Seleccione la alternativa con el menor Si hacemos este experimento muchas veces, obtendremos el siguiente resultado:

32 Diseño de Experimentos (DoE) y Superficie de Respuesta (RSM)

33 Contenido de Temas Motivación y Terminología
Dificultades en la Solución de Problemas de DoE Ejemplos de Factores y Respuestas Tipos de Diseño de Experimentos Diseño Factorial Completo Aleatorización de Efectos Ejemplos de Diseño Factorial Completo Situaciones con Muchos Factores Superficies de Respuesta Meta-modelos Análisis de Regresión Metodología de Superficie de Respuesta (RSM)

34 Motivación y Terminología ¿Cuándo utilizamos DoE?
Si existen muchas alternativas a considerar (i.e., un gran número de niveles, varios tipos o categorías o un gran número de parámetros) para un sistema propuesto Dos tipos básicos de variables son: factores y respuestas Factores: Parámetros de Entrada de un modelo de Simulación -controlables o no controlables -cuantitativos o cualitativos Respuestas: Salidas de un un modelo de Simulación - Naturaleza incierta (Ruido) Problema Básico : Encontrar los mejores niveles (o valores de los parámetros) en términos de las respuestas Diseño Experimentos nos dice que alternativas debemos simular (experimentar), para así obtener la información deseada con la menor cantidad de simulaciones (corridas)

35 Dificultades en la Solución del Problema Básico en DoE
Múltiples Factores (F) Múltiples Respuestas (O) Respuesta incierta ( Ruido) Limitaciones F O I SISTEMA R

36 Ejemplo de Factores 1. Tiempo Medio entre llegadas (Cuantitativa no controlable) 2. Tiempo Medio de servicio (Cuantitativa controlable o no) 3. Número de servidores (Cuantitativa controlable) 4. Disciplina de las colas (Cualitativa controlable) 5. Reorder point (Cuantitativa controlable) 6. Tiempo Medio entre demandas (Cuantitativa no controlable) 7. Distribución del tiempo entre demandas (Cualitativa no controlable)

37 Ejemplo de Respuestas 1. Tasa media de producción diaria
2. Tiempo medio para los pacientes en el Sistema 3. Nivel medio de inventario 4. Número de clientes que esperan más de 15 minutos

38 Motivación y Terminología en DoE
Réplica - repetición de un experimento básico. Tratamiento – una combinación específica de niveles de los factores. Unidad Experimental - la unidad a la cual un tratamiento simple es aplicado (one replication of the basic experiment). Error Experimental - error entre dos unidades tratamientos experimentales idénticos que producen resultados similares. Confundido - el “mixing up” de dos o más factores de modo que es imposible separar los efectos.

39 Motivación y Terminología en DoE
Aleatorización - Asignación aleatoria de tratamientos a las unidades experimentales (assures independent distribution of errors) Efecto Principal (de un factor) – una medida del cambio en una variable de respuesta, debido al cambio de nivel del factor, promediando los efectos de todos los factores restantes Interacción es un efecto adicional (sobre la respuesta) debido a la influencia de la combinación de dos o más factores.

40 Tipos de Diseños de Experimentos
Computacionales Diseño Completamente Aleatorizado Diseño en bloques Completamente Aleatorizado Diseño Factorial Completo Diseño Factorial Fraccionario Diseño Factorial Anidado Diseño de cuadrados latinos Diseño Jerarquizado etc.

41 Diseño Factorial 2k Supongamos que tenemos k (k > 2) factores. Un diseño factorial 2k (2k factorial design) requiere que dos niveles sean escogidos por cada factor, y que “n” corridas de simulación (replicas) se ejecuten por cada una de las 2k posibles combinaciones de niveles de los factores (design points). Para 3 factores, podemos usar la Matriz de Diseño:

42 Matriz de Diseño para 3 Factores
Diseño Factorial 2k Matriz de Diseño para 3 Factores Factor 1 Factor 2 Factor 3 Design Point Level Level Level Response O1 O2 O3 O4 O5 O6 O7 O8 “+” se refiere a uno de los niveles de un factor y “-” se refiere al otro nivel . Normalmente, para factores cuantitativos , el nivel más grande y más pequeño de cada factor elegido.

43 Diseño Factorial 2k : Estimación
El Efecto Principal del factor 1 es el cambio en la variable respuesta como resultado del cambio en el nivel del factor, promediando los efectos de los restantes factores. Si el efecto de alguno de los factores depende del nivel de cualquier otro factor, se dice que estos factores interactúan El grado de interacción (two-factor interaction effect) entre dos factores i y j está definido como:

44 Diseño Factorial Completo (2k)
Consideremos un modelo de simulación de un sistema de producción. Las 2 variables de decisión o factores a considerar son: Presión (P) y Temperatura (T) para el sistema de producción. Los valores máximos y mínimos admisibles para cada factor están dados por: Supongamos que la variable respuesta de salida del modelo es el rendimiento del proceso .

45 Diseño Factorial Completo (2k)
Una matriz de diseño 22 con los resultados de simulación (para 10 replicas en cada punto de diseño ) está dada por: Donde un factor de nivel “-” indica el mínimo valor posible para el factor, y un factor en el nivel “+” indica el máximo valor posible ; por ejemplo, para el design point 2 se tiene P=40 and T =15.

46 Diseño Factorial Completo (2k)
La respuesta dada es el costo promedio de las 10 réplicas. El efecto principal es: El efecto de interacción esta dado por Además, el efecto medio de incrementar P de 20 a 40 es un incremento en el rendimiento de 1.2, y el efecto medio de incrementar T desde 15 a 50 es una reducción en el rendimiento de Esto podría aconsejar seleccionar el factor T como el valor más bajo y el factor P como el más alto.

47 Diseño Factorial Completo (2k)
También a menudo un efecto de interacción positivo, podría indicar que los efectos de los factores P y T tienen niveles opuestos. Por supuesto que esto se puede inferir de un breve análisis de las respuestas para combinaciones de diseño. Note también que la interpretación del efecto principal asume que no hay efecto de interacción.

48 Aleatoriedad de los Efectos
Observemos que los efectos principales e interacciones calculados en el ejemplo previo son variables aleatorias. Para determinar si los efectos son realmente significativos o si su cambio se debe a fluctuaciones aleatorias deberíamos calcular los efectos principales e interacciones varias veces (10 o más) y construir un intervalo de confianza para cada efecto principal e interacción. Si el intervalo de confianza contiene al cero, entonces el efecto no es estadísticamente significativo. (Note que la significancia estadística no necesariamente implica significancia práctica).

49 Situación con muchos Factores
Cuando existan muchos factores a considerar en el diseño factorial completo, se puede recurrir al diseño de experimentos factorial fraccionado (2k-p , 3k-p , etc). Cuando no sea posible utilizar un diseño factorial fraccionado es posible recurrir a otros diseños por ejemplo diseños sobresaturados (Mauro 1986). Otra aproximación para reducir el número de factores es considerar la técnica de factores ocultos o agrupación de factores donde un grupo de factores se consideran como si fuesen un solo factor (confundido).

50 Superficies de Respuesta y Metamodelos
Una superficie de respuesta es un gráfico de la variable respuesta como una función de varios factores. Un metamodelo (literalmente, modelo algebraico de un modelo de simulación), es una representación algebraica de un modelo de simulación, con los factores como variables independientes (determinísticas o estocásticas) y la variable respuesta como variable dependiente. La que pueda representar una aproximación de la superficie de respuesta. Un metamodelo típico usado en aplicaciones de simulación es el modelo de regresión.

51 Superficies de Respuesta y Metamodelos
A través de un metamodelo la metodología de superficie de respuesta (RSM) puede encontrar la respuesta óptima de un conjunto de factores. También puede ser usada para responder otro tipo de preguntas (operación evolutiva de procesos). La Experimentación con un metamodelo es comúnmente menos costosa que usar el modelo de simulación directamente. Un proceso de diseño de experimento asume un particular metamodelo (Lineal model, Quadratic model, etc).

52 Conceptos de Análisis de Regresión
Los métodos de Regresión son usados para determinar la mejor relación funcional entre las variables. Supongamos que la relación funcional puede ser representada por: E(Y) = f (X1, ..., Xp / B1, ..., BE) donde E(Y) es el valor esperado de la variable de respuesta Y; los X1, ..., Xp son factores; y los B1, ..., BE los parámetros de la forma funcional; e.g., E(Y) = B1 + B2 X1 + B3 X2 + B4 X1 X2+……

53 Conceptos de Análisis de Regresión
La observación de un valor de respuesta Y, para un conjunto de X ’s, es asumida como una variable aleatoria dada por: Y = f (X1, ..., Xp/B1, ..., BE) + Donde es una variable aleatoria con media igual a 0 y varianza Los valores de B1,...,BE son obtenidos por algún método de estimación conveniente ( LS, M, GM etc.).

54 Métodos en Superficie de Respuesta
Fuente: (Fu, 1994) La metodología de superficie de respuesta (Response surface methodology RSM) involucra una combinación de metamodelos (i.e., regresión lineal y no lineal) y procedimientos secuenciales de optimización (iterative optimization).

55 RSM compreden 2 Etapas : Ajustar un modelo de regresión lineal a los puntos iniciales en el espacio de búsqueda, (mediante las réplicas del modelo de simulación). Estimar una dirección de descenso para el modelo de regresión y un tamaño de salto hasta encontrar una nueva (mejor) solución en el espacio de búsqueda. Repita el proceso hasta que el modelo de regresión lineal resulte inadecuado (indicando cuándo la pendiente de la superficie de respuesta lineal es aproximadamente cero; i.e., cuando los efectos de interacción llegan a ser más grande que los efectos principales) Ajuste de una ecuación de regresión no lineal (quadratic) a la nueva área de búsqueda (search space). Para luego encontrar el óptimo de ésta ecuación.