Cadenas de Markov. Agenda 1.Problema de Inventario – Revisión periódica con demanda estocástica 2.Formulación (Matricial) de Cadenas de Markov 3.Dinámica.

Presentación del tema: "Cadenas de Markov. Agenda 1.Problema de Inventario – Revisión periódica con demanda estocástica 2.Formulación (Matricial) de Cadenas de Markov 3.Dinámica."— Transcripción de la presentación:

1 Cadenas de Markov

2 Agenda 1.Problema de Inventario – Revisión periódica con demanda estocástica 2.Formulación (Matricial) de Cadenas de Markov 3.Dinámica de Sistemas 4.Propiedad markoviana aplicado a tiempos 5.Proceso de Nacimiento y Muerte

3 La sucesión de observaciones de las variables aleatorias S 0, S 1,... se llama un proceso estocástico o proceso aleatorio, donde: ¿Qué es un proceso estocástico? En un proceso de este tipo los valores de las observaciones no pueden predecirse con precisión de antemano. Sin embargo puede especificarse una probabilidad de observar determinado valor. Por ejemplo S t podría representar los niveles de inventario al final de la semana t. t = 1,2,…

4 Una tienda de cámaras tiene en almacén un modelo de cámara que puede ordenar semanalmente, donde: El sábado en la noche la tienda hace un pedido que es entregado el lunes. La política de la tienda es la siguiente: si no hay cámaras en el inventario, ordena 3. De otra manera si se cuentan con cámaras en el almacén no se hace pedido. Por estudios anteriores, se sabe que la demanda semanal D t tiene una distribución Poisson con media 1. Considerar S 0 = 3 y que las ventas se pierden cuando la demanda excede el inventario. 1. Problema de Inventario

5 a)Deducir la función X t (S t-1 ) que representa la cantidad de compra semanal b)Deducir la función S t (S t-1,D t ) que describe la evolución del estado en función de la demanda, incorporando la política de compra c)Construir la matriz de transición d)Construir el diagrama de transición de estados e)Obtener la distribución probabilística del estado después de una y de dos semanas. (Es decir, obtenga la distribución prob. de S 1 y de S 2 ) a) La política es de comprar sólo cuando se acaba el inventario, y de comprar lotes de 3. 1. Problema de Inventario

6 b)Deduce la función S t (S t-1,D t ) que describe la evolución del estado en función de la demanda, incorporando la política de compra Considerando la posibilidad de que la demanda exceda a la oferta, la evolución se da por La política es que Entonces, 1. Problema de Inventario

7 c)Construya la matriz de transición P = p ij = P(S t = j| S t-1 = i) S t-1 StSt 0P(D t >3)P(D t = 2)P(D t = 1)P(D t = 0) 1P(D t >1)P(D t = 0) 0 0 2P(D t >2)P(D t = 1)P(D t = 0) 0 3P(D t >3)P(D t = 2)P(D t = 1)P(D t = 0) 0 1 2 3 = (La matriz de transición muestra la evolución S t (S t-1,D t ), según la distribución de D t ) 1. Problema de Inventario

8 d)Construya el diagrama de transición de estados P = 01 2 3 0,080 0,184 0,368 0,264 0,368 0,080 0,632 0,184 0,368 1. Problema de Inventario

9 e)Obtener la distribución probabilística del estado después de una y de dos semanas. (Es decir, obtenga la distribución prob. de S 1 y de S 2 ) Utilicemos p (t) para representar la distribución probabilística de S t, en forma vectorial En el contexto de nuestro ejemplo, p (t) = [P(S t = 0);P(S t = 1);P(S t = 2);P(S t = 3)] Ya que S o = 3, según el enunciado, p (0) = [0 0 0 1] La matriz de transición está hecha a propósito para que p (t) = p (t-1) P Entonces, p (1) = [0,080 0,184 0,368 0,368 ] Luego, p (2) = p (1) P = [0,249 0,286 0,300 0,165 ] 1. Problema de Inventario

10 e)Obtener la distribución probabilística del estado después de una y de dos semanas. (Es decir, obtenga la distribución prob. de S 1 y de S 2 ) p (1) = [0,080 0,184 0,368 0,368 ] p (2) = [0,249 0,286 0,300 0,165 ] Si empezamos con 3 cámaras, hay una probabilidad de … 8% que nos queda 0 después de una semana, y 24,9% después de dos semanas. 18,4% que nos queda 1 después de una semana, y 28,6% después de dos semanas. 36,8% que nos queda 2 después de una semana, y 30% después de dos semanas. 36,8% que nos queda 3 después de una semana, y 16,5% después de dos semanas, etc. ¿Cómo interpretar estos resultados? 1. Problema de Inventario

11 2. Formulación de Cadenas de Markov Acabamos de ver un ejemplo de un proceso estocástico, además es un ejemplo de una Cadena de Markov Una cadena de Markov es un proceso estocástico {S t |t = 0…n} que tiene la propiedad markoviana: Es decir, la probabilidad condicional de un evento futuro dado eventos pasados y el estado actual, depende sólo del presente y es independiente de eventos pasados.

12 En el contexto de Cadenas de Markov, se pueden definir probabilidades de transición (de un paso) y son estacionarias (no cambian en el tiempo), esto es: 2. Formulación de Cadenas de Markov

13 Probabilidades de Transición Lo último implica que también se cumple que para cada: Lo cual se conoce como probabilidad de transición de n pasos. Notación de probabilidades estacionarias: 2. Formulación de Cadenas de Markov

14

15 Propiedades: Notación conveniente: forma matricial 2. Formulación de Cadenas de Markov

16

17 En las cadenas de Markov que se estudiarán en el capítulo, se tendrán las siguientes propiedades: Un número finito de estados. Probabilidades de transición estacionarias. Según estos suposiciones, P (n) = P n Resultado de Chapman-Kolmogorov Además se supondrá que se conocen las probabilidades iniciales (corresponde al vector p (0) ) 2. Formulación de Cadenas de Markov

18 Problema de Inventario Aplicando el resultado de Komolgov-Chapman al problema de inventario Entonces, p (2) = p (0) P 2 = [0,249 0,286 0,300 0,165 ], igual como antes Ahora que tenemos P 2, se puede calcular p (2) para cualquier distribución inicial p (0) 2. Formulación de Cadenas de Markov

19 Lo mismo se puede aplicar para la matriz de transición de 4 pasos, que se puede obtener como P (4) = P 4 = P 2 *P 2. Lo cual permite obtener las mismas conclusiones previas, pero para un inventario de 4 semanas más tarde. En general p (n) = p (0) P n = nos da la distribución probabilística de estado S t después de t = n pasos 2. Formulación de Cadenas de Markov

20 Probabilidades Condicionales v/s Incondicionales La matriz P n tiene las distribuciones probabilísticas condicionales, p ij (n) = Probabilidad de que (S n = j), dado que (S 0 = i) = P(S n = j|S 0 = i) Muchas veces se pone la distribución incondicional, lo cual implica una suma ponderada, según la distribución inicial p j (n) = Probabilidad de que (S n = j), según la distribución inicial = P(S n = j) = O se lo puede escribir en forma matricial, p (n) = p (0) P n como lo hemos hecho con el ejemplo del inventario con n = 2. 2. Formulación de Cadenas de Markov

21 Acuérdense de los cuatros casos que hemos visto por la dinámica de inventarios: 3. Dinámica de sistemas 1.Demanda determinística con revisión continua 2.Demanda estocástica con revisión continua 3.Demanda determinística con revisión periódica 4.Demanda estocástica con revisión periódica En este capítulo hemos analizado un poco el caso 4. Ahora vamos a generalizar la conversación, para considerar la dinámica de sistemas: 1.Cambios determinísticos de estadotiempo continuo 2.Cambios estocásticos de estadotiempo continuo 3.Cambios determinísticos de estadopasos periódicos 4.Cambios estocásticos de estadopasos periódicos Agregamos 2 casos adicionales: 5.Cambios determinísticos de estadopasos de duración estocásticos 6.Cambios estocásticos de estado pasos de duración estocásticos

22 Dinámica de Sistemas: 1.Cambios det. de estados tiempo continuo 2.Cambios est. de estados tiempo continuo 3.Cambios det. de estados pasos periódicos 4.Cambios est. de estados pasos periódicos 5.Cambios det. de estados duración est. 6.Cambios det. de estados duración est. Son temas que se tocan en este curso, y también en Simulación Con la excepción del modelo (R,Q), el caso 2 se ve como lo “más difícil”, porque requiere formación en análisis real, métodos numéricos, etc. En general, los ejemplos clásicos de inventarios caben dentro de 1-4 Los ejemplos clásicos de colas caben los casos 5 y 6 El resto de este capítulo adapta la propiedad markoviana para los casos 5 y 6 (duraciones estocásticos) Inventarios Colas

23 4. Propiedad Markoviana aplicada a tiempos (“Cadenas de Markov de Tiempo Continuo”) Existen ciertos casos en los que se requiere un parámetro de tiempo continuo (t), pues la evolución del proceso se observa de manera continua a través del tiempo. Tasa promedio (en casos discretos se pone probabilidades)

24 Importancia de la distribución exponencial

25 Esto es la propiedad de carencia de memoria La distribución de probabilidad continua que posee esta propiedad es la distribución exponencial, cuyo parámetro es.

26 para todo i

27 El papel análogo de las probabilidades de transición en una cadena de tiempos discretos, lo desempeñan las “intensidades de transición” en las cadenas de tiempo continuo:

28 Cada vez que el proceso entra al estado i, la cantidad de tiempo que pasará en el estado i antes de que ocurra una transición al estado j (si no ocurre antes una transición a algún otro estado) es una variable aleatoria T ij, (j ≠ i) Las T ij son variables aleatorias independientes, donde cada T ij tiene una distribución exponencial tal que E[T ij ] = 1/ ij El tiempo que pasa en el estado i hasta que ocurre una transición T i es el mínimo (sobre j ≠ i) de las T ij Cuando ocurre la transición, la probabilidad que sea al estado j es p ij = ij / i

29 En resumen, Propiedad markoviana (carencia de memoria) Variable de tiempo (duración) Distribución Exponencial

30 Ejercicio (Super-Conejos) El país A está en guerra contra el país B, y ha desarrollado unos “super-conejos” como forma de ataque biológico. Estos conejos nunca mueren, pero tienen una tasa de reproducción que se explica por la siguiente fórmula: a)Si se introducen 500 conejos al país B en un tiempo, ¿cuál será el tpo. esperado antes de que nazca el conejo N° 501? b)¿Cuánto tpo. es de esperar hasta que nazca el conejo N° 100.000? En lo cual j se mide en conejos por semana.

31 a) Próximo conejo: b) Conejo Nº 100.000: La tasa promedio es de 500 = 500 conejos/semana Entonces, se espera ver el próximo conejo después de t 501 = ( 500 ) -1 = 0.002 semanas ≈ 20 minutos t 100000 = ( 500 ) -1 + ( 501 ) -1 + … +( 99999 ) -1 = 1/500 + 1/501 + … + 1/99999 (serie harmónica) = 2,997 semanas (por computadora) (Al fin llega a una tasa promedio de 99999 = 99999 conejos/semana)

32 Ejercicio (Soltero a la vida) Juanito es muy joven, y ahora se considera como “soltero a la vida”. Sin embargo, él es siempre fiel cuando tiene polola; es decir que él solo busca una nueva polola cuando no tiene polola. Cuando no tiene polola, el tiempo esperado antes de que Juanito encuentre una nueva polola es de 4 meses. El tiempo esperado que dure una nueva relación es de 6 meses. En cualquier momento, ¿cuál es la probabilidad que Juanito esté pololeando? Solución: = tasa para encontrar polola = 1/4  = tasa para dejar a la polola = 1/6 p 0 = probabilidad de no tener polola = ? p 1 = probabilidad de tener polola = ? (p 1 + p 0 = 1)

33 Ejercicio (Soltero a la vida) La tasa con que Juanito gana una polola es, pero con condición de que él no tiene polola. Entonces la tasa promedio de ganar polola es: p 0 De manera similar la tasa promedio de perder polola es:  p 1 El balance de flujos nos da  p 1 = p 0 = (1 – p 1 ) = – p 1 (  + )p 1 = p 1 = / (  + ) = (1/4) / ((1/4) + 1/6)) = 60% En algún momento, Juanito tiene probabilidad de 60% de tener polola. Acabamos de ver un modelo básico de colas que se identifica con una notación “M/M/1/1”. Vamos a conversar esta notación en el próximo capítulo.

34 Proceso de Poisson Algunas veces, una cadena de Markov con pasos de tiempos continuos, se llama “Proceso de Poisson” El siguiente ejemplo ilustra cuál es la conexión entre la distribución exponencial y la distribución de Poisson

35 35 Ejercicio (Proceso de Poisson) Los trabajos que deben realizarse en una máquina específica llegan según un proceso de entradas Poisson con tasa media de 2 por hora. Suponga que la máquina se descompone y su reparación tardará 3 hora. ¿Cuál es la probabilidad de que el número de trabajos que llegan durante este tiempo sea: a) 0 b) 2 c) 5

36 36 Ejercicio (Proceso de Poisson) a) ¿Cuál es la probabilidad de que el número de trabajos sea cero? (Utilizando la distr. exponencial) T 1 = tiempo para la primera llegada (variable aleatoria) λ = tasa esperada para una próxima llegada= 2 llegas/hora Nota que E(T 1 ) = 1/ λ horas, (igual como en el ejemplo anterior) t = tiempo total para reparar la máquina = 3 horas Probabilidad de que haya cero llegadas = P(T 1 > t) = 1 - P(T 1 < t)

37 37 Ejercicio (Proceso de Poisson) a) ¿Cuál es la probabilidad de que el número de trabajos sea cero? (Utilizando la distr. Poisson) X = Cantidad de llegadas durante los tres horas (variable aleatoria)  = Cantidad esperada de llagadas durante los tres horas = λt = (2 llegadas por hora)  (3 horas) = 6 llegadas Según la pmf de la Poisson, (Muchas veces, los formularios utilizan lambda en vez theta. Cuídense por está ambigüedad). ≠ λ Bueno, el resultado anterior sale inmediatamente

38 38 Ejercicio (Proceso de Poisson) b) ¿Cuál es la probabilidad de que el número de trabajos sea dos? (Utilizando la distr. exponencial) T 1 = tiempo para la primera llegada T 2 = tiempo entre la primera y la segunda llegada T 3 = tiempo entre la segunda y la tercera llegada Probabilidad de que haya dos llegadas = P( T 1 < t λ = tasa esperada para una próxima llegada= 2 llegas/hora Nota que E(T 1 ) = E(T 2 ) = E(T 3 ) = 1/ λ horas, t = tiempo total para reparar la máquina = 3 horas, T 2 < t-T 1, T 3 > t-T 2 -T 1 ) (Cuídense de los límites de integración)

39 39 Ejercicio (Proceso de Poisson) b) ¿Cuál es la probabilidad de que el número de trabajos sea dos? (Utilizando la distr. exponencial) Probabilidad de que haya dos llegadas

40 40 Ejercicio (Proceso de Poisson) b) ¿Cuál es la probabilidad de que el número de trabajos sea dos? (Utilizando la distr. exponencial)

41 41 Ejercicio (Proceso de Poisson) b) ¿Cuál es la probabilidad de que el número de trabajos sea dos? (Utilizando la distr. Poisson)

42 42 Ejercicio (Proceso de Poisson) c) ¿Cuál es la probabilidad de que el número de trabajos sea cinco? (Utilizando la distr. Exponencial) c) ¿Cuál es la probabilidad de que el número de trabajos sea cinco? (Utilizando la distr. Poisson) Probabilidad de que haya cinco llegadas = P( (T 1 t - T 1 - T 2 - T 3 - T 4 - T 5 ) ) Mejor trabajar con la distr. Poisson, ¿cierto?