INSTITUTO TECNOLÒGICO UNIDAD IV CADENAS DE MARKOV DE VILLAHERMOSA E Q U I P O 3 UNIDAD IV CADENAS DE MARKOV Integrantes: Mirielle Eunice Aragón López Efrén Córdova Pérez Soledad Ocaña Vergara Diana Gorrochotegui Barra María Guadalupe Jáuregui Santos Eduardo López García Ernesto de Dios Hernández Materia: Investigación de Operaciones II Catedrática : Zinath Javier Gerónimo

Unidad IV Cadenas de Markov Algunas veces nos… interesa saber cómo cambia una variable aleatoria a través de tiempo .Por ejemplo, desearíamos conocer como evoluciona el precio de las acciones de una empresa en el mercado a través del tiempo. El estudio de cómo evoluciona una variable aleatoria incluye el concepto de procesos estocásticos y el proceso de las cadenas de Markov. Las cadenas de Markov se han aplicado en áreas tales como educación, mercadotecnia, servicios de salud, finanzas ,contabilidad y producción.

Unidad IV Cadenas de Markov ¿ qué ES UN PROCESO ESTOCÀSTICO? Procesos que evolucionan de forma no deterministica a lo largo del tiempo en torno a un conjunto de estados. Un proceso estocástico de tiempo discreto es simplemente una descripción de la relación entre las variables aleatorias X0, X1, X2... Un proceso estocástico de tiempo continuo es simplemente un proceso estocástico en el que el estado del tiempo se puede examinar en cualquier tiempo y no sólo en instantes discretos.

Unidad IV Cadenas de Markov ¿ qué ES Una cadena de Markov? Es una herramienta para analizar el comportamiento y el gobierno de determinados tipos de procesos estocásticos. Es un tipo especial de procesos estocásticos de tiempo discreto. Para simplificar nuestra presentación supondremos que en cualquier tiempo , el proceso estocástico de Tiempo discreto puede estar en uno de un número finito de estados identificados por 1,2,…,S.

Unidad IV Cadenas de Markov definición Un proceso estocástico de tiempo discreto es una cadena de Markov si, para t= 0, 1, 2,… y todos los estados. Estado: Situación en que se haya el sistema en un instante dado dicha caracterización es cuantitativa como cualitativa. En otras palabras el estado es como están las cosas. P (X1+ 1=it+1 I X.=it…Xt-1=it-1,…,X1=i1,X0=i0) =P(Xt-1=it-1IXt=it)

Unidad IV Cadenas de Markov En esencia la ecuación anterior dice que la distribución de probabilidad del estado de tiempo t-1 depende de la del estado en el tiempo t(i) y no depende de los estados por los cuales pasó la cadena para llegar a t, en el tiempo t. Si el sistema pasa de una lado i durante un periodo al estado j durante el siguiente, se dice que ha ocupado una transición de i a j. Con frecuencia se llaman probabilidades de transición de las pij en una cadena de Markov. La Hipótesis de estabilidad, indica que la ley de probabilidad que relaciona el estado siguiente periodo con el estado actual no cambia, o que permanecer estacionaria un tiempo.

Unidad IV Cadenas de Markov El estudio de las cadenas de Markov también necesita que definan como la probabilidad de que la cadena se encuentra en el estado i en el tiempo en otras palabras, P( X=i)=q0- Al vector q=Iq1 q2 …qsI se le llama distribución inicial de probabilidad de la cadena de Markov. En la mayor de las aplicaciones, las probabilidades de transición se presentan como una matriz P de probabilidad de transición SxS. La matriz de probabilidad de transición se puede escribir como: P0A P0B ………. P0 P P1A P1B ……... P1 P2A P2B ………. P3

Unidad IV Cadenas de Markov Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar de tiempo t+1.Esto significa que para cada i, ∑ P (XT+1= Ji P (Xt = i)) = 1 ∑ Pu= 1 También sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos de la matriz de probabilidad de transición son negativos; los elementos de cada renglón deben sumar 1.

Unidad IV Cadenas de Markov ejemplos

Unidad IV Cadenas de Markov Ejemplo 1: La ruina del jugador. En el tiempo 0 tengo 2 dólares. En los tiempos 1,2,.participo en un juego en el que apuesto 1 dólar. Gano el juego con probabilidad y lo pierdo con probabilidad 1-p. Mi meta es aumentar mi capital a 4 dólares, tan pronto como lo logre se suspende el juego . El juego también se suspende si capital se reduce a 0 dólares. Si definimos que X es mi capital después del juego X, son procesos estocásticos de tiempo discreto. Nótese X0=2 es una constante conocida pero que X1 y las demás X son aleatorias. Por ejemplo, X1=3 con probabilidad P y X1 =1 con probabilidad 1-p. Nótese que si Xt=4 entonces X y todas las demás X, también serán igual a 4. Igualmente si Xt=0 entonces Xt+1 todas las demás Xt serán O también. Por razones obvias, a estos casos se llama problema de la ruina del juego.

Unidad IV Cadenas de Markov Solución: Unidad IV Cadenas de Markov Como la cantidad de dinero que tengo después de t+1 jugadas depende de antecedentes del juego solo hasta la cantidad de efectivo que tengo después de t jugadas, no ahí duda que se trata de una cadena de Markov. Como las reglas del juego no varían con el tiempo, también tenemos una cadena de Markov estacionaria. La matriz de transición es la siguiente ( el estado i quiere decir que tenemos i dólares): Estado 0dòlares 1dólares 2dòlares 3dòlares 4dòlares 0 1 0 0 0 0 1 1 –p 0 p 0 0 P=2 0 1-p 0 p 0 3 0 0 1-p 0 p 4 0 0 0 0 1

Unidad IV Cadenas de Markov Si el estado es 0 dólares o 4 dólares no juego más y, por lo tanto, el estado no puede cambiar; entonces p00=p44=1.Para los demás estados sabemos que, con probabilidad p, el estado del siguiente periodo será mayor que el estado actual en 1, y con probabilidad 1-p, el estado del siguiente periodo será menor en 1 que el estado actual. Esta es una representación gráfica de la matriz de probabilidad de transición para el ejemplo. p p 1-p 1-p 1 2 3 4 1 1 1-p p

Unidad IV Cadenas de Markov Ejemplo 2: Unidad IV Cadenas de Markov En una urna que contiene bolas hay dos sin pintar. Se selecciona una bola al azar y se lanza una moneda. Si la bola elegida no está pintada y la moneda produce cara, pintamos la bola de rojo; si la moneda produce cruz, la pintamos de negro. Si la bola ya está pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo, independientemente de si la moneda produce cara o cruz. Para modelar este caso como proceso estocástico, definimos a t como el tiempo después que la moneda ha sido lanzada por t-èsima vez y se ha pintado la bola escogida. En cualquier tiempo se puede representar el estado mediante el vector (u r b ), donde u es el número de bolas sin pintar en la urna, r el número de bolas rojas y b el de bolas negras. Se nos dice que X0=(2 0 0).Después del primer lanzamiento, una bola habrá sido pintada ya sea de rojo o de negro y el estado será ( 1 1 0) o ( 1 0 1). Por lo tanto, podemos asegurar que X1= (1 1 0) o X1= ( 1 0 1). Es claro que debe haber alguna relación entre las Xt.

Unidad IV Cadenas de Markov Solución: Unidad IV Cadenas de Markov Como el estado de la urna después del siguiente lanzamiento de la moneda depende solo del pasado del proceso hasta el estado de la urna después del lanzamiento actual, se trata de una cadena de Markov. Como las reglas no varían a través del tiempo, tenemos una cadena estacionaria de Markov. La matriz de transición es la siguiente: Estado (0 1 1) (0 2 0) (0 0 2) (2 0 0) (1 1 0) (1 0 1) ( 0 1 1) 0 ½ ½ 0 0 0 (0 2 0) 1 0 0 0 0 0 P=(0 0 2) 1 0 0 0 0 0 (2 0 0) 0 0 0 0 ½ ½ (1 1 0) ¼ ¼ 0 0 0 ½ (1 0 1) ¼ 0 ¼ 0 ½ 0

Unidad IV Cadenas de Markov Cálculos de las probabilidades de transición si el estado actual es ( 1 1 0 ): EVENTO PROBABILIDAD ESTADO NUEVO Sacar cara en el lanzamiento y escoger una bola sin pintar ¼ ( 0 2 0 ) Escoger bola roja ½ ( 1 0 1 ) Sacar cruz en el lanzamiento y escoger una bola sin pintar ( 0 1 1 )

Unidad IV Cadenas de Markov Para ver cómo se forma la matriz de transición, determinamos el renglón ( 1 1 0 ) Si el estado actual ( 1 1 0 ), entonces debe suceder uno de los eventos que aparecen en la tabla anterior. Así, el siguiente estado será ( 1 0 1 ) con la probabilidad ½; ( 0 2 0 ) con probabilidad ¼ y ( 0 1 1 ) con probabilidad ¼.En la siguiente imagen se da la representación grafica de esta matriz de transición. ¼ 0,1,1 2,0,0 ½ ½ 1 ½ ¼ ½ 0,2,0 1,1,0 ½ ¼ ½ 1 0,0,2 1,0,1 ¼