Proceso estocástico Cadena de Markov Estado Transición

Presentación del tema: "Proceso estocástico Cadena de Markov Estado Transición"— Transcripción de la presentación:

1 Proceso estocástico Cadena de Markov Estado Transición
Cadenas de Markov Proceso estocástico Cadena de Markov Estado Transición

2 Probabilidad de transición
Es la probabilidad que ocurra la transición del estado i al estado j, dado que se está en el estado i. P{ X t + 1 = j / X t = i }

3 P{ X t + 1 = j / X t = i } = P{ X 1 = j / X 0 = i }
Probabilidades estacionarias de un paso Si para cada i y j se cumple: P{ X t + 1 = j / X t = i } = P{ X 1 = j / X 0 = i } entonces, se dice que las probabilidades de un paso son estacionarias Notación: Pij

4 P{ X t + n = j / X t = i } = P{ X n = j / X 0 = i }
Probabilidad de transición en n pasos P{ X t + n = j / X t = i } = P{ X n = j / X 0 = i } Notación: Pij(n)

5 Propiedades de Pij(n) Pij(n) ≥ 0 para todo i, j y n = 0, 1, 2, … S Pij(n) = 1 para todo i, j de 0 a M, y n = 0, 1, 2, …

6 Notación matricial, P (n)
1 2 M P00(n) P01(n) P02(n) P0M(n) P10(n) P20(n) PM0(n) PMM(n)

7 Ecuaciones de Chapman - Kolmogorov
Permite calcular la probabilidad de transición en n pasos Pij(n) = S Pik(m) Pkj(n-m) para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria desde k=0, hasta k=M

8 La matriz de probabilidades de transición de n pasos se pueden obtener a partir de la matriz de probabilidades de transición de un paso P (n) = P * P * P * …. * P = P(n-1) * P

9 Clasificación de estados
Definiciones: Accesibles Comunicados Si dos estados se comunican, pertenecen a la misma clase Si todos los estados pertenecen a la misma clase, entonces la cadena es irreducible

10 fii = probabilidad de que el proceso regrese al estado i, dado que comienza en el estado i.
Estado recurrente: fii = 1 Estado transitorio: fii < 1 Estado absorbente: pii = 1

11 Tiempos de primera pasada
El número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez, es el tiempo de primera pasada Cuando j = i, se habla de tiempo de recurrencia para el estado i

12 mij = tiempo esperado de primera pasada
mij = infinito, si S fii (n) < 1 mij = S n * fii (n), si S fii (n) = 1

13 Cuando S fii (n) = 1, se satisface la ecuación:
mij = 1 + S { pik * mkj } donde la sumatoria varía para todo k distinto de j Cuando i = j, mij se llama tiempo esperado de recurrencia

14 Probabilidades de Estado Estable
Es la probabilidad de que le sistema se encuentra en el estado j, independiente del estado inicial pj = lim pij (n) , con n tendiendo al infinito pi = 1 / mii

15 Ecuaciones de estado estable
pj = S pj * pij para j = 0, 1, …, M y la sumatoria variando de i = 0, 1, …, M S pj = 1

16 Estados Absorbentes Si k es un estado absorbente, y el proceso comienza en el estado i, la probabilidad de llegar en algún momento a k se llama probabilidad de absorción Notación: fik

17 fik = 0, si el estado i es recurrente, y además i es distinto de k
Ecuaciones: fik = S pij * fjk para todo i = 0, 1, …, M; y la sumatoria variando de j = 0 hasta M La ecuación anterior está sujeto a: fkk = 1 fik = 0, si el estado i es recurrente, y además i es distinto de k