Proceso estocástico Cadena de Markov Estado Transición Cadenas de Markov Proceso estocástico Cadena de Markov Estado Transición

Probabilidad de transición Es la probabilidad que ocurra la transición del estado i al estado j, dado que se está en el estado i. P{ X t + 1 = j / X t = i }

P{ X t + 1 = j / X t = i } = P{ X 1 = j / X 0 = i } Probabilidades estacionarias de un paso Si para cada i y j se cumple: P{ X t + 1 = j / X t = i } = P{ X 1 = j / X 0 = i } entonces, se dice que las probabilidades de un paso son estacionarias Notación: Pij

P{ X t + n = j / X t = i } = P{ X n = j / X 0 = i } Probabilidad de transición en n pasos P{ X t + n = j / X t = i } = P{ X n = j / X 0 = i } Notación: Pij(n)

Propiedades de Pij(n) Pij(n) ≥ 0 para todo i, j y n = 0, 1, 2, … S Pij(n) = 1 para todo i, j de 0 a M, y n = 0, 1, 2, …

Notación matricial, P (n) 1 2 M P00(n) P01(n) P02(n) P0M(n) P10(n) P20(n) PM0(n) PMM(n)

Ecuaciones de Chapman - Kolmogorov Permite calcular la probabilidad de transición en n pasos Pij(n) = S Pik(m) Pkj(n-m) para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria desde k=0, hasta k=M

La matriz de probabilidades de transición de n pasos se pueden obtener a partir de la matriz de probabilidades de transición de un paso P (n) = P * P * P * …. * P = P(n-1) * P

Clasificación de estados Definiciones: Accesibles Comunicados Si dos estados se comunican, pertenecen a la misma clase Si todos los estados pertenecen a la misma clase, entonces la cadena es irreducible

fii = probabilidad de que el proceso regrese al estado i, dado que comienza en el estado i. Estado recurrente: fii = 1 Estado transitorio: fii < 1 Estado absorbente: pii = 1

Tiempos de primera pasada El número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez, es el tiempo de primera pasada Cuando j = i, se habla de tiempo de recurrencia para el estado i

mij = tiempo esperado de primera pasada mij = infinito, si S fii (n) < 1 mij = S n * fii (n), si S fii (n) = 1

Cuando S fii (n) = 1, se satisface la ecuación: mij = 1 + S { pik * mkj } donde la sumatoria varía para todo k distinto de j Cuando i = j, mij se llama tiempo esperado de recurrencia

Probabilidades de Estado Estable Es la probabilidad de que le sistema se encuentra en el estado j, independiente del estado inicial pj = lim pij (n) , con n tendiendo al infinito pi = 1 / mii

Ecuaciones de estado estable pj = S pj * pij para j = 0, 1, …, M y la sumatoria variando de i = 0, 1, …, M S pj = 1

Estados Absorbentes Si k es un estado absorbente, y el proceso comienza en el estado i, la probabilidad de llegar en algún momento a k se llama probabilidad de absorción Notación: fik

fik = 0, si el estado i es recurrente, y además i es distinto de k Ecuaciones: fik = S pij * fjk para todo i = 0, 1, …, M; y la sumatoria variando de j = 0 hasta M La ecuación anterior está sujeto a: fkk = 1 fik = 0, si el estado i es recurrente, y además i es distinto de k