Ecuaciones de Chapman Kolmogorov Simulación Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Probabilidades de Transición en varias etapas Durante un proceso de Markov, es posible pasar de estado a estados en una secuencia finita que tiene una probabilidad definida. Las probabilidades de transición pueden definirse a través de la generación de un diagrama de árbol. Representan la probabilidad de pasar de un estado hacia otro en unos determinados saltos de tiempo. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejemplo Probabilidad de 1 etapa Probabilidad de 2 Etapas Ecuaciones de Chapman - Kolmogorov Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejemplo Suponga que toda la industria de gaseosas está compuesta sólo por dos productos. Dado que la persona la última vez compró la gaseosa 1 hay un 90% de probabilidad de que lo vuelva a hacer en su siguiente compra. Dado que la última compra de una persona fue la gaseosa 2 hay un 80% de probabilidades de que lo vuelva hacer. Si una persona es actual comprador de la gaseosa tipo 2, ¿Cuál es la probabilidad de que compre la gaseosa tipo 1 dos veces seguidas a partir de ahora? Si una persona en la actualidad es comprador de la gaseosa tipo 1. ¿Cuál es la probabilidad de que compre la gaseosa tipo 1 tres veces seguidas a partir de ahora? Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Probabilidades de transición de varias etapas (Matrices) Debido a la definición del cálculo de probabilidades de transición provenientes de los principios básicos de probabilidad. Es posible representar los cálculos de probabilidades a partir de las matrices de transición. Producto de Matrices: Probabilidades de Transición Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Clasificación de estados Trayectorias La trayectoria de i a j es la sucesión de transiciones que comienza en i y termina en j. Alcanzabilidad Un estado j es alcanzable desde un estado i si existe una trayectoria posible ij. Comunicación Dos estados i y j están comunicados si j es alcanzable desde i y viceversa. Estado Absorbente Un estado i es absorbente si la probabilidad de transición de ese estado a el mismo es 1. Periódico El estado j será periódico de periodo k>1 si existen caminos que llevan desde j hasta j pero todos tienen longitud que es múltiplo de k. Estado transitorio El estado i es transitorio si hay un estado j alcanzable desde i, pero i no es alcanzable desde j. Si un estado es no transitorio, entonces es recurrente. Conjunto Cerrado Un conjunto des estados es cerrado si no existe una trayectoria desde el conjunto a algún estado fuera de él. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejemplo Analizar las siguientes cadena de Markov y clasificar sus estados. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Clasificación de Cadenas de Markov Periódicas Si todos sus estados son periódicos, con periodo k. Ergódicas Si todos los estado de una cadena son recurrentes, aperiódicos y se comunican entre sí. No ergódicas Al menos uno de los estados de una cadena de Markov es no recurrente, y/o periódico. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejemplo Clasificar las siguientes cadenas de Markov. A) C) D) B) Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

La ruina del jugador En el tiempo 0 se tiene una cantidad de $2. En los tiempos 1 y 2 …, se participa en un juego en el que se apuesta 1. Con probabilidad p se gana el juego, y con probabilidad 1-p se pierde. El objetivo es llegar a $4, por lo que cuando lo logra se termina el juego. El juego también termina si el capital se reduce a 0. Definir la matriz de transición. Dibujar el grafo asociado. Clasificar los estados. Clasificar la cadena de Markov. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Probabilidades Según el estado inicial El estado inicial de una cadena de Markov permite calcular las probabilidades esperadas asociadas a cada estado después de saltos de tiempo. Viene de la ley de Probabilidad total. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejemplo Con el ejemplo de las gaseosas: Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A tres compras a partir de ahora, ¿Qué fracción de los compradores estará tomando Coca Cola. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Probabilidades límite Algunas cadenas de Markov tienden a estabilizarse cuando el número de transiciones se hace demasiado grande. Las cadenas ergódicas tienen probabilidades de estado estable que no dependen de su estado inicial. (Todas las filas tienden a ser iguales) Las cadenas periódicas no se estabilizan ya que su matriz de transición sigue el mismo comportamiento cada k aumentos de tiempo. En este caso, las probabilidades de largo plazo dependen de su estado inicial. Las cadenas no ergódicas también dependen de su estado inicial para el cálculo de sus probabilidades de largo plazo. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejemplo Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejemplo Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejemplo

Probabilidades de estado estable Permiten identificar las probabilidades estables de largo plazo (si existen). Facilitan el análisis de las cadenas de Markov a través del entendimiento del funcionamiento del sistema. Si las probabilidades de estado estable son iguales para todas sus filas, entonces ellas no dependen de las probabilidades de estado inicial. De manera general las probabilidades pueden definirse de la siguiente manera. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Cálculo de probabilidades límite Según la definición de las probabilidades límite: Para n(S)=3 Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejemplo Determinar las probabilidades límite para el ejemplo de las gaseosas. Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Ejercicio La cervecería más importante del mundo (Guiness) ha contratado a un analista de investigación de operaciones para analizar su posición en el mercado. Están preocupados en especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados, los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el estado I representa todas las demás marcas. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transición de los datos históricos. Crear el gráfico de estados Clasifique los estados Clasifique la matriz de transición Determine las probabilidades de estado estable Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá