ANALISIS DE DECISIONES CADENAS DE MARKOV PROF: ALEJANDRO DE JESUS GOVEA ARIZMENDI ALUMNO: B ALICIA MARTINEZ QUINONES

CADENAS DE MARKOV CADENAS DE MARKOV

INTRODUCCION : Las cadenas de markov son modelos probabilisticos que se usan para predecir la evolucion y el comportamiento de deteminados sistemas. en el que la probabilidad de que ocurra un evento depende del evento inmediato anterior, se puede decir que estas tienen memoria, recuerdan el ultimo evento y esto condiciona los eventos futuros reciben el nombre del matematico ruso andrei andreevitch markov, que las introdujo en 1907. han llegado a tener tal importancia que se utilizan en muchas aplicaciones INTRODUCCION : EN LA TEORIA DE LA PROBABILIDAD SE CONOCE COMO CADENA DE MARKOV A UN TIPO ESPECIAL DE PROCESO ESTOCASTICO DISCRETO EN EL QUE LA PROBABILIDAD DE QUE OCURRA UN EVENTO DEPENDE DEL EVENTO INMEDIATO ANTERIOR, SE PUEDE DECIR QUE ESTAS TIENEN MEMORIA, RECUERDAN EL ULTIMO EVENTO Y ESTO CONDICIONA LOS EVENTOS FUTUROS En lo que nos interesa, se ha aplicado para analizar patrones de morosidad, necesidades de personal, preever defectos en maquinaria, etc…

Cadenas de markov Las cadenas de Markov son herramientas para analizar el comportamiento y gobierno de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan en forma no determinista a lo largo del tiempo en torno a un conjunto de estados. Entonces podemos decir que una cadena de Markov, representa un sistema que varía su estado a lo largo del tiempo y es cada cambio una transición del sistema. Los cambios no están predeterminados aunque si lo está la probabilidad del próximo estado en función de los estados anteriores, a esta probabilidad es constante a lo largo del tiempo. Hablando en particular de las cadenas de Markov finitas, las cuales se caracterizan por tener un número de estados del sistema finitos.

PROCESO ESTOCASTICO: En estadística, y en concreto teoría de la probabilidad, un proceso aleatorio o proceso estocástico es un concepto matemático que sirve para caracterizar y estudiar todo tipo de fenómenos aleatorios (estocásticos) que evolucionan, generalmente, con el tiempo.

ELEMENTOS DE LA CADENA DE MARKOV FINITA CONJUNTO DE ESTADOS DEFINICION DE TRANSICION PROBABILIDAD CONDICIONAL

ESTADOS: Caracterización de la situación en que se encuentra el sistema en un instante dado. Formalmente el estado de un sistema en un instante “t” es una variable cuyos valores solo pueden pertenecer al conjunto del sistema.

TRANSICIÓN: El sistema modelizado por una cadena por lo tanto es una variable, que cambia de valor en el tiempo, a este cambio lo llamamos transición. PROBABILIDAD CONDICIONAL: Por ser el sistema estocástico no se podrá conocer con certeza el estado del sistema en un determinado instante, sino solamente la probabilidad asociada a cada uno de los estados.

Entonces decimos que en la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior.

Cada variable o conjunto de variables sometidas a influencias o impactos aleatorios constituye un proceso estocástico. Cada una de las variables aleatorias del proceso tiene su propia función de distribución de probabilidad y, entre ellas, pueden estar correlacionadas o no.

Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado. Reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), que las introdujo en 1907.

Ejemplos de procesos estocasticos SERIE MENSUAL DE VENTAS DE UN PRODUCTO ESTADO DE UNA MAQUINA AL FINAL DE C/SEMANA NO DE CLIENTES ESPERANDO EN UNA FILA MARCA DE DETERGENTE QUE COMPRA EL CONSUMIDOR C/VEZ QUE COMPRA NO DE UNIDADES EN ALMACEN C/SEMANA

Una cadena de Márkov es una secuencia X1, X2, X3, Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces: Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Márkov.

MATRIZ DE TRANSICION La forma más cómoda de expresar la ley de probabilidad condicional de una cadena de Markov es mediante la llamada matriz de probabilidades de transición P, o más sencillamente, matriz de la cadena. Dicha matriz es cuadrada con tantas filas y columnas como estados tiene el sistema, y los elementos de la matriz representan la probabilidad de que el estado próximo sea el correspondiente a la columna si el estado actual es el correspondiente a la fila. Como el sistema debe evolucionar de t a alguno de los n estados posibles, las probabilidades de transición cumplirán con la propiedad siguiente:

La Matriz de Transición debe cumplir con las siguientes condiciones: 1. La Matriz de Transición debe ser Cuadrara, es decir debe tener el mismo número de columnas como de filas. 2. En ella deben estar contenidos tanto en las filas como en las columnas los mismos Estados o Eventos transitorios. 3. La Suma de los elementos de cada fila debe ser siempre igual a 1, cumpliendo con la teoría de Probabilidades. 4. Cada elemento de la matriz debe ser un número entre 0 y 1.

Además, por definición de probabilidad, cada una de ellas ha de ser no negativa: Consideremos una población distribuida entre n = 3 estados, que llamaremos estado 1, estado 2 y estado 3. Se supone que conocemos la proporción tij  de la población del estado i, que  se mueve al estado j  en determinado período de tiempo fijo.   La matriz T = (tij) se llama matriz de transición.

Estado 2: Ingresos medios Estado 3: Rico Supongamos que la población de un país, está clasificada de acuerdo con los ingresos en  Estado 1:  Pobre   Estado 2: Ingresos medios  Estado 3:  Rico  Supongamos que en cada período de 20 años tenemos los siguientes datos para la población y su descendencia:

Estado final: pasa a nuevo estado en 20 años De la gente pobre, el 19% pasó a ingresos medios, y el 1% a rica; De la gente con ingresos medios, el 15% pasó a pobre, y el 10%  a rica;  De la gente rica, el 5% paso a pobre, y el 30%, a ingresos medios. Podemos armar una matriz de transición de la siguiente manera:   Estado final: pasa a nuevo estado en 20 años Estado inicial: Pobre Medio Rico .80 .19 .01 .15 .75 .10 .05 .30 .65

         Pobre      medio      rico T =          Pobre                   .08                         .19                         .01                 Medio                  .15                         .75                         .10                 Rico                      .05                         .30                         .65 Obsérvese que: 1)  las entradas de la diagonal  de la matriz representa  la proporción de la población que no cambia de estado en un período de 20 años;  2)  un registro de la matriz da la proporción de la población del estado izquierdo  del registro que pasa al estado derecho del registro en un período de 20 años. 3)  la suma de los  registros  de cada fila de la matriz T es 1, pues la suma refleja el movimiento de toda la población para el estado relacionado en la parte izquierda de la fila.

OTRA FORMA DE PRESENTAR UN PROCESO Y SU MATRIZ DE TRANSICION

Donde la i representa el estado inicial de una transición, j representa el estado final de una transición, Pij representa la probabilidad de que el sistema estando en un estado i pase a un estado j.

PROBALIDAD DE ESTAR EN UN ESTADO DESPUES DE “T” En un país como Colombia existen 3 operadores principales de telefonía móvil como lo son Tigo, Comcel y Movistar (estados). Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4 para Comcel 0.25 y para movistar 0.35. (Estado inicial) Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad de permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie a tigo  0.3 y que se pase a movistar de 0.2; si el usuario es cliente en la actualidad de movistar la probabilidad que permanezca en movistar es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3. 

LA MATRIZ DE TRANSICION SERIA La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1 Po= (0.4  0.25  0.35)          →                        estado inicial

METODO GRAFICO :

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se realiza multiplicando la matriz de transición por el estado inicial y así sucesivamente pero multiplicando por el estado inmediatamente anterior.

Podemos decir que ya se ha llegado al vector o estado estable. Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi insignificante . Podemos decir que ya se ha llegado al vector o estado estable. http://www.youtube.com/watch?v=rdEVQUv4T3c

APLICACIONES DE LAS CADENAS DE MARKOV: Física Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física estadística. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo de difusión de Laplace. Meteorología Si consideramos el clima de una región a través de distintos días, es claro que el estado actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de Markov para formular modelos climatológicos básicos. Modelos epidemiológicos Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson. Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia (véase modelaje matemático de epidemias). .

Internet El pagerank de una página web (usado por Google en sus motores de búsqueda) se define a través de una cadena de Markov, donde la posición que tendrá una página en el buscador será determinada por su peso en la distribución estacionaria de la cadena Simulación Las cadenas de Markov son utilizadas para proveer una solución analítica a ciertos problemas de simulación tales como el Modelo M/M/1. Juegos de azar Son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov. El modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de Markov en este rubro.

Economía y Finanzas Se pueden utilizar en modelos simples de valuación de opciones para determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de precios. En los negocios, las cadenas de Márkov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

APLICACIONES ESPECÍFICAS: Dentro de las alternativas de modelización dinámica de las migraciones se encuentran las cadenas de Markov, a partir del trabajo Blumen, Kogan y McCarthy (1955), precursores en la aplicación de cadenas de Markov discretas al estudio de la movilidad social, a lo largo de las décadas 60’s, 70’s y 80’s se produjeron importantes aportaciones, tanto metodológicas como empíricas, en la utilización de cadenas de Markov a fenómenos muy diversos, entre ellos la movilidad ocupacional 1955; cambios en las preferencias de consumidores en 1966, la movilidad geográfica en 1962. Recientemente, ha sido destacada la divulgación de cadenas de Markov en estudios sobre la distribución regional de la renta y la pobreza 1996 y 1999 y en estudios relacionados con los mercados financieros (Betancourt, 1999; Dezzani, 2002).

CONCLUSION: Esta herramienta creada por el matemático ruso “Andrei Markov” en el año 1907, es una mezcla de principios algebraicos y estadísticos para analizar procesos estocásticos, es decir que evolucionan a lo largo del tiempo en un conjunto de estados, forma parte importante en la base para la toma de decisiones Es posible aplicar este principio a campos tan diferentes como la meteorología, astrología, biología y claro esta en las empresas, entre otras muchas áreas, por supuesto.