Método Alias (Walter 1977) Permite generar de manera eficiente v.a.d. Con soporte finito. Supongamos que se desea generar la v.a.d. X con función de cuantía.

Presentación del tema: "Método Alias (Walter 1977) Permite generar de manera eficiente v.a.d. Con soporte finito. Supongamos que se desea generar la v.a.d. X con función de cuantía."— Transcripción de la presentación:

1 Método Alias (Walter 1977) Permite generar de manera eficiente v.a.d. Con soporte finito. Supongamos que se desea generar la v.a.d. X con función de cuantía P = { p i : i = 1, 2,..., n } donde Q (k) es una distribución concentrada en a lo sumo dos puntos {1,2,...,n}. La demostración de esta descomposición se basa en: Método de Composición Caso Especial

2 Lema1: Sea P = { p i : i = 1, 2,...,n} función de cuantía Entonces: a) Existe i { 1, 2,...,n} tal que p i < b) Para tal i, existe j con i  j tal que p i + p j  Dem : Reducción al absurdo Transformaciones

3 Distribución Binomial Para generar una v.a.d. X ~ B(n,p) independientes Algoritmo P 1 : Hacer X = 0 P 2 : Efectuar n réplicas - Generar U ~ U (0,1) Si U < p, Hacer X = X + 1 Si U  p, Hacer X = X + 0 P 3 : Generar salida X Observación: Método propuesto requiere de generar “n” números aleatorios y n comparaciones Métodos Específicos

4 Un método alternativo es el método de inversión basado en la relación recursiva siguiente [Fórmula recursiva] Sea Métodos Específicos

5 Algoritmo P 1 : Genera U ~ U (0,1) P 2 : Hacer i = 0, P = F = ( 1 -p) n Hasta que U < F Hacer P = P, F = F + P i = i + 1 P 3 : Generar salida X = i Métodos Específicos

6 Distribución Poisson Para generar la distribución de Poisson P( ) con pequeño, utilizando el método de inversión. P( X = i + 1) = usando P = P( X = i ), F = P( X  i ) Métodos Específicos

7 Algoritmo P 1 : Genera U ~ U (0,1) P 2 : Hacer i = 0 F = P = Exp(- ) Hasta que U < F Hacer P = P, F = F + P i = i + 1 P 3 : Generar salida X = i Métodos Específicos

8 Distribución Geométrica Para generar una v.a.d. X ~ G(p), es posible discretizar Y ~ exp( ). Sea X = [ y ] Entonces P[ x = r ] =P(r  Y < r +1 ), r=0,1,2,.. = es la función de cuantía de una Geo(p=1-exp(- )) Tomando = -ln(1-p)  X =~ Geo(p) Métodos Específicos

9 Distribución Hipergeométrica Para generar una distribución Hipergeométrica H(m,n,p) se efectúan n extracciones sin reposición de un conjunto de m elementos de dos clases {p m  C 1 y m(1-p)  C 2 } Algoritmo P 1 : Hacer X = 0, C 1 = mp C 2 = m-C 1 P 2 : Repetir n veces Generar U ~ U(0,1) Si U  C 1 /m hacer X = X +1, C 1 = C 1 - 1 sino, C 2 = C 2 - 1 Hacer m = m - 1 P 3 : Generar salida X Métodos Específicos

10 Distribuciones Multivariadas Distribuciones Independientes El caso más simple lo constituye el de distribuciones marginales independientes con x = ( x 1, x 2,..., x p ) Basta con generar cada componente X i, como distribución univarianda y salir con X = ( X 1, X 2,..., X p ) Métodos Específicos

11 Distribuciones Dependientes Distribuciones Dependientes con condicionadas disponibles. Utilizando la descomposición F(x) = F 1 (x 1 ) F 2 (x 2 / x 1 )... F(x p / x 1,x 2,...,x p-1 ) Si disponemos de las distribuciones X i / X1,..., X i-1 i = 1,2,...,p Algoritmo P 1 : Desde i=1,2,...,p Generar X i ~ X i / x 1,..., x i-1 P 2 : Generar salida x = ( x 1, x 2,..., x p ) Métodos Específicos

12 Estadísticos de Orden Para muestrear ( X (1), X (2),..., X (p) ), el estadístico de orden asociado a m.a.s. X 1, X 2,..., X p de X. La forma obvia de muestrear es hacerlo de ( X 1, X 2,..., X p ). Alternativamente, podemos generar la muestra de orden. Por ejemplo, si conocemos la inversa generalizada F, podemos generar números aleatorios ( U (1), U (2),..., U (p) ) y salir X (i) = F( U ( i ) ). Para ello es necesario generar una muestra ordenada de números aleatorios ( U (1), U (2),..., U (p) ). Métodos Específicos

13 Algoritmo P 1 : Generar U (1), U (2),..., U (p) ~ U (0,1) P 2 : Hacer U (p) = (U p ) 1/p U (k) = U (k+1) U k 1/k Métodos Específicos

14 Distribuciones Discretas Las distribuciones discretas multivariadas no difieren de las univariadas. El soporte puede ser grande, pero los métodos, inversión, alias, etc. funcionan bien. Ejemplo : Distribución bivariada ( X, Y ) con soporte {1,2,...,L}x{1,2,...,M} tenemos P xy = P( X  x ) + P( X = x, Y = y ) indexado en x. Métodos Específicos

15 Para generar X = ( X 1, X 2,..., X p ) ~ N( ,  ) se usa el método de descomposición de Cholesky. Sea  = L L t, para alguna matriz L. Entonces si Z = ( Z 1, Z 2,..., Z p ) ~ N (0, I p ) la variable X = ( , L Z ) ~ N( ,  ) Métodos Específicos

16 Distribución de Wishart Para generar una v.a.c. W ~ W (n, ,  ) para  = 0, si  = LL t y V = Z i Z i t ; Z i normales p-variantes N(0, I p ), i = 1,2,...,n Entonces: W = L V L t ~ W (n, ,0) Métodos Específicos

17 Algoritmo P 1 : Generar Z ij ~ N(0,1) i = 1,2,...,n j=1,2,...,n P 2 : Hacer V = Z i Z i t P 3 : Hacer W = L V L t P 4 : Salida W Métodos Específicos

18 El algoritmo implica generar “np” normales estándar. Una reducción del esfuerzo de cálculo se obtiene utilizando la descomposición de Bartlett. En el caso no centrado (   0),  es una matriz simétrica definida no negativa. Sea  =   t su descomposición de Cholesky y u 1, u 2,..., u p las filas de . Entonces, podemos escribir : donde se genera W, similar al caso  = 0 usando np normales estándares. Métodos Específicos

19 Distribución Multinomial (p-dimensional). Para generar la Distribución Multinomial de parámetros q 1, q 2,..., q p X = ( X 1, X 2,..., X p ) ~ M (n, q 1,...,q p ) con : Como X i ~ B(n, q i ) i = 1,2,...,p X i / X 1 = x 1,..., X i-1 = x i-1, ~ B(n- x 1...- x i-1, w i ) i = 2,3,...,p con w i = Métodos Específicos

20 Entonces resulta el Algoritmo P 1 : Hacer mientras m=n i=1, w=1, Xi = 0, i=1,...,p Mientras m  0 Generar X i ~ B(m, q i /w) Hacer m = m- X i, w =1 - q i, i = i+1 Métodos Específicos

21 Generación de Procesos Estocásticos Generación de Familias de v.a. { X t } t  T Comenzaremos con las cadenas de Markov homogéneas. Cadena de Markov en Tiempo Discreto Para generar una cadena de Markov con espacio de estado S y matriz de transición P = [p ij ] donde p ij = P( X n+1 =j / X = i). La forma más simple de simular la transición (n+1)-ésima, conocida X n, es generar X n+1 ~{p x nj : j  S} Métodos Específicos

22 Alternativamente se puede simular T n, el tiempo hasta el siguiente cambio de estado y, después el nuevo estado X n+Tn. Si X n = s, T n ~ G(p ss ) y X n+Tn tiene una distribución discreta con cuantía {p sj / (1 - p ss ) : j  S \ {s}}. Para muestrear N transiciones de la cadena suponiendo X o = i o Algoritmo Hacer t=0, X o = i o Mientras t < N Generar h ~ G(p x t x t ) Generar X t+h ~ {p x tj / (1 - p x t x t ) : j  S \ {s}}. Hacer t=t+h Métodos Específicos

23 OBS. 1) La primera forma de simular una cadena de Markov, que corresponde a una estrategia sincrónica, es decir en la que el tiempo de simulación avanza a instantes iguales. 2) La estrategia asincrónica es más complicada de simular [Ver. B. Ripley 1996] Métodos Específicos

24 Cadenas de Markov en Tiempo Continuo La simulación asincrónica de cadenas de Markov en tiempo continuo es sencilla de implantar. - Las cadenas de Markov de Tiempo Continuo vienen caracterizadas por los parámetros vi de las distribuciones exponenciales de tiempo de permanencia en el estado i y la matriz de transición P; con p ii = 0; p ij = 1 - Sea P i la distribución de la fila i-ésima. Entonces si X o = i o, para simular hasta T se tiene : Métodos Específicos

25 Algoritmo Hacer t = 0, X o = i o, j = 0 Mientras t < N Generar t j ~ exp(v x j ) Hacer t = t + t j Hacer j = j + 1 Generar X j ~ P x j-1 Métodos Específicos

26 Proceso de Poisson En el Proceso de Poisson P( ), el número de eventos N T en un intervalo (0,T) es P( T) y los N T ~ U (0,T) Algoritmo - Generar N T ~ P( T) - Generar U 1,..., U T ~ U (0,T) Métodos Específicos

27 OBS : 1) Para procesos de Poisson no homogéneos, con intensidad (t) y u(t) = (s) ds. Entonces - Generar N T ~ P(u(t)) - Generar T 1, T 2,..., T N T ~ 2) Los procesos de Poisson son un caso particular de los procesos de renovación. La forma de generar los primeros se extiende a los procesos de renovación. Métodos Específicos

28 - Sean S 0 = 0, S 1, S 2,... Los tiempos de ocurrencia - T i = S i - S i-1 los tiempos entre sucesos. - Para un proceso de renovación, los T i son v.a.i.i.d. según cierta distribución . - Simular hasta el instante T. Hacer S 0 = 0 Mientras S i < T Generar T i ~  Hacer S i = T i + S i-1 Hacer i = i + 1 Métodos Específicos

29 Procesos no Puntuales (Movimiento Browniano) - La simulación de procesos (no puntuales) en tiempo continuo es más complicada que la simulación de procesos puntuales.0 - Una solución es generar procesos en suficientes instantes discretos y aproximar la trayectoria por interpolación. Métodos Específicos

30 Como ejemplo, consideremos el movimiento Browniano con parámetro  2 - X 0 = 0 - Para s 1  t 1 s 2  t 2.....  s n  t n las v.a. X t 1 - X s 1,..., X t n - X s n son independientes - Para s < t, X t - X s ~ N(0, (t-s)  2 ) - Las trayectorias son continuas Métodos Específicos

31 Entonces para  t fijo, Hacer X 0 = 0 Desde i = 1 hasta n Generar Y i ~ N(0, (t-s)  2 ) Hacer X i  t = X (i-1)  t + Y i Interpolar la trayectoria en {(i  t, X i  t )} Otros ejemplos de Simulación de Procesos continuos [Ver B. Ripley 1987] Métodos Específicos

32 El Proceso de Gibbs El creciente interés en los métodos de cadenas de Markov, se debe al uso en Inferencia Bayesiana del Muestrador de Gibbs. [Geman (1984)] Ejemplo: Sean ( X, Y ) v.a.d. Bernoulli con distribución x y P( X, Y ) 0 0 p 1 1 0 p 2 p i = 1 0 1 p 3 p i > 0 1 1 p 4 Métodos Específicos

33 P( X =1) = p 2 + p 4 (Marginal) P( X / Y =1) = P( X =1/ Y =1) = Las Distribuciones condicionales Métodos Específicos

34 Algoritmo Escoger Y 0 = y 0, j =1 Repetir Generar X j ~ X / Y = y j-1 Generar Y j ~ Y / X = x j j=j+1 Entonces {X n } define una cadena de Markov con matriz de transición A = A yx A xy Métodos Específicos

35 Como las probabilidades p i > 0, la cadena es ergódica y tiene distribución límite, que es la marginal de X X n X ; Y n Y ; ( X n, Y n ) ( X, Y ) OBS: 1) El procedimiento descrito se llama muestrador de Gibbs [Gibbs Sampler] y nos proporciona una cadena de Markov, con distribución límite deseada y se puede generalizar. Para muestrear un vector aleatorio p-variante X = ( X 1, X 2,..., X p ) con distribución , conociendo las distribuciones condicionadas X s / X r, r  s Métodos Específicos

36 Sea  ( x s / x r, r  s) Dist. Condicionada El [Gibbs Sampler] en este caso es - Escoger X 1 0, X 2 0,..., X p 0 ; j = 1 Repetir Generar X 1 j ~ X 1 / X 2 j-1,..., X p j-1 Generar X 2 j ~ X 2 / X 1 j, X 3 j-1,..., X p j-1.... Generar X p j ~ X p / X 1 j, X 2 j,..., X p-1 j j = j+1 Métodos Específicos

37 Se puede verificar que X n = ( X 1 n, X 2 n,..., X p n ) define una cadena de Markov con Matriz de transición P g ( X n, X n+1 ) = Bajo condiciones suficientemente generales [Ver Roberts Smith (1994)] Métodos Específicos

38 Ejemplo : Muestrear la densidad  ( x 1 / x 2 ) = siendo D = R +  R  ( x 1 / x 2 ) =  ( x 2 / x 1 ) = x 1 / x 2 ~ x 2 / x 1 ~ N(0,  2 =(1/2 x 1 )) Métodos Específicos

39 El muestreador Gibbs Escoger x 2 0 ; j = 1 Repetir Generar X 1 j ~ exp[1+(x 2 j-1 ) 2 ] Generar X 2 j ~ N(0, 1/2 x 1 j ) OBS: Las secuencias podrían efectuarse en forma aleatoria en lugar de usar la secuenciación natural Estudiar el Algoritmo de Metropolis-Hastings. Métodos Específicos