Inferencia estadística: teoría de distribuciones

Presentación del tema: "Inferencia estadística: teoría de distribuciones"— Transcripción de la presentación:

1 Inferencia estadística: teoría de distribuciones
Tema 1 Itziar Aretxaga

2 Conceptos básicos de la inferencia estadística
Definiciones: Espacio de la muestra (Ω) es el conjunto de los posibles valores de un experimento Evento (A) es el conjunto de valores tomados por el experimento dentro del espacio de la muestra. El evento complementario es Ac ≡ Ω − A Variable aleatoria x(Ai) es una función definida en el espacio de N posibles eventos Ai. Función de distribución o probabilidad acumulada, F, es la probabilidad de que cuando se mide un valor de la variable aleatoria x, éste sea menor o igual a x’. F es una función monotónicamente creciente. Si −∞≤x≤∞ es Ω, entonces F(−∞)=0, F(∞)=1. Probabilidad discreta, Pr, de una variable discreta r, es la frecuencia con que ocurre r. Densidad de probabilidad, o función de frecuencia, o función diferencial de probabilidad, P(x), de una variable continua x, es P(x)=dF/dx, de manera que la probabilidad de que x tome un valor entre x’ y x’+dx’ sea P(x’)dx’.

3 Probabilidad discreta y su correspondiente probabilidad acumulada
Ejemplos de distribuciones de probabilidad discreta, densidades de probabilidad y funciones acumuladas de probabilidad: Probabilidad discreta, en función de una variable unidimensional, representada como un histograma de encasillado irregular. Probabilidad discreta y su correspondiente probabilidad acumulada Probabilidad discreta representada como un histograma bidimensional de encasillado regular Introducir la nocion de encasillamiento de las variables. Densidad de probabilidad (Figs. © Stuart & Ord, “Kendall´s Advanced Theory of Statistics”)

4 Conceptos básicos de la inferencia estadística
Axiomas de probabilidad (Kolmogorov): 0 ≤ P(A) ≤ 1 P(Ω) = 1, P(Ø) = 0 si AB ≡ A ∩ B = Ø P(A U B) = P(A) + P(B) Ejemplo: cálculo de la probabilidad de que en una tirada de una moneda, salga o águila o sol AS = Ø , P(A U S) = P(A) + P(S)= ½ + ½ = 1 Independencia: si P(A|B) = P(A) P(AB)=P(A)P(B) Ejemplo: cálculo de la probabilidad de que en dos tiradas de una moneda, salgan dos águilas P(AA) = ½ × ½ = ¼ Probabilidad condicional: P(A|B) = P(AB) / P(B) Ejemplo: cálculo de la probabilidad de que en dos tiradas de una moneda, dada una primera águila, salga otra águila P(A|A) = P(AA)/P(A) = ¼ / ½ = ½ AB denota que A y B suceden simultaneamente A U B denota que A y/o B suceden

5 Teorema de Bayes P(B|A)P(A) P(A|B) = P(B|A) P(A)/P(B) =
P(B|A)P(A) + P(B|Ac)P(Ac) de lo que se deduce (aunque resulta filosóficamente controvertido), P(H|X) α P(X|H) P(H) Función posterior Función de probabilidad Función a priori Éste es el fundamento de la inferencia bayesiana, que deriva la probabilidad de que una hipótesis H sea cierta, dado un conjunto de observaciones X. Ejemplo: Supongamos que el 90% de las estrellas de un cúmulo estelar se encuentran en la secuencia principal. Hemos diseñado un método de clasificación estelar, según el cual, el 95% de las estrellas de secuencia principal son reconocidas como tales, y el 93% de las estrellas que no lo son, también son reconocidas como no pertenecientes a la secuencia principal. ¿Cuál es la probabilidad de que nuestra clasificación reconozca una estrella como de secuencia principal, y que ésta realmente lo sea? P(X|H) = P(Xc|Hc) = P(H)=0.90 P(H|X) = 0.95 x 0.90 / (0.95 x x 0.10) = , es decir, % 18th century Benedictine monk

6 Esperanzas Esperanza ε(x) de una variable aleatoria x es el valor que esperamos adopte en promedio. si la distribución es discreta si la distribución es continua Esperanzas de uso común: media variancia la desviación estándar es σ covariancia Propiedad de la covariancia: Si x e y son independientes cov(x,y)=0. Nótese que una covariancia nula no indica necesariamente independencia.

7 Momentos de una distribución
1er momento: describe el valor central. Se define como media si la distribución es continua. Otras medidas del valor central son mediana moda xmod es el valor para el cuál la distribución toma su máximo absoluto siguen un orden alfabético (Fig. © Roe, “Probability and Statistics in Experimental Physics”)

8 Momentos de una distribución
FWHM 2o momento: describe la anchura de la distribución. Se define como − variancia, σ 2: 1/N se debe reemplazar por 1/(N−1) si la media de x no se conoce a priori, como en las estimaciones experimentales. Otras medidas de la anchura de la distribución: − anchura a media altura, FWHM=a−b, tal que P(a)=P(b)=Pmax/ Para una gaussiana FWHM=2.3556σ − desviación absoluta media, Δx: que es más robusta frente a valores que se devían mucho de xmod. − intervalo R ≡ xmax − xmin, − nivel de confianza al 68.3% [a,b] tal que y el intervalo [a,b] es mínimo − cuartiles [a,b] tal que

9 Ejemplo: (Wall J.V., 1979, Q. Jr. R. Astr. Soc., 20, 138)

10 Momentos de una distribución
Los momentos de orden superior son menos robustos y, por lo tanto, menos utilizados 3er momento: describe la asimetría de la distribución. asimetría (skewness) 4o momento: describe el aplanamiento de la distribución. kurtosis Se suele medir en una escala que toma 3 como su cero, ya que éste es el valor de la kurtosis de una distribución normal estándar (Figs. © Press et al., “Numerical Recipes”) En general:

11 Distribuciones habituales: binomial
Definición: variable de Bernouilli es aquélla cuyo espacio de muestra sólo contiene dos resultados. x P(x) p q≡1−p Distribución: si en n intentos se obtienen k aciertos, la distribución de probabilidad del número de aciertos viene dada por P(k) = ( ) pk qn−k donde ( ) ≡ Momentos de la distribución: media <x> = ∑i xi P(xi) = np variancia σ 2(x) = ∑i (xi − <x>)2 P(xi) = npq Ejemplo: Supongamos que la probabilidad de encontrar una estrella de masa m* >10 M en un cúmulo estelar joven es del 4%. ¿Cuál es la probabilidad de que en una muestra escogida al azar, entre 10 miembros del cúmulo encontremos 3 estrellas con m*>10 M? p=0.04 n= P(3)=10! / 3! / 7! x x = 0.006, es decir % k=3 n k n k n! k! (n-k)! n=4 k=x=2 p=0.5 Coeficiente binomial (Fig. © “Hyperstat Online Textbook”)

12 Distribuciones habituales: poissoniana
Definición: proceso poissoniano es aquél compuesto de eventos discretos que son independientes en el espacio y en el tiempo. Distribución: si el número de eventos esperados, μ, en un intervalo de extensión h es μ = λh (λ da la tasa de eventos por unidad de h), entonces la probabilidad de que ocurran n eventos en h viene dada por Momentos de la distribución: media <x> = ∑i xi P(xi) = μ = hλ variancia σ 2(x) = ∑i (xi − <x>)2 P(xi) = μ = hλ Ejemplo: La señal promedio recibida de una fuente es de 10 cuentas por segundo. Calcular la probabilidad de recibir 7 cuentas en un segundo dado. h= P(7)=107 x e−10 / 7! = 0.09, es decir 9% n= A comparar con la probalidad en el máximo, si te parece baja: μ= P(10)=1010 x e−10 / 10! = 0.125, es decir % Moraleja: las probabilidades poissonianas para un número de eventos dado, son siempre pequeñas, incluso en el máximo de la distribución de probabilidad. Si se desea discutir si el número de eventos es típico, se debe comparar con la media y la variancia. μn e−μ P(n) = n! La distribucion fue descrite antes que Poisson (siglo 18) por uno de los Bernouillis. (Fig. © Carnegie Mellon, Biological Sci.)

13 Distribuciones habituales: gaussiana
Propiedades: es la distribución más utilizada en las ciencias porque 1. muchas variables aleatorias se pueden aproximar por una distribución gaussiana (véase el teorema central del límite) 2. es fácil de utilizar matemáticamente Distribución: La distribución normal estándar: μ=0 y σ=1. Momentos de la distribución: media <x> = ∫ xP(x)dx = μ variancia σ 2(x) = ∫ (x − μ)2 P(x)dx = σ 2 Significancias habituales: 1σ: P(μ−σ ≤ x ≤ μ+σ) = (La integral de la distribución 2σ: P(μ−2σ ≤ x ≤ μ+2σ) = está tabulada en todos los 3σ: P(μ−3σ ≤ x ≤ μ+3σ) = libros de estadística básica) Ejemplos: perfil de las líneas de emisión en un espectro unidimensional, perfil radial de objetos puntuales en una imagen óptica (patrón de dispersión de una imagen puntual), … Descrita antes que Gauss por Abraham de Moivre, y se cree que Daniel Bernoulli la encontro antes. Stephen Stigler, contemporary historian of science, names this the law of misonomy: nothing in mathematics is ever named after the person who discovered it. (Fig. © Univ. of Georgia, “Hyperphysics”)

14 Ejemplo: distribución de brillo de una estrella, patrón de dispersión de una fuente puntual

15 (Aretxaga et al. 1999, MNRAS)

16 Teorema central del límite
Si para cada número entero n, las observaciones x1,x2,...,xn se derivan de forma independiente de una distribución cualquiera de media μ y variancia σ2, entonces la suma Sn=x1+x xn es asintóticamente gaussiana, en el sentido que donde Φ(z) es una distribución normal estándar. El teorema también se cumple, en términos menos restrictivos, si las xi se derivan de ciertas i distribuciones, que pueden ser diferentes entre sí. En este caso, se deben cumplir varios criterios. Uno de los más comunes es el criterio de Lindeberg: donde ε es un número prefijado arbitrariamente. Entonces el teorema es cierto si es decir, si la suma no está dominada por fluctuaciones individuales.

17 Aplicaciones del teorema central del límite
Éste es uno de los teoremas más utilizados en CC Físicas. Debido a él las distribuciones poissonianas y binomiales se pueden aproximar por una gaussiana para números grandes de eventos. También la adición de números generados por cualquier otra distribución forma una distribución aproximadamente normal. (Fig. © Roe, “Probability and Statistics in Experimental Physics”)

18 Excepciones a la aplicación del teorema
Existen situaciones físicas en las que las condiciones para el uso del teorema central del límite no se cumplen, y por lo tanto una aplicación ciega del mismo lleva a resultados erroneos. Ejemplo: scattering múltiple de una partícula (Byron P. Roe, 2001, “Probability and Statistics in Experimantal Physics”, Springer.) El proceso de scattering simple resulta en El proceso de scattering múltiple, sin embargo, da (Fig. © Roe, “Probability and Statistics in Experimental Physics”)

19 Distribución gaussiana multidimensional
En dos dimensiones, la distribución centrada en (0,0) tiene la forma: donde ρ es el coeficiente de correlación, definido por Los momentos característicos son: Ejemplo: cálculo de las probabilidades de propiedades intrínsecas atribuibles a galaxias (u otros objetos) a través de mapas color-color En general, en p dimensiones, la distribución gaussiana centrada en μ viene dada por: donde x es el vector de la muestra (de p dimensiones), μ es su valor medio, y ∑ es la matriz de correlación entre las variables x

20 Ejemplo: distribución de redshift derivado de un diagrama color-color
(Aretxaga et al. 2003,MNRAS)

21 Distribuciones habituales: chi-cuadrado
Definición: sea χ2=z12+z zf2, donde zi son números generados independientemente a partir de una distribución normal estándar. Distribución: la densidad de probabilidad de χ2 con f grados de libertad, se puede deducir de la distribución normal, y resulta ser Momentos de la distribución: media <χ2> = ∫ xP(x)dx = f variancia σ 2(χ2) = ∫ (x − f)2 P(x)dx = 2f momento k mk=f (f+2)...(f+2k−2)=<(χ2)k> Propiedades: 1. es una distribución frecuentemente utilizada para medir desviaciones de medidas experimentales respecto de un modelo adoptado. 2. cuando , donde Φ(x) es la distribución normal estandar. La aproximación es buena para f ≥30. (Fig. © Univ. of Arkansas, Community College at Hope)

22 Distribuciones habituales: F
Definición: sean y1,y2,...,ym e w1,w2,...,wn dos conjuntos de números independientes derivados de distribuciones normales estándar. Se define la distribución F como Distribución: la densidad de probabilidad de F viene dada por que normalmente se expresa Propiedades: es una distribución frecuentemente utilizada para comparar dos conjuntos de datos y su representación de un modelo. Un valor muy grande o muy pequeño de F indica qué distribución se ajusta mejor a los datos. Sin embargo es útil estudiar el valor de χ2 para corroborar que ambas presentan un ajuste razonable. (m,n) (Fig. © NIST/SEMATECH “Engineering Statistics Handbook”)

23 Distribuciones habituales: t Student
Definición: sea x1,x2,...,xn un conjunto de datos independientes derivados de una distribución gaussiana de media 0 y variancia σ2. Se define t Distribución: la densidad de probabilidad de t viene dada por y la de t2 por la distribución F con m=1. Propiedades: se utiliza frecuentemente para comparar muestras de una distribución que se cree que es aproximadamente gaussiana, pero cuya variancia se desconoce. P.D.: Student era el sedónimo de W.S. Gosset ( ), un pionero estadista que trabajó en la Cervecería Guinness de Dublín como químico, y publicó sus resultados bajo seudónimo para escapar de la política de la compañía, que prohibía publicar a los empleados. P.D. from David Salsburg, ‘The lady tasting tea’, Owl Books, 2002. (Figs. © Eric W. Weisstein)

24 Distribuciones habituales: log normal
Distribución: la densidad de probabilidad de una variable log x distribuída según una función gaussiana es Momentos de la distribución: media <x> = ∫ xP(x)dx = exp(μ+σ2/2) variancia σ 2(x) = ∫ (x − <x>)2 P(x)dx = (exp σ 2 −1) exp(2μ+σ 2) Ejemplo: fotomultiplicadores, que convierten señales débiles de fotones en señales eléctricas. Sea n0=a0 el número inicial de e− producidos por cada fotón. El número final de fotones tras pasar por k etapas de fotomultiplicación será nk=Πi ai, de manera que log nk = ∑i log ak. En virtud del teorema central del límite, log nk se aproxima a una distribución gaussiana para valores grandes de k, y por lo tanto, nk se aproxima a una distribución log-normal.

25 Cálculo de errores En Astronomía se trabaja continuamente con distribuciones de medidas (flujo, número de objetos, ...) El error asociado a una cantidad θ=θ(x,y,..,) dependiente de las variables x,y,..., si éstas no están correlacionadas, y su variancia es pequeña, se puede aproximar en primer orden por Si los errores están correlacionados, y las variancias son pequeñas, viene dado por Si estas condiciones no se cumplen, entonces hay que recurrir a un Monte Carlo (véase tema 2) para calcular los errores. (“Kendall’s Advanced Theory of Statistics I: Distribution Theory”, Stuart & Oed, Edward Arnold Publ., sección 10.5)

26 Cálculo de errores Ejemplo: cálculo del flujo emitido por una línea espectral. Flujo entre a y b: L´= ∑i li´ = 1050 x x = 6650 σL´2 = ∑i li´ = L´ Determinación del nivel de continuo: c=1/N ∑i ci = 1/10 ∑ = L=650 ±100 σc2 = 1/N2 ∑i σci2 = 1/N2 ∑i ci = c/N Continuo bajo la línea: C = 1000 x 6 = 6000 ; σC2 = 62 σc2 = 3600 Línea: L = L´ − C = 6650 − 6000 = 650; σL2 = σL´2 + σC2 = flujo 1200 1150 1100 1050 1000 a b λ

27 Ejemplo de aplicación erronea del cálculo de propagación de errores
(Byron P. Roe, 2001, “Probability and Statistics in Experimental Physics”, Springer) Algunas veces, los efectos no lineales en la propagación de errores hace que las fórmulas anteriores dejen de funcionar. En 1983 F. James revisó los datos de un experimento en el que se había encontrado una masa no nula para el neutrino e−. La masa se medía a partir de la cantidad R donde, sin entrar en detalles, a,b,c,d,e eran cantidades medibles, K era un valor fijo, y si R<0.420, entonces el neutrino tenía masa. El experimento encontraba R=0.165 con un error derivado de la propagación lineal de σR= La conclusión obvia era que el neutrino tenía masa, ya que R=0.420 se encontaba a 3 sigmas, correpondiendo a una probabilidad de uno en mil. Sin embargo, la fórmula para el cálculo de R es fuertemente no lineal, y la fórmula de propagación podía fallar, especialmente porque los errores de las cantidades medidas eran, en sí, bastante grandes. Para comprobarlo, James realizó unos cálculos de Monte Carlo suponiendo que a,b,c,d tenían errores gaussianos independientes entre sí, y evaluó la distribución de R. Encontró que el 1.5% del tiempo, los resultados daban R>0.42, haciendo el resultado mucho menos robusto de lo que anteriormente se creía. En muchos casos prácticos, los errores tienen largas colas de probabilidad, con las que hay que trabajar con mucho cuidado, sin sobreinterpretar el valor de la desviación cuadrática media.

28 Análisis de identidad de dos distribuciones
Test de t-Student: ¿Tienen dos distribuciones la misma media? Suposiciones: las muestras están derivadas de distribuciones gaussianas con la misma variancia. Por lo tanto, el test es paramétrico. Estrategia: medir el número de desviaciones estándar que las separa (err = σ/√N) Método: sean las muestras A ≡ {xi}, i=1,...,NA de media xA B ≡ {xi}, i=1,...,NB de media xB e igual variancia σ2. Se definen sD y t La probabilidad de que t tome un valor así de grande o más viene dada por la distribución t-Student con n ≡ NA+NB grados de libertad, donde un valor pequeño significa que la diferencia es muy significante. Esta función está tabulada en los libros de estadística básica, y se puede encontrar codificada en la mayoría de las bibliotecas de programación. El test data de Error sobre la media…. CHECK: Bradley Efron (1967) the test is also valid for a general form of distributions under some restrictions. CHECK!!!! (Press et al., “Numerical Recipes”)

29 Análisis de identidad de dos distribuciones
Variante del test de t-Student: ¿Tienen dos distribuciones la misma media? En el caso de que las variancias de las dos muestras sean diferentes, σA2 ≠ σB2, se definen t y n donde n no tiene por qué ser un número entero. La probabilidad de que t sea así de grande o más viene aproximadamente dada por la misma distribución P(t,n) anterior. (Press et al., “Numerical Recipes”)

30 B ≡ {xi}, i=1,...,NB de media xB y variancia σB2
Análisis de identidad de dos distribuciones Test F: ¿Tienen dos distribuciones diferente variancia? Suposiciones: las distribuciones son gaussianas. El test es, por lo tanto, paramétrico. Estrategia: se analiza el cociente de las variancias y su desviación de la unidad. Método: sean las muestras A ≡ {xi}, i=1,...,NA de media xA y variancia σA2 B ≡ {xi}, i=1,...,NB de media xB y variancia σB2 Se define F ≡ σA2/σB2, donde σA>σB. La significancia de que la variancia de la distribución A sea mayor que la de la distribución B viene dada por la distribución F con nA ≡ NA−1 y nB ≡ NB−1 grados de libertad en el numerador y denominador: donde La distribución F está tabulada en los libros de estadística básica, y se encuentra codificada en la mayoría de las bibliotecas de programación. (Press et al., “Numerical Recipes”)

31 Análisis de identidad de dos distribuciones
Test Kolmogorov-Smirnov: ¿Son dos distribuciones diferentes? Suposiciones: las distribuciones son continuas. El test no es paramétrico, lo que lo hace muy eficaz. Es un test muy popular en Astronomía. Estrategia: medir la desviación máxima de las distribuciones acumuladas. Método: sean las muestras A ≡ {xi}, i=1,...,NA B ≡ {xi}, i=1,...,NB Se define la distribución acumulada SN(x) ≡ 1/N ∑i f(xi) , donde f(xi) ≡ { para cada muestra. La diferencia máxima entre ellas viene dada por D ≡ max |SA(x)−SB(x)| La significancia de que las dos distribuciones difieran viene dada aproximadamente por donde y Ne=NANB/(NA+NB). La expresión es buena para Ne≥4 (Stephens 1970) . 0 si xi<x 1 si xi≥x From the 30´s, independent of the ordering, >=80 for original Kolmogorov formula

32 Análisis de identidad de dos distribuciones
El test de Kolmogorov-Smirnov no es muy sensible si la diferencia máxima entre las distribuciones acumuladas ocurre en los extremos de las mismas. Para solucionar este problema, se introdujo una variante del test. Test de Kuiper: ¿Son dos distribuciones diferentes? Suposiciones y estrategia: las mismas que K-S. Método: se definen las diferencias máximas por exceso, D+ , y por defecto, D− , y la diferencia combinada D ≡ D+ + D− = max [ SA(x) − SB(x) ] + max [ SB(x) − SA(x) ] . La significancia con la que las dos distribuciones difieren viene dada por PKP = 2 ∑j (4j2λ2−1) exp(−2j2λ2) , donde λ ≡ [ √Ne / √Ne ] D y Ne ≡ NANB/(NA+NB) Análisis de identidad de una distribución observada con una distribución teórica: tanto KS y KP se pueden aplicar a una sola distribución para estudiar si se deriva de una distribución teórica P(x). La estrategia es la misma, y las ecuaciones son válidas, substituyendo SB(x) por P(x) y haciendo Ne=NA. (Press et al., “Numerical Recipes”)

33 (Aragón-Salamanca et al
(Aragón-Salamanca et al. 1996, MNRAS, 281, 945) Ejemplo: distribución de galaxias débiles entorno a QSOs QSOs: 85% RQ QSOs: 39% RL QSOs: 99.5%

34 Análisis de identidad de dos distribuciones
Test Kolmogorov-Smirnov multidimensional: (Peacock 1983, MNRAS, 202, 615; Fasano & Franceschini 1987, MNRAS, 225, 155) Dificultad: en una dimensión, K-S es independiente de cómo se ordenan los datos, pero en N dimensiones, existe más de una forma de ordenarlos. Estrategia: se consideran las cuatro posibles acumulaciones de los n datos de una muestra siguiendo los ejes de coordenadas. En 2D, se considera el número de datos de la muestra que cae en cada cuadrante (x<Xi, y<Yi), (x<Xi, y>Yi), (x>Xi, y<Yi), (x>Xi, y>Yi) , i=1,...,n, y se compara con la distribución padre o la distribución de comparación. Se define DBKS como la diferencia normalizada más grande de entre todos los cuadrantes y todos los puntos. En 3D, de igual manera, (x<Xi, y<Yi, z<Zi), (x<Xi, y<Yi, z>Zi), (x<Xi, y>Yi, z>Zi), (x>Xi, y<Yi, z<Zi), (x>Xi, y<Yi, z>Zi), (x>Xi, y>Yi, z>Zi), i=1,...,n. Significancia: formalmente no existe una expresión rigurosa que dé la probabilidad de que las dos distribuciones difieran. Se han realizado diversos Monte Carlos con distribuciones en el plano y el espacio que presentan diferentes niveles de correlación. Fasano & Franceschini (1987) proveen de tablas y expresiones polinomiales para calcular la diferencia crítica Zn≡DBKS√Ne que rechaza la identidad de las dos distribuciones, dados n, CC (coeficiente de correlación) y SL (el nivel de significancia).

35 Modelos de correlación entre los datos explorados
Análisis de identidad de dos distribuciones Cálculo de la dependencia de la diferencia crítica entre dos distribuciones 2D con el coeficiente de correlación de los puntos, el número de puntos y el nivel de confianza escogido para rechazar la hipótesis nula de identidad (Fasano & Franceschini 1987). Modelos de correlación entre los datos explorados

36 Análisis de identidad de dos distribuciones
Aproximaciones polinomiales a las significancias encontradas en el Monte Carlo. Estos polinomios están codificados en varios paquetes de análisis estadístico (ejem. “Numerical Recipes”)

37 (Wall J.V., 1996, Q. Jr. R. Astr. Soc., 37, 519)

38 Inferencia clásica frente a inferencia bayesiana
(Loredo T. 1992, en “Statistical Challenges in Modern Astronomy”, ed. Feigelson & Babu, Springer, Dos diferentes interpretaciones del término probabilidad: frecuentista: frecuencia con que un cierto resultado se obtiene en la repetición infinita de un proceso. bayesiana: plausibilidad de que una proposición (modelo) pueda dar cuenta de un conjunto de datos. En muchas situaciones se obtiene el mismo resultado utilizando las dos técnicas, pero existen excepciones notables (ejem. Kraft et al. 1991, ApJ, 374, 344). Los dos métodos son fundamentalmente diferentes. Parten de concepciones opuestas sobre cuál es la información fidedigna y por evaluar (modelo o datos). Los cálculos bayesianos discriminan entre hipótesis plausibles, mientras que los cálculos frecuentistas evalúan la validez del conjunto de datos dada una hipótesis que se toma como cierta. Teorema de Bayes:

39 Inferencia bayesiana Pasos a seguir en la inferencia Bayesiana:
1. Especificar el modelo, o hipótesis a evaluar: en general tendremos varias Hi a comparar 2. Asignar las probabilidades: a priori o anterior P(Hi) anterior predictiva P(D) de muestreo P(D|Hi) 3. Calcular la probabilidad posterior mediante el teorema de Bayes. 4. Comparar los resultados entre los diferentes modelos, mediante el cociente de probabilidades posteriores P(Hi|D)/P(Hj|D), por ejemplo.

40 P(10 | 7) Ejemplo: estimación de una media poissoniana
Supongamos que hemos obtenido una medida de n eventos en un intervalo de tiempo T, y que deseamos inferir la frecuencia de eventos, r . 1.- Especificamos la hipótesis H, de que el proceso es poissoniano con una frecuencia de eventos 0  r  rmax. 2.- Asignamos probabilidades: de muestreo: a priori (anterior): , que en este caso es una probabilidad no informativa anterior predictiva: 3.- Aplicamos el teorema de Bayes para calcular la probabilidad posterior: Si Trmax>> n, entonces la función incompleta gamma se puede aproximar por y la probabilidad posterior resulta Para el caso particular en el que se detectan 7 eventos en 1 segundo, la probabilidad de que el proceso tenga una media de 10 eventos por segundo es del 9%: P(10 | 7) (nota: compárese con la probabilidad frecuentista) (Loredo 1992)

41 } Ejemplo: estimación de una media poissoniana sobre un fondo
Supongamos que hemos obtenido una medida de Non eventos en un intervalo de tiempo Ton, y que deseamos inferir la frecuencia de eventos de la señal, s , sobre el fondo, b. Se supone que se puede estimar el fondo de una medida independiente de Noff eventos en un intervalo Toff. Como en el caso anterior Para la medida con señal y fondo conjuntamente: donde es la probabilidad de muestreo p(s|b) = p(s)= 1/smax p(b) = p(b | Noff) p(Non) = 1/Tonsmax prob. anterior predictiva ( ) Para calcular la probabilidad posterior de la señal, hay que marginar el parámetro b, calculando p(s|Non) =  db p(sb|Non). Realizando la expansión del término (s+b)Non se encuentra } dan la probabilidad a priori (Loredo 1992)

42 • Cálculo frecuentista para constreñir s:
Se debe resaltar que éste es un cálculo ambiguo bajo la inferencia frecuentista, aunque hay algunas publicaciones con aproximaciones no libres de inconsistencias (O’Morgain, 1973, Nature, 241, 376; Cherry et al. 1980, ApJ, 242, 1257) ♦ Ejemplo: medida en la que b ≥ n (Kraft et al. 1991, ApJ, 374,344) — inconsistencias de los cálculos frecuentistas. Supóngase que b de conoce por un método alternativo con una gran precisión • Cálculo frecuentista para constreñir s: Existen muchos métodos propuestos que no son correctos desde el punto de vista del planteamiento real del problema (véase Kraft et al.). Lo que sí es correcto, es calcular los límites de confianza (CL) de un s+b dado, con la función de probabilidad y substraer a estos el b previamente determinado. • Cálculo bayesiano: No existe ninguna ambigüedad en el planteamiento del problema. Se deben calcular los CL de la densidad de la probabilidad posterior P(s| n,b) El intervalo de s para diferentes valores de CL, n, b se encuentra tabulado, aunque es simple calcularlo al resolver los CL con la expresión anterior.

43 (Kraft et al. 1991)

44 La comparación de ambos métodos indica que el cálculo frecuentista incurre en
contradicciones cuando n<b, ya que los límites superiores de los CL llegan a ser negativos. Sin embargo, para casos en que b<n, los límites calculados son prácticamente iguales. bayesiana bayesiana frecuentista frecuentista (Kraft et al. 1991)