Repaso de clase anterior Propiedades de esperanza, covarianza, y coeficiente de correlación. P Y E 2012 Clase 13 Gonzalo Perera

ESTIMACION DE PARAMETROS: EL METODO DE MAXIMA VEROSIMILITUD. Supongamos que tenemos una muestra iid de una distribución que depende de un parámetro desconocido. Por ejemplo, en un control de calidad por atributos, la inspección de n artículos nos da una muestra iid de distribución Ber(p), donde p es la proporción de defectuosos en el lote, que es desconocida. El principio de Máxima Verosimilitud dice que el valor más “creíble” del parámetro desconocido es aquel que hace máxima la probabilidad de la muestra obtenida. P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera Por ejemplo:   Supongamos que en Montevideo (N=1300 000) encuestamos 2500 personas y encontramos 386 personas que portan cierta enfermedad. Como podemos usar la aproximación de la Hipergeométrica por la Binomial, tenemos, llamando X a la cantidad de portadores en la muestra  P(X=386) = C3862500 p386 (1-p)2500-386 Graficamos (en escala logarítmica) esta última expresión como función de p. P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera

El valor de p que maximiza la función es 0.1544=386/2500.   De hecho, esto no es coincidencia: puede demostrarse, como veremos, que en la distribución Binomial la estimación por máxima verosimilitud de p es  X/n (proporción de portadores en la muestra)  Presentaremos ahora el método en general basado en observar una Muestra Aleatoria Simple (MAS) de esa distribución, i.e., un conjunto de n variables iid que siguen la distribución cuyo parámetro se desea estimar (o dicho de otra forma, el resultado de repetir n veces de forma independiente el experimento que se está estudiando). P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera   Veremos por separado el caso de distribuciones discretas y el de absolutamente continuas. Recordemos: cuando X es una variable discreta (toma valores en un conjunto discreto, de “puntos separados”) se llama función de probabilidad pX a la función pX(k)= P(X=k) P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera Si X1,..., Xn iid ~ Fθ (distribución que depende de un parámetro d-dimensional θ que deseamos estimar) discreta, cuya función de probabilidad es pθ , el Estimador de Máxima Verosimilitud (EMV) del parámetro desconocido es el valor de θ que maximiza:     L(θ)=pθ(X1) pθ(X2)… pθ(Xn)   Esta función, llamada verosimilitud (likelihood) y da la probabilidad de obtener la muestra que obtuvimos en nuestro experimento.   Si en cambio Fθ es AC y su densidad es fθ, el EMV es el valor de θ que maximiza la verosimilitud, definida ahora como:   L(θ)=fθ(X1) fθ(X2)… fθ(Xn)   P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera Veamos ahora distintos ejemplos de cálculo del EMV.   Ejemplos:   1. Si X1,..., Xn iid ~ Ber(p), entonces el EMV de p es (X1+...+ Xn)/n   2. Si X1,..., Xn iid ~ Poisson(λ), el EMV de λ es (X1+...+ Xn)/ n     3. Si X1,..., Xn iid ~ BN(m,p), el EMV de p es nm/(X1+...+ Xn)   4. Si X1,..., Xn iid ~ U[a,b](distribución con densidad constante 1/(b-a) en el intervalo [a,b] y 0 fuera de [a,b]), entonces los EMV de a y b son:   Min(X1,..., Xn) (para a)   Max(X1,..., Xn) (para b) P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera 5. En muestras de la distribución N(μ,σ2) , los EMV son   Mn= (X1+...+ Xn)/n (para μ ) σ2 n= ((X1- Mn)2+...+ (Xn- Mn)2)/n (para σ2)   6. En muestras de la Exponencial(λ), el EMV de λ es   1/ Mn    7. En otras distribuciones (como Cauchy) es necesario resolver numéricamente ecuaciones no-lineales para calcular los EMV; como los métodos numéricos de optimización más corrientes son algoritmos iterativos que necesitan que el usuario le proponga un buen valor de arranque (que no esté muy lejos de la verdadera solución), precisamos otros métodos que nos den estimaciones preliminares de los parámetros, que sean más fáciles de calcular. Veremos más adelante otros métodos de estimación alternativos a máxima verosimilitud. P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera Ejemplo: a continuación mostramos la duración de 15 componentes electrónicos de determinada marca comercial, donde la unidad de medida es 10 años. Se supone que dichos componentes responden al modelo de no-envejecimiento y que las 15 mediciones fueron realizadas independientemente. Se desea estimar la probabilidad de que duren más de diez años. P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera El modelo de no-envejecimiento corresponde a la distribución exponencial, por lo que suponemos que tenemos 15 variables X1,..., X15 iid ~ Exp(). Por definición de la distribución exponencial, tendremos que si X es la duración de dicho componente, con distribución Exp(), entonces: P(X>1)= 1- exp(- ). El promedio de los 15 datos que tenemos es 0.2753 y, consecuentemente, el EMV de  es (ver slide 8, ejemplo 6) 1/0.2753=3.5676. En consecuencia, estimamos que P(X>1) 0.0282. P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera Naturalmente, el problema difícil subyacente es saber si es válido o no el modelo de “no envejecimiento” (i.e., si la distribución exponenciales aplicable). Resolveremos este punto cuando veamos el tema “Tests de Ajuste”. P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera Observación:   En muchos casos se requiere estimar, a partir de datos iid, una probabilidad. Para fijar ideas, digamos que debemos estimar p = P(X>c), donde c es un valor dado y donde nuestros datos son X1,..., Xn iid ~ F, con F la distribución de X. Tenemos distintas vías para estimar p. 1) Si ya ajustamos F a una familia paramétrica F y además estimamos el valor de  por alguno de los métodos anteriores y tenemos como estimación el valor *, entonces una estimación de p la aporta el cálculo de P(X>c) asumiendo que X tiene distribución F* Llamemos p(1) a esta estimación (para la cual incluso se podrían dar IdC con un poco más de trabajo que no haremos aquí). P Y E 2012 Clase 13 Gonzalo Perera

P Y E 2012 Clase 13 Gonzalo Perera 2) Si consideramos Yi = 1 si Xi > c, 0 si no, entonces Y1,..., Yn iid ~ Ber(p) y por lo tanto lás fórmulas para estimar proporciones (el p de una Ber(p)) y tenemos otra estimacióm e IdC para nuestra p.   Llamaremos p(2) a esta estimación, a la que a veces se le llama estimación empírica ( y a p(1) estimación del modelo). Tendríamos completa coherencia de ambas estimaciones si ambas dan resultados razonablemente similares. Veremos más adelante de manera muy precisa que significa “razonablemente similares”. P Y E 2012 Clase 13 Gonzalo Perera