Departament d’Estadística Divisió de Ciències Experimentals i Matemàtiques Estimación de máxima verosimilitud Programa de doctorado en Estadística, Análisis de datos y Bioestadística Fundamentos de Inferencia Estadística Jordi Ocaña Rebull

Contenido  Concepto de estimación de máxima verosimilitud (MLE)  Relación con la suficiencia  Equivariancia  Obtención práctica de MLE. Ecuaciones de verosimilitud  Métodos numéricos de obtención de MLE  Algoritmo de Newton-Raphson

Concepto de estimación de máxima verosimilitud MLE  Dada una función de verosimilitud L para un parámetro, una estimación de máxima verosimilitud es un valor tal que –“Escoger aquel valor que dé las máximas oportunidades a los hechos observados” –Fisher en su formulación actual, orígenes en el siglo XVIII (Bernouilli, Lambert)

Comentarios sobre el concepto de estimación MLE  Q no tiene por que ser numérico  Puede no existir  Puede no ser única –Pero en general existe y es única. Entonces se puede hablar con propiedad de “la” MLE  Maximización sobre Q, no sobre los valores matemáticamente admisibles  A menudo sin expresión cerrada, para y concreto buscar numéricamente max L

Relación con la suficiencia  Supongamos que existe una (o “la”) estimación MLE de q,. Entonces se puede afirmar que es función de cualquier estadístico suficiente: –Consecuencia del teorema de factorización –Maximizar equivale a maximizar

Equivariancia  La MLE es invariante frente a transformaciones biyectivas:  Si y no biyectiva lo anterior cierto si se considera verosimilitud inducida:

Obtención práctica de MLE. Ecuaciones de verosimilitud  Maximizar L equivalente a maximizar la log-verosimilitud, l, cosa que suele ser más fácil. El problema se suele reducir a resolver las “ecuaciones de verosimilitud” –Sólo condición necesaria. Estudiar también las segundas derivadas,  Si no, estudio detallado de L o l

Métodos numéricos de obtención de MLE  Estos problemas son tema importante de la Estadística computacional  Dos situaciones distintas: –Obtención directa del máximo de L o de l –Si es posible derivar analíticamente l: solución numérica de las equaciones de verosimilitud (problema más fácil)  Muchas técnicas aplicables: básica es el algoritmo de Newton-Raphson

Algoritmo de Newton-Raphson (expresión general)  Objetivo: solucionar la ecuación g(x)=0  Procedimiento: –valor inicial x 0 propuesto como solución aproximada –iteración con sucesivas soluciones aproximadas x 0, x 1,..., x s,... Mediante –detenida al cumplirse algún criterio de convergencia

Algoritmo de Newton-Raphson (aplicado a la estimación MLE)  Ahora  Procedimiento: –inicial (p.e. método de los momentos) –iteración –detenida al cumplirse algún criterio de convergencia, p.e.