Covarianza muestral Sean x1, x2, ..., xn e y1, y2, ..., yn dos muestras aleatorias independientes de observaciones de X e Y respectivamente. La covarianza poblacional se estima como:
Correlación muestral El coeficiente de correlación muestral se calcula como: Este coeficiente es una medida de la relación lineal entre X e Y. Por ejemplo, si la relación entre ambas variables fuera cuadrática, el coeficiente de correlación seria bajo, pero esto no indica que X e Y no estén relacionadas sino que la relación entre ellas no es lineal.
Método de mínimos cuadrados Es el método de estimación mas usado comúnmente para estimar los parámetros de un modelo de regresión del tipo y = a + bx + u. También es útil para estimar la media de una variable aleatoria X. Cada una de las observaciones xi puede verse como un estimador de la media poblacional puesto que E(Xi) = . El error de esta estimación es ei = xi -
Método de mínimos cuadrados Considere la suma de los errores al cuadrado sobre la muestra entera: el método de OLS elige un estimador de para el cual la suma de los errores al cuadrado es mínima. Para estimar minimizamos RSS():
Método de mínimos cuadrados
Método de mínimos cuadrados Como el primer término no depende de , es claro que el RSS se minimiza con respecto a la elección de sii = , con lo cual el segundo término se hace cero. Por lo tanto el estimador OLS de es la media muestral .