Modelos de regresión lineal Instructor: Favio Murillo García
Análisis de regresión El objetivo del análisis de regresión es modelar, estadísticamente, la contribución o impacto que una o más variables explicativas pudieran tener sobre alguna variable de interés.
La realidad bajo estudio
Metodología de análisis a) Identificar las variables que pudieran estar relacionadas con nuestra variable de interés. b) Proponer un modelo que capte la relación entre las variables. c) Estimar los parámetros del modelo propuesto en función de la información muestral disponible. d) Verificar la validez estadística del modelo construido y el cumplimiento de las propiedades de los errores. e) Verificar que no existan variables redundantes o no significativas en el modelo.
Regresión Lineal Simple yi = b0 + b1xi + ui
y = b0 + b1x + u mientras que x es: donde y es: u es: Variable independiente Variable explicativa Covariable Variable de control Regresor b0 y b1: parámetros o coeficientes a estimar donde y es: Variable dependiente Variable explicada Regresando u es: Residual Término de error
Algunos supuestos El valor promedio de u, el término de error, en la población es = 0. Es decir, E(u) = 0 Este supuesto no es muy restrictivo puesto que siempre podemos ajustar el intercepto b0 para normalizar E(u) = 0
Media condicional = 0 Hay un supuesto crucial sobre la relación entre el error y la variable explicativa: cov(x, u) Queremos que la información contenida en x sea independiente de la información contenida en u (que no estén relacionados), de modo que: E(u|x) = E(u) = 0, lo cual implica: E(y|x) = b0 + b1x
Mínimos Cuadrados Ordinarios (MCO) La idea básica es estimar parámetros poblacionales a partir de una muestra. Sea {(xi,yi): i =1, …,n} una muestra aleatoria de tamaño n de una población. Para cada observación en la muestra, tenemos: yi = b0 + b1xi + ui
. . . . Línea de regresión, observaciones y errores { y E(y|x) = b0 + b1x . y4 u4 { . y3 u3 } . y2 u2 { u1 . y1 } x1 x2 x3 x4 x
Estimador MCO / OLS: intercepto (β0) Tenemos:
Estimador MCO / OLS: pendiente (β1)
El estimador MCO de b1 b1, es la covarianza muestral entre x y y, dividida entre la varianza muestral de x. Si x y y están correlacionados positivamente, b1 será positivo (pues la varianza del denominador siempre es positiva). Si x y y están correlacionados negativamente, b1 será negativo. Obviamente, requerimos que x tenga cierta varianza en la muestra.
MCO / OLS Intuitivamente, MCO ajusta una línea a través de los datos muéstrales, de modo que la suma de residuales al cuadrado (SSR) sea la mínima posible: de ahí el término “mínimos cuadrados”. El residual, û, es un estimado del término de error entre lo observado y lo predicho, es decir, la diferencia entre la línea de regresión (fitted line) y el dato observado.
Línea de regresión muestral, observaciones, y residuales estimados . y4 { û4 . } û3 y3 . y2 û2 { } . û1 y1 x1 x2 x3 x4 x
Suma de cuadrados: Terminología
Bondad de ajuste: R2 ¿Cómo saber qué tan bueno es el ajuste entre la línea de regresión y los datos de la muestra? Podemos calcular la proporción de la suma de cuadrados totales (SST) que es “explicada” por el modelo. Esto es la llamada R-cuadrada de una regresión: R2 = SSE/SST = 1 – SSR/SST
Ejercicio La siguiente tabla presenta datos que se refieren al consumo de tazas de café por día y el precio al menudeo del café. En Estados Unidos de 1970 a 1980. Fuentes: Summary of National Coffee Drinking Study, 1981. Nielsen Food Index, 1981.
Tasas diarias por persona (Y) Precio en dólares por libra (X) Año Tasas diarias por persona (Y) Precio en dólares por libra (X) 1970 2.57 0.77 1971 2.5 0.74 1972 2.35 0.72 1973 2.3 0.73 1974 2.25 0.76 1975 2.2 0.75 1976 2.11 1.08 1977 1.94 1.81 1978 1.97 1.39 1979 2.06 1.2 1980 2.02 1.17
Conteste ¿ Cómo es la relación existente entre estas dos variables: directa o inversa ? ¿ Qué tan ajustada es la correlación entre estas dos variables ? Construya el siguiente modelo: Interprete intuitivamente el valor de los parámetros obtenidos Estime las tasas diarias por persona si el precio es de 1.5 dólares por libra.