Modelo de Regresión Lineal Simple y = b0 + b1x + u Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Terminologia En el modelo de regresión lineal simple,donde y = b0 + b1x + u, tipicamente nos referimos a y como la Variable Dependiente, o Variable de la Izquierda, o Variable Explicada, o Regresando Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Terminologia, cont. En el modelo de regresión lineal simple de y sobre x, tipicamente nos referimos a x como Variable Independiente, o Variable de la Derecha, o Variable Explicativa, o Regresor, o Covariable, o Variables de Control Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Un Supuesto Simple La media de u, el termino de error, en la poblacion es 0. Esto es, E(u) = 0 Este no es un supuesto restrictivo ya que siempre se pueda usar b0 para normalizar E(u) a 0 Free and Quick Translation of Anderson's slides

Zero Esperanza Condicional Tenemos que hacer un supuesto crucial sobre como u y x estan relacionadas Queremos que sea el caso de que conocer algo sobre x no nos de informacion a cerca de u, es decir que ellos estan totalmente no-relacionados. Esto es, que E(u|x) = E(u) = 0, lo que implica E(y|x) = b0 + b1x Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides E(y|x) como funcion lineal de x, donde para cada x la distribucion de y esta centrada alrededor de E(y|x) y f(y) . E(y|x) = b0 + b1x . x1 x2 Free and Quick Translation of Anderson's slides

Minimos Cuadrados Ordinarios La idea basica de la regresion es estimar los parametros poblacionales desde una muestra Sea {(xi,yi): i=1, …,n} una muestra aleatoria de tamaño n de una poblacion Para cada observacion en esta muestra, sera el caso que yi = b0 + b1xi + ui Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Recta de Regresión lineal, puntos de la muestra y los terminos de error asociados y E(y|x) = b0 + b1x . y4 u4 { . y3 u3 } . y2 u2 { u1 . y1 } x1 x2 x3 x4 x Free and Quick Translation of Anderson's slides

Derivando los estimadores MCO Para derivar las estimaciones MCO debemos darnos cuenta que nuestro supuesto principal de E(u|x) = E(u) = 0 tambien implica que Cov(x,u) = E(xu) = 0 Por que? Recuerda que Cov(X,Y) = E(XY) – E(X)E(Y) Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Derivando MCO, cont. Tenemos 2 restriciones en termino de x, y, b0 y b1 , ya que u = y – b0 – b1x E(y – b0 – b1x) = 0 E[x(y – b0 – b1x)] = 0 Esto se llama restriciones de momentos Free and Quick Translation of Anderson's slides

Derivando MCO usando el metodo de los momentos El metodo de los momentos consiste en imponer las restriciones de los momentos poblaciones en la muestra Que significa esto? Recordad que para E(X), la media de la distribucion poblacional, un estimador simple de E(X) es simplemente la media aritmetica de las observaciones muestrales Free and Quick Translation of Anderson's slides

Mas sobre la Derivacion de MCO Queremos elegir los valores de los parametros que nos aseguran que la version muestral de las restriciones de momentos poblaciones son ciertas La version muestral es: Free and Quick Translation of Anderson's slides

Mas sobre la derivacion de MCO Dada la definicion de media muestral, y las propiedades del operador suma, la primera condicion se puede escribir como Free and Quick Translation of Anderson's slides

Mas sobre la derivacion de MCO Free and Quick Translation of Anderson's slides

Llegamos a que la estimacion MCO de la pendiente es: Free and Quick Translation of Anderson's slides

Resumen sobre la pendiente estimada por MCO La pendiente estimada es la covarianza muestral entre x e y divida por la varianza muestral de x Si x e y estan positivamente correlacionadas, la pendiente sera positiva Si x e y estan negativamente correlacionadas, la pendiente sera negativa Solo se necesita que varie x en nuestra muestra Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Mas sobre MCO Intuitivamente, MCO esta ajustando una linea recta a traves de los puntos muestrales tal que la suma de los residuos al cuadrado sea tan pequeña como se pueda, de ahi el nombre de Minimos Cuadrados El residuo, û, es una estimacion del termino error, u, y es la diferencia entre la recta ajustada (recta de regresion muestral) y el punto u observacion muestral Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Recta regresion muestral, datos muestrales y los residuos asociados y . y4 { û4 . y3 } û3 . y2 û2 { û1 . } y1 x1 x2 x3 x4 x Free and Quick Translation of Anderson's slides

Metodo alternativo de la derivacion de MCO Dada la idea intuitiva de ajustar una recta, podemos establecer un problema de minimizacion Esto es, queremos elegir las estimaciones de los parametros que minimizen la siguiente funcion: Free and Quick Translation of Anderson's slides

Metodo alternativo, cont Usando el calculo que habeis aprendido para minimizar una funcion, se obtienen como condiciones de primer orden las que ya obtuvisteis antes con el otro metodo, esta vez multiplicadas por n Free and Quick Translation of Anderson's slides

Propiedades alerbraicas de MCO La suma de los residuos MCO es zero Entonces la media muestral de los residuos MCO es zero tambien La covarianza muestral entre los regresores y los residuos MCO es zero La linea de regresion MCO SIEMPRE pasa a traves de la media de la muestra Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides De forma precisa Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Mas terminologia Free and Quick Translation of Anderson's slides

Prueba de que SCT = SCE + SCR Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Medidas de Ajuste Como podemos medir que bien o que mal ajusta nuestra recta de regresion a los datos muestrales? Podemos medir la fraccion de la SCT que viene explicada por el modelo, y llamarla R-cuadrado de la regresion R2 = SCE/SCT = 1 – SCE/SCT Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Insesgadez de MCO Asume que el modelo poblaciones es lineal en los parametros y = b0 + b1x + u Asume que tenemos una muestra aleatoria de tamaño n, {(xi, yi): i=1, 2, …, n}, del modelo poblacional. Entonces podemos escribir el modelo muestral yi = b0 + b1xi + ui Asume E(u|x) = 0 y entonces E(ui|xi) = 0 Asume que hay variacion en las xi Free and Quick Translation of Anderson's slides

Insesgadez de MCO (cont) Para pensar en la insesgadez, necesitamos re-escribir nuestros estimadores en terminos de los parametros poblacionales Comencemos re-escribiendo la formula para el estimador de la pendiente Free and Quick Translation of Anderson's slides

Insesgadez de MCO (cont) Free and Quick Translation of Anderson's slides

Insesgadez de MCO (cont) Free and Quick Translation of Anderson's slides

Insesgadez de MCO (cont) Free and Quick Translation of Anderson's slides

Resumen de la Insesgadez Los estimadores MCO de b1 y b0 son insesgados La prueba de insesgadez depende de nuestros 4 supuestos. Si alguno falla entonces MCO puede no ser insesgado Recuerda que insesgadez es una descripcion del estimador – en una muestra dada podemos estar “cerca” o “lejos” del verdadero valor del parametro Free and Quick Translation of Anderson's slides

Varianza de los estimadores MCO Ahora sabemos que la distribucion muestral de nuestros estimadores esta centrada alrededor del verdadero parametro Queremos pensar sobre la dispersion de esta distribucion Esto es mas facil con el siguiente supuesto adicional Asume Var(u|x) = s2 (Homocedasticidad) Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Varianza de MCO (cont) Var(u|x) = E(u2|x)-[E(u|x)]2 E(u|x) = 0, asi que s2 = E(u2|x) = E(u2) = Var(u) Entonces s2 es tambien la varianza incondicional, llamada varianza del error s, la raiz cuadrada de la varianza se le llama la desviacion tipica del error Podemos decir: E(y|x)=b0 + b1x y Var(y|x) = s2 Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Caso Homocedastico y f(y|x) . E(y|x) = b0 + b1x . x1 x2 Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Caso Heterocedastico f(y|x) y . . E(y|x) = b0 + b1x . x1 x2 x3 x Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides Varianza de MCO (cont) Free and Quick Translation of Anderson's slides

Resumen varianza de MCO Cuanto mas grande sea la varianza del error, s2, mas grande es la varianza del estimador de la pendiente poblacional Cuanto mas grande sea la variabilidad en las xi, mas pequeño sera la varianza del estimador de la pendientee Entonces, una muestra mas grande debe reducir la varianza de dicho estimador Problema: la varianza del error, como parametro poblacional que es, es desconocida Free and Quick Translation of Anderson's slides

Estimanado la Varianza del Error No sabemos cual es la varianza del error, s2, porque no observamos los errores, ui Lo que observamos son los residuos, ûi Podemos usar los residuos para construir un estimador de la varianza de los errores Free and Quick Translation of Anderson's slides

Estimacion de la Varianza del Error (cont) Free and Quick Translation of Anderson's slides

Estimacion de la Varianza del Error (cont) Free and Quick Translation of Anderson's slides