Free and Quick Translation of Anderson's slides1 Modelo de Regresión Lineal Simple y =  0 +  1 x + u.

Presentación del tema: "Free and Quick Translation of Anderson's slides1 Modelo de Regresión Lineal Simple y =  0 +  1 x + u."— Transcripción de la presentación:

1 Free and Quick Translation of Anderson's slides1 Modelo de Regresión Lineal Simple y =  0 +  1 x + u

2 Free and Quick Translation of Anderson's slides2 Terminologia En el modelo de regresión lineal simple,donde y =  0 +  1 x + u, tipicamente nos referimos a y como la Variable Dependiente, o Variable de la Izquierda, o Variable Explicada, o Regresando

3 Free and Quick Translation of Anderson's slides3 Terminologia, cont. En el modelo de regresión lineal simple de y sobre x, tipicamente nos referimos a x como Variable Independiente, o Variable de la Derecha, o Variable Explicativa, o Regresor, o Covariable, o Variables de Control

4 Free and Quick Translation of Anderson's slides4 Un Supuesto Simple La media de u, el termino de error, en la poblacion es 0. Esto es, E(u) = 0 Este no es un supuesto restrictivo ya que siempre se pueda usar  0 para normalizar E(u) a 0

5 Free and Quick Translation of Anderson's slides5 Zero Esperanza Condicional Tenemos que hacer un supuesto crucial sobre como u y x estan relacionadas Queremos que sea el caso de que conocer algo sobre x no nos de informacion a cerca de u, es decir que ellos estan totalmente no- relacionados. Esto es, que E(u|x) = E(u) = 0, lo que implica E(y|x) =  0 +  1 x

6 Free and Quick Translation of Anderson's slides6.. x1x1 x2x2 E(y|x) como funcion lineal de x, donde para cada x la distribucion de y esta centrada alrededor de E(y|x) E(y|x) =  0 +  1 x y f(y)

7 Free and Quick Translation of Anderson's slides7 Minimos Cuadrados Ordinarios La idea basica de la regresion es estimar los parametros poblacionales desde una muestra Sea {(x i,y i ): i=1, …,n} una muestra aleatoria de tamaño n de una poblacion Para cada observacion en esta muestra, sera el caso que y i =  0 +  1 x i + u i

8 Free and Quick Translation of Anderson's slides8.... y4y4 y1y1 y2y2 y3y3 x1x1 x2x2 x3x3 x4x4 } } { { u1u1 u2u2 u3u3 u4u4 x y Recta de Regresión lineal, puntos de la muestra y los terminos de error asociados E(y|x) =  0 +  1 x

9 Free and Quick Translation of Anderson's slides9 Derivando los estimadores MCO Para derivar las estimaciones MCO debemos darnos cuenta que nuestro supuesto principal de E(u|x) = E(u) = 0 tambien implica que Cov(x,u) = E(xu) = 0 Por que? Recuerda que Cov(X,Y) = E(XY) – E(X)E(Y)

10 Free and Quick Translation of Anderson's slides10 Derivando MCO, cont. Tenemos 2 restriciones en termino de x, y,  0 y  , ya que u = y –  0 –  1 x E(y –  0 –  1 x) = 0 E[x(y –  0 –  1 x)] = 0 Esto se llama restriciones de momentos

11 Free and Quick Translation of Anderson's slides11 Derivando MCO usando el metodo de los momentos El metodo de los momentos consiste en imponer las restriciones de los momentos poblaciones en la muestra Que significa esto? Recordad que para E(X), la media de la distribucion poblacional, un estimador simple de E(X) es simplemente la media aritmetica de las observaciones muestrales

12 Free and Quick Translation of Anderson's slides12 Mas sobre la Derivacion de MCO Queremos elegir los valores de los parametros que nos aseguran que la version muestral de las restriciones de momentos poblaciones son ciertas La version muestral es:

13 Free and Quick Translation of Anderson's slides13 Mas sobre la derivacion de MCO Dada la definicion de media muestral, y las propiedades del operador suma, la primera condicion se puede escribir como

14 Free and Quick Translation of Anderson's slides14 Mas sobre la derivacion de MCO

15 Free and Quick Translation of Anderson's slides15 Llegamos a que la estimacion MCO de la pendiente es:

16 Free and Quick Translation of Anderson's slides16 Resumen sobre la pendiente estimada por MCO La pendiente estimada es la covarianza muestral entre x e y divida por la varianza muestral de x Si x e y estan positivamente correlacionadas, la pendiente sera positiva Si x e y estan negativamente correlacionadas, la pendiente sera negativa Solo se necesita que varie x en nuestra muestra

17 Free and Quick Translation of Anderson's slides17 Mas sobre MCO Intuitivamente, MCO esta ajustando una linea recta a traves de los puntos muestrales tal que la suma de los residuos al cuadrado sea tan pequeña como se pueda, de ahi el nombre de Minimos Cuadrados El residuo, û, es una estimacion del termino error, u, y es la diferencia entre la recta ajustada (recta de regresion muestral) y el punto u observacion muestral

18 Free and Quick Translation of Anderson's slides18.... y4y4 y1y1 y2y2 y3y3 x1x1 x2x2 x3x3 x4x4 } } { { û1û1 û2û2 û3û3 û4û4 x y Recta regresion muestral, datos muestrales y los residuos asociados

19 Free and Quick Translation of Anderson's slides19 Metodo alternativo de la derivacion de MCO Dada la idea intuitiva de ajustar una recta, podemos establecer un problema de minimizacion Esto es, queremos elegir las estimaciones de los parametros que minimizen la siguiente funcion:

20 Free and Quick Translation of Anderson's slides20 Metodo alternativo, cont Usando el calculo que habeis aprendido para minimizar una funcion, se obtienen como condiciones de primer orden las que ya obtuvisteis antes con el otro metodo, esta vez multiplicadas por n

21 Free and Quick Translation of Anderson's slides21 Propiedades alerbraicas de MCO La suma de los residuos MCO es zero Entonces la media muestral de los residuos MCO es zero tambien La covarianza muestral entre los regresores y los residuos MCO es zero La linea de regresion MCO SIEMPRE pasa a traves de la media de la muestra

22 Free and Quick Translation of Anderson's slides22 De forma precisa

23 Free and Quick Translation of Anderson's slides23 Mas terminologia

24 Free and Quick Translation of Anderson's slides24 Prueba de que SCT = SCE + SCR

25 Free and Quick Translation of Anderson's slides25 Medidas de Ajuste Como podemos medir que bien o que mal ajusta nuestra recta de regresion a los datos muestrales? Podemos medir la fraccion de la SCT que viene explicada por el modelo, y llamarla R-cuadrado de la regresion R 2 = SCE/SCT = 1 – SCE/SCT

26 Free and Quick Translation of Anderson's slides26 Insesgadez de MCO Asume que el modelo poblaciones es lineal en los parametros y =  0 +  1 x + u Asume que tenemos una muestra aleatoria de tamaño n, {(x i, y i ): i=1, 2, …, n}, del modelo poblacional. Entonces podemos escribir el modelo muestral y i =  0 +  1 x i + u i Asume E(u|x) = 0 y entonces E(u i |x i ) = 0 Asume que hay variacion en las x i

27 Free and Quick Translation of Anderson's slides27 Insesgadez de MCO (cont) Para pensar en la insesgadez, necesitamos re- escribir nuestros estimadores en terminos de los parametros poblacionales Comencemos re-escribiendo la formula para el estimador de la pendiente

28 Free and Quick Translation of Anderson's slides28 Insesgadez de MCO (cont)

29 Free and Quick Translation of Anderson's slides29 Insesgadez de MCO (cont)

30 Free and Quick Translation of Anderson's slides30 Insesgadez de MCO (cont)

31 Free and Quick Translation of Anderson's slides31 Resumen de la Insesgadez Los estimadores MCO de  1 y  0 son insesgados La prueba de insesgadez depende de nuestros 4 supuestos. Si alguno falla entonces MCO puede no ser insesgado Recuerda que insesgadez es una descripcion del estimador – en una muestra dada podemos estar “cerca” o “lejos” del verdadero valor del parametro

32 Free and Quick Translation of Anderson's slides32 Varianza de los estimadores MCO Ahora sabemos que la distribucion muestral de nuestros estimadores esta centrada alrededor del verdadero parametro Queremos pensar sobre la dispersion de esta distribucion Esto es mas facil con el siguiente supuesto adicional Asume Var(u|x) =  2 (Homocedasticidad)

33 Free and Quick Translation of Anderson's slides33 Varianza de MCO (cont) Var(u|x) = E(u 2 |x)-[E(u|x)] 2 E(u|x) = 0, asi que  2 = E(u 2 |x) = E(u 2 ) = Var(u) Entonces  2 es tambien la varianza incondicional, llamada varianza del error , la raiz cuadrada de la varianza se le llama la desviacion tipica del error Podemos decir: E(y|x)=  0 +  1 x y Var(y|x) =  2

34 Free and Quick Translation of Anderson's slides34.. x1x1 x2x2 Caso Homocedastico E(y|x) =  0 +  1 x y f(y|x)

35 Free and Quick Translation of Anderson's slides35. xx1x1 x2x2 y f(y|x) Caso Heterocedastico x3x3.. E(y|x) =  0 +  1 x

36 Free and Quick Translation of Anderson's slides36 Varianza de MCO (cont)

37 Free and Quick Translation of Anderson's slides37 Resumen varianza de MCO Cuanto mas grande sea la varianza del error,  2, mas grande es la varianza del estimador de la pendiente poblacional Cuanto mas grande sea la variabilidad en las x i, mas pequeño sera la varianza del estimador de la pendientee Entonces, una muestra mas grande debe reducir la varianza de dicho estimador Problema: la varianza del error, como parametro poblacional que es, es desconocida

38 Free and Quick Translation of Anderson's slides38 Estimanado la Varianza del Error No sabemos cual es la varianza del error,  2, porque no observamos los errores, u i Lo que observamos son los residuos, û i Podemos usar los residuos para construir un estimador de la varianza de los errores

39 Free and Quick Translation of Anderson's slides39 Estimacion de la Varianza del Error (cont)

40 Free and Quick Translation of Anderson's slides40 Estimacion de la Varianza del Error (cont)