Free and Quick translation of Prof. Anderson's slides1 Analisis de Regresion Multiple y =  0 +  1 x 1 +  2 x 2 +...  k x k + u 1. Estimacion.

Presentación del tema: "Free and Quick translation of Prof. Anderson's slides1 Analisis de Regresion Multiple y =  0 +  1 x 1 +  2 x 2 +...  k x k + u 1. Estimacion."— Transcripción de la presentación:

1 Free and Quick translation of Prof. Anderson's slides1 Analisis de Regresion Multiple y =  0 +  1 x 1 +  2 x 2 +...  k x k + u 1. Estimacion

2 Free and Quick translation of Prof. Anderson's slides2 Similitudes con la regresion simple  0 es todavia la constante  1 a  k son llamados pendientes u es todavia el termino error Seguimos necesitando suponer que cierta esperanza condicional es zero, asi ahora asumimos que E(u|x 1,x 2, …,x k ) = 0 Todavia minimizamos la suma de residuos al cuadrado, asi tenemos k+1 condiciones de primer orden

3 Free and Quick translation of Prof. Anderson's slides3 Interpretando el modelo de regresion multiple

4 Free and Quick translation of Prof. Anderson's slides4 Interpretacion via regresion particionada

5 Free and Quick translation of Prof. Anderson's slides5 Regresion particionada, cont La ecuacion previa implica que regresar y sobre x 1 y x 2 produce el mismo efecto de x 1 como regresar y sobre los residuos de la regresion de x 1 sobre x 2 Esto significa que solo la parte de x i1 que esta incorrelacionada con x i2 esta siendo relacionada con y i es decir, estamos estimando el fecto de x 1 sobre y despues de haber sacado fuera x 2

6 Free and Quick translation of Prof. Anderson's slides6 Simple vs Reg Multiple

7 Free and Quick translation of Prof. Anderson's slides7 Bondad del Ajuste

8 Free and Quick translation of Prof. Anderson's slides8 Bondad del Ajuste (cont) Como decidimos si el ajuste realizado por la recta de regresion lineal a los datos muestrales es bueno o malo? Podemos calcular la fraccion de la suma total de cuadrados (SCT) que es explicada por el modelo y llamar a esto el R-cuadrado de la regresion R 2 = SCE/SCT = 1 – SCE/SCT

9 Free and Quick translation of Prof. Anderson's slides9 Bondad de Ajuste (cont)

10 Free and Quick translation of Prof. Anderson's slides10 Mas sobre el R 2 R 2 no puede decrecer cuando se inlcuye otra variable independiente en la regresion, y generalmente aumentara Debido a que R 2 generalmente aumentara con el numero de variables independientes, no es una buena medida para comparar modelos

11 Free and Quick translation of Prof. Anderson's slides11 Supuestos para Insesgadez Modelo poblacional es lineal en los parametros: y =  0 +  1 x 1 +  2 x 2 +…+  k x k + u Podemos usar una muestra aleatoria de tamaño n, {(x i1, x i2,…, x ik, y i ): i=1, 2, …, n}, del modelo poblacional, tal que el modelo muestral es y i =  0 +  1 x i1 +  2 x i2 +…+  k x ik + u i E(u|x 1, x 2,… x k ) = 0, implicando que todas las variables explicativas son exogenas Ninguna de las x’s es constante, y no hay una relacion lineal exacta entre ellas

12 Free and Quick translation of Prof. Anderson's slides12 Muchas o Pocas Variables Que pasa si introducimos variables en nuestra especificacion que no pertenecen a ella? No hay efecto sobre nuestro parametro estimado, y MCO sigue siendo insesgado Y si excluimos una variable de nuestra especificacion a la que pertenece? MCO sera sesgado

13 Free and Quick translation of Prof. Anderson's slides13 Sesgo de Variable Omitida

14 Free and Quick translation of Prof. Anderson's slides14 Sesgo de Variable Omitida (cont)

15 Free and Quick translation of Prof. Anderson's slides15 Sesgo de Variable Omitida (cont)

16 Free and Quick translation of Prof. Anderson's slides16 Sesgo de Variable Omitida (cont)

17 Free and Quick translation of Prof. Anderson's slides17 Resumen de la Direccion del Sesgo Corr(x 1, x 2 ) > 0Corr(x 1, x 2 ) < 0  2 > 0 Sesgo PositivoSesgo Negativo  2 < 0 Sesgo NegativoSesgo Positivo

18 Free and Quick translation of Prof. Anderson's slides18 Resumen del Sesgo de Variable Omitida Dos casos donde el sesgo es zero  2 = 0, es decir x 2 no pertenece al modelo x 1 y x 2 estan incorrelacionadas en la muestra Si la correlacion entre (x 2, x 1 ) y (x 2, y) va en la misma direccion, el sesgo sera positivo Si la correlacion entre (x 2, x 1 ) y (x 2, y) va en direccion opuesta, el sesgo sera negativo

19 Free and Quick translation of Prof. Anderson's slides19 El Caso mas General Tecnicamente solo podemos aignarle un signo al sesgo en el caso mas general si todas las variables x’s estan incorrelacionadas Tipicamente analizaremos el sesgo asumiendo que x’s estan incorrelacionadas como una guia util aunque este supuesto no sea cierto

20 Free and Quick translation of Prof. Anderson's slides20 Varianza de los Estimadores MCO Ahora ya sabemos que la distribucion muestral de nuestro estimador esta centrada alrededor del verdadero valor del parametro Como es esa distribucion? Mas facil pensar sobre la varianza de la distribucion si asumimos Var(u|x 1, x 2,…, x k ) =  2 (Homocedasticidad)

21 Free and Quick translation of Prof. Anderson's slides21 Varianza de MCO (cont) Supongamos que x representa a (x 1, x 2,…x k ) Si Var(u|x) =  2 entonces Var(y| x) =  2 Los 4 supuestos para insesgadez, mas este de homocedasticidad son conocidos como los supuestos del teorema de Gauss-Markov

22 Free and Quick translation of Prof. Anderson's slides22 Varianza de MCO (cont)

23 Free and Quick translation of Prof. Anderson's slides23 Componentes de las varianzas de MCO La varianza del error: cuanto mas grande sea  2, mas grande es la varianza de los estimadores MCO La variacion total: cuanto mas grande sea STC mas pequeña sera la varianza de los estimadores MCO Relacion lineal entre los regresores: cuanto mas grande sea R j 2 mas grande sera la varianza de los estimadores de MCO

24 Free and Quick translation of Prof. Anderson's slides24 Modelos Mal-especificados

25 Free and Quick translation of Prof. Anderson's slides25 Modelos Mal-especificados (cont) Mientras la varianza del estimador es menor en el modelo incorrecto, al menos que  2 = 0 el modelo mal-especificado esta sesgado Cuando el tamaño muestral crece, la varianza de cada estimador va hacia zero, convirtiendo el tema de las diferencias en varianzas en algo menos importante

26 Free and Quick translation of Prof. Anderson's slides26 Estimando la Varianza del Error  2 es desconocida porque no observamos los errores, u i Lo que observamos son los residuos, û i Podemos usar los residuos para estimar la varianza del error

27 Free and Quick translation of Prof. Anderson's slides27 Estimacion de la Varianza del Error (cont) gl = n – (k + 1), o gl = n – k – 1 gl (i.e. grados de libertad) es el (numero de observaciones) – (numero de parametros estimados)

28 Free and Quick translation of Prof. Anderson's slides28 Teorema de Gauss-Markov Dado nuestros 5 supuestos de Gauss-Markov se puede mostrar que MCO es “ELIO” Estimador Lineal Insesgado Optimo (minima varianza) Lea esto de forma correcta: Entre todos los estimadores lineales en y, e insesgados es el estimador de minima varianza