Analisis de Regresion Multiple y = b0 + b1x1 + b2x2 + . . . bkxk + u 1. Estimacion Free and Quick translation of Prof. Anderson's slides

Similitudes con la regresion simple b0 es todavia la constante b1 a bk son llamados pendientes u es todavia el termino error Seguimos necesitando suponer que cierta esperanza condicional es zero, asi ahora asumimos que E(u|x1,x2, …,xk) = 0 Todavia minimizamos la suma de residuos al cuadrado, asi tenemos k+1 condiciones de primer orden Free and Quick translation of Prof. Anderson's slides

Interpretando el modelo de regresion multiple Free and Quick translation of Prof. Anderson's slides

Interpretacion via regresion particionada Free and Quick translation of Prof. Anderson's slides

Regresion particionada, cont La ecuacion previa implica que regresar y sobre x1 y x2 produce el mismo efecto de x1 como regresar y sobre los residuos de la regresion de x1 sobre x2 Esto significa que solo la parte de xi1 que esta incorrelacionada con xi2 esta siendo relacionada con yi es decir, estamos estimando el fecto de x1 sobre y despues de haber sacado fuera x2 Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides Simple vs Reg Multiple Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides Bondad del Ajuste Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides Bondad del Ajuste (cont) Como decidimos si el ajuste realizado por la recta de regresion lineal a los datos muestrales es bueno o malo? Podemos calcular la fraccion de la suma total de cuadrados (SCT) que es explicada por el modelo y llamar a esto el R-cuadrado de la regresion R2 = SCE/SCT = 1 – SCE/SCT Free and Quick translation of Prof. Anderson's slides

Bondad de Ajuste (cont) Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides Mas sobre el R2 R2 no puede decrecer cuando se inlcuye otra variable independiente en la regresion, y generalmente aumentara Debido a que R2 generalmente aumentara con el numero de variables independientes, no es una buena medida para comparar modelos Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides Supuestos para Insesgadez Modelo poblacional es lineal en los parametros: y = b0 + b1x1 + b2x2 +…+ bkxk + u Podemos usar una muestra aleatoria de tamaño n, {(xi1, xi2,…, xik, yi): i=1, 2, …, n}, del modelo poblacional, tal que el modelo muestral es yi = b0 + b1xi1 + b2xi2 +…+ bkxik + ui E(u|x1, x2,… xk) = 0, implicando que todas las variables explicativas son exogenas Ninguna de las x’s es constante, y no hay una relacion lineal exacta entre ellas Free and Quick translation of Prof. Anderson's slides

Muchas o Pocas Variables Que pasa si introducimos variables en nuestra especificacion que no pertenecen a ella? No hay efecto sobre nuestro parametro estimado, y MCO sigue siendo insesgado Y si excluimos una variable de nuestra especificacion a la que pertenece? MCO sera sesgado Free and Quick translation of Prof. Anderson's slides

Sesgo de Variable Omitida Free and Quick translation of Prof. Anderson's slides

Sesgo de Variable Omitida (cont) Free and Quick translation of Prof. Anderson's slides

Sesgo de Variable Omitida (cont) Free and Quick translation of Prof. Anderson's slides

Sesgo de Variable Omitida (cont) Free and Quick translation of Prof. Anderson's slides

Resumen de la Direccion del Sesgo Corr(x1, x2) > 0 Corr(x1, x2) < 0 b2 > 0 Sesgo Positivo Sesgo Negativo b2 < 0 Free and Quick translation of Prof. Anderson's slides

Resumen del Sesgo de Variable Omitida Dos casos donde el sesgo es zero b2 = 0, es decir x2 no pertenece al modelo x1 y x2 estan incorrelacionadas en la muestra Si la correlacion entre (x2 , x1) y (x2 , y) va en la misma direccion, el sesgo sera positivo Si la correlacion entre (x2 , x1 ) y (x2 , y) va en direccion opuesta, el sesgo sera negativo Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides El Caso mas General Tecnicamente solo podemos aignarle un signo al sesgo en el caso mas general si todas las variables x’s estan incorrelacionadas Tipicamente analizaremos el sesgo asumiendo que x’s estan incorrelacionadas como una guia util aunque este supuesto no sea cierto Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides Varianza de los Estimadores MCO Ahora ya sabemos que la distribucion muestral de nuestro estimador esta centrada alrededor del verdadero valor del parametro Como es esa distribucion? Mas facil pensar sobre la varianza de la distribucion si asumimos Var(u|x1, x2,…, xk) = s2 (Homocedasticidad) Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides Varianza de MCO (cont) Supongamos que x representa a (x1, x2,…xk) Si Var(u|x) = s2 entonces Var(y| x) = s2 Los 4 supuestos para insesgadez, mas este de homocedasticidad son conocidos como los supuestos del teorema de Gauss-Markov Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides Varianza de MCO (cont) Free and Quick translation of Prof. Anderson's slides

Componentes de las varianzas de MCO La varianza del error: cuanto mas grande sea s2 , mas grande es la varianza de los estimadores MCO La variacion total: cuanto mas grande sea STC mas pequeña sera la varianza de los estimadores MCO Relacion lineal entre los regresores: cuanto mas grande sea Rj2 mas grande sera la varianza de los estimadores de MCO Free and Quick translation of Prof. Anderson's slides

Modelos Mal-especificados Free and Quick translation of Prof. Anderson's slides

Modelos Mal-especificados (cont) Mientras la varianza del estimador es menor en el modelo incorrecto, al menos que b2 = 0 el modelo mal-especificado esta sesgado Cuando el tamaño muestral crece, la varianza de cada estimador va hacia zero, convirtiendo el tema de las diferencias en varianzas en algo menos importante Free and Quick translation of Prof. Anderson's slides

Free and Quick translation of Prof. Anderson's slides Estimando la Varianza del Error s2 es desconocida porque no observamos los errores, ui Lo que observamos son los residuos, ûi Podemos usar los residuos para estimar la varianza del error Free and Quick translation of Prof. Anderson's slides

Estimacion de la Varianza del Error (cont) gl = n – (k + 1), o gl = n – k – 1 gl (i.e. grados de libertad) es el (numero de observaciones) – (numero de parametros estimados) Free and Quick translation of Prof. Anderson's slides

Teorema de Gauss-Markov Dado nuestros 5 supuestos de Gauss-Markov se puede mostrar que MCO es “ELIO” Estimador Lineal Insesgado Optimo (minima varianza) Lea esto de forma correcta: Entre todos los estimadores lineales en y, e insesgados es el estimador de minima varianza Free and Quick translation of Prof. Anderson's slides