Modelo de Regresión Lineal Simple

Modelo de Regresión Lineal Simple
y = b0 + b1x + u Free and Quick Translation of Anderson's slides

Free and Quick Translation of Anderson's slides
Terminologia En el modelo de regresión lineal simple,donde y = b0 + b1x + u, tipicamente nos referimos a y como la Variable Dependiente, o Variable de la Izquierda, o Variable Explicada, o Regresando Free and Quick Translation of Anderson's slides

Terminologia, cont. En el modelo de regresión lineal simple de y sobre x, tipicamente nos referimos a x como Variable Independiente, o Variable de la Derecha, o Variable Explicativa, o Regresor, o Covariable, o Variables de Control Free and Quick Translation of Anderson's slides

Un Supuesto Simple La media de u, el termino de error, en la poblacion es 0. Esto es, E(u) = 0 Este no es un supuesto restrictivo ya que siempre se pueda usar b0 para normalizar E(u) a 0 Free and Quick Translation of Anderson's slides

Zero Esperanza Condicional
Tenemos que hacer un supuesto crucial sobre como u y x estan relacionadas Queremos que sea el caso de que conocer algo sobre x no nos de informacion a cerca de u, es decir que ellos estan totalmente no-relacionados. Esto es, que E(u|x) = E(u) = 0, lo que implica E(y|x) = b0 + b1x Free and Quick Translation of Anderson's slides

E(y|x) como funcion lineal de x, donde para cada x la distribucion de y esta centrada alrededor de E(y|x) y f(y) . E(y|x) = b0 + b1x . x1 x2 Free and Quick Translation of Anderson's slides

Minimos Cuadrados Ordinarios
La idea basica de la regresion es estimar los parametros poblacionales desde una muestra Sea {(xi,yi): i=1, …,n} una muestra aleatoria de tamaño n de una poblacion Para cada observacion en esta muestra, sera el caso que yi = b0 + b1xi + ui Free and Quick Translation of Anderson's slides

Recta de Regresión lineal, puntos de la muestra y los terminos de error asociados y E(y|x) = b0 + b1x . y4 u4 { . y3 u3 } . y2 u2 { u1 . y1 } x1 x2 x3 x4 x Free and Quick Translation of Anderson's slides

Derivando los estimadores MCO
Para derivar las estimaciones MCO debemos darnos cuenta que nuestro supuesto principal de E(u|x) = E(u) = 0 tambien implica que Cov(x,u) = E(xu) = 0 Por que? Recuerda que Cov(X,Y) = E(XY) – E(X)E(Y) Free and Quick Translation of Anderson's slides

Derivando MCO, cont. Tenemos 2 restriciones en termino de x, y, b0 y b1 , ya que u = y – b0 – b1x E(y – b0 – b1x) = 0 E[x(y – b0 – b1x)] = 0 Esto se llama restriciones de momentos Free and Quick Translation of Anderson's slides

Derivando MCO usando el metodo de los momentos
El metodo de los momentos consiste en imponer las restriciones de los momentos poblaciones en la muestra Que significa esto? Recordad que para E(X), la media de la distribucion poblacional, un estimador simple de E(X) es simplemente la media aritmetica de las observaciones muestrales Free and Quick Translation of Anderson's slides

Mas sobre la Derivacion de MCO
Queremos elegir los valores de los parametros que nos aseguran que la version muestral de las restriciones de momentos poblaciones son ciertas La version muestral es: Free and Quick Translation of Anderson's slides

Mas sobre la derivacion de MCO
Dada la definicion de media muestral, y las propiedades del operador suma, la primera condicion se puede escribir como Free and Quick Translation of Anderson's slides

Mas sobre la derivacion de MCO
Free and Quick Translation of Anderson's slides

Llegamos a que la estimacion MCO de la pendiente es:

Resumen sobre la pendiente estimada por MCO
La pendiente estimada es la covarianza muestral entre x e y divida por la varianza muestral de x Si x e y estan positivamente correlacionadas, la pendiente sera positiva Si x e y estan negativamente correlacionadas, la pendiente sera negativa Solo se necesita que varie x en nuestra muestra Free and Quick Translation of Anderson's slides

Mas sobre MCO Intuitivamente, MCO esta ajustando una linea recta a traves de los puntos muestrales tal que la suma de los residuos al cuadrado sea tan pequeña como se pueda, de ahi el nombre de Minimos Cuadrados El residuo, û, es una estimacion del termino error, u, y es la diferencia entre la recta ajustada (recta de regresion muestral) y el punto u observacion muestral Free and Quick Translation of Anderson's slides

Recta regresion muestral, datos muestrales y los residuos asociados y . y4 { û4 . y3 } û3 . y2 û2 { û1 . } y1 x1 x2 x3 x4 x Free and Quick Translation of Anderson's slides

Metodo alternativo de la derivacion de MCO
Dada la idea intuitiva de ajustar una recta, podemos establecer un problema de minimizacion Esto es, queremos elegir las estimaciones de los parametros que minimizen la siguiente funcion: Free and Quick Translation of Anderson's slides

Metodo alternativo, cont
Usando el calculo que habeis aprendido para minimizar una funcion, se obtienen como condiciones de primer orden las que ya obtuvisteis antes con el otro metodo, esta vez multiplicadas por n Free and Quick Translation of Anderson's slides

Propiedades alerbraicas de MCO
La suma de los residuos MCO es zero Entonces la media muestral de los residuos MCO es zero tambien La covarianza muestral entre los regresores y los residuos MCO es zero La linea de regresion MCO SIEMPRE pasa a traves de la media de la muestra Free and Quick Translation of Anderson's slides

De forma precisa Free and Quick Translation of Anderson's slides

Mas terminologia Free and Quick Translation of Anderson's slides

Prueba de que SCT = SCE + SCR

Medidas de Ajuste Como podemos medir que bien o que mal ajusta nuestra recta de regresion a los datos muestrales? Podemos medir la fraccion de la SCT que viene explicada por el modelo, y llamarla R-cuadrado de la regresion R2 = SCE/SCT = 1 – SCE/SCT Free and Quick Translation of Anderson's slides

Insesgadez de MCO Asume que el modelo poblaciones es lineal en los parametros y = b0 + b1x + u Asume que tenemos una muestra aleatoria de tamaño n, {(xi, yi): i=1, 2, …, n}, del modelo poblacional. Entonces podemos escribir el modelo muestral yi = b0 + b1xi + ui Asume E(u|x) = 0 y entonces E(ui|xi) = 0 Asume que hay variacion en las xi Free and Quick Translation of Anderson's slides

Insesgadez de MCO (cont)
Para pensar en la insesgadez, necesitamos re-escribir nuestros estimadores en terminos de los parametros poblacionales Comencemos re-escribiendo la formula para el estimador de la pendiente Free and Quick Translation of Anderson's slides

Insesgadez de MCO (cont)

Resumen de la Insesgadez
Los estimadores MCO de b1 y b0 son insesgados La prueba de insesgadez depende de nuestros 4 supuestos. Si alguno falla entonces MCO puede no ser insesgado Recuerda que insesgadez es una descripcion del estimador – en una muestra dada podemos estar “cerca” o “lejos” del verdadero valor del parametro Free and Quick Translation of Anderson's slides

Varianza de los estimadores MCO
Ahora sabemos que la distribucion muestral de nuestros estimadores esta centrada alrededor del verdadero parametro Queremos pensar sobre la dispersion de esta distribucion Esto es mas facil con el siguiente supuesto adicional Asume Var(u|x) = s2 (Homocedasticidad) Free and Quick Translation of Anderson's slides

Varianza de MCO (cont) Var(u|x) = E(u2|x)-[E(u|x)]2 E(u|x) = 0, asi que s2 = E(u2|x) = E(u2) = Var(u) Entonces s2 es tambien la varianza incondicional, llamada varianza del error s, la raiz cuadrada de la varianza se le llama la desviacion tipica del error Podemos decir: E(y|x)=b0 + b1x y Var(y|x) = s2 Free and Quick Translation of Anderson's slides

Caso Homocedastico y f(y|x) . E(y|x) = b0 + b1x . x1 x2 Free and Quick Translation of Anderson's slides

Caso Heterocedastico f(y|x) y . . E(y|x) = b0 + b1x . x1 x2 x3 x Free and Quick Translation of Anderson's slides

Varianza de MCO (cont) Free and Quick Translation of Anderson's slides

Resumen varianza de MCO
Cuanto mas grande sea la varianza del error, s2, mas grande es la varianza del estimador de la pendiente poblacional Cuanto mas grande sea la variabilidad en las xi, mas pequeño sera la varianza del estimador de la pendientee Entonces, una muestra mas grande debe reducir la varianza de dicho estimador Problema: la varianza del error, como parametro poblacional que es, es desconocida Free and Quick Translation of Anderson's slides

Estimanado la Varianza del Error
No sabemos cual es la varianza del error, s2, porque no observamos los errores, ui Lo que observamos son los residuos, ûi Podemos usar los residuos para construir un estimador de la varianza de los errores Free and Quick Translation of Anderson's slides

Estimacion de la Varianza del Error (cont)

Modelo de Regresión Lineal Simple

Presentaciones similares

Presentación del tema: "Modelo de Regresión Lineal Simple"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

Modelo de Regresión Lineal Simple

Presentaciones similares

Presentación del tema: "Modelo de Regresión Lineal Simple"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback