Free and Quick Translation of Anderson´s slides1 Analisis de Regresión Multiple y =  0 +  1 x 1 +  2 x 2 +...  k x k + u 2. Inferencia.

Presentación del tema: "Free and Quick Translation of Anderson´s slides1 Analisis de Regresión Multiple y =  0 +  1 x 1 +  2 x 2 +...  k x k + u 2. Inferencia."— Transcripción de la presentación:

1 Free and Quick Translation of Anderson´s slides1 Analisis de Regresión Multiple y =  0 +  1 x 1 +  2 x 2 +...  k x k + u 2. Inferencia

2 Free and Quick Translation of Anderson´s slides2 Supuesto del Modelo Lineal Clasico (MLC) Hasta ahora sabemos que dado los supuestos del Teorema de Gauss-Markov, MCO is ELIO Si queremos hacer contrastes de hipotesis tenemos que añadir otros supuestos (ademas de los de Gauss-Markov) Asumimos que u es independiente de x 1, x 2,…, x k y que u se distribuye normalmente con media zero y varianza  2 : u ~ Normal(0,  2 )

3 Free and Quick Translation of Anderson´s slides3 Supuestos MLC (cont) Bajo estos supuestos MLC, MCO no solo es ELIO sino que es el estimador insesgado de minima varianza (y antes que era???) Podemos resumir los supuestos poblacionales del MLC como sigue y|x ~ Normal(  0 +  1 x 1 +…+  k x k,  2 ) Por ahora asumiremos normalidad aunque tiene que quedar claro que esto no sera siempre asi Normalidad no nos preocupara cuando tengamos grandes muestras

4 Free and Quick Translation of Anderson´s slides4.. x1x1 x2x2 Distribucion normal homocedastica con una sola variable explicativa E(y|x) =  0 +  1 x y f(y|x) Distribuciones Normales

5 Free and Quick Translation of Anderson´s slides5 Distribuciones Muestrales Normales

6 Free and Quick Translation of Anderson´s slides6 El Contraste t

7 Free and Quick Translation of Anderson´s slides7 El Contraste t (cont) El conocer la distribucion muestral del estimador estandarizado nos permite realizar contrastes de hipotesis Comnezamos por la hipotesis nula Por ejemplo, H 0 :  j =0 Si aceptamos la nula, entonces aceptamos que x j no tiene efecto sobre la y, controlando por otras x’s

8 Free and Quick Translation of Anderson´s slides8 El Contraste t (cont)

9 Free and Quick Translation of Anderson´s slides9 Contraste t : Alternativas de un lado Ademas de nuestra nula, H 0, necesitamos una hipotesis alternativa, H 1, y un nivel de significatividad H 1 puede ser de un lado o de dos H 1 :  j > 0 y H 1 :  j < 0 son de un lado H 1 :  j  0 es de dos lados Si queremos solo tener un 5% de probabilidad de rechazar H 0 cuando es cierta, entonces decimos que el nivel de significatividad es del 5%

10 Free and Quick Translation of Anderson´s slides10 Alternativas de un solo lado (cont) Habiendo elegido un nivel de significatividad, , miramos al percentil del (1 –  ) th en la distribucion t con n – k – 1 gl y le llamamos c, valor critico Rechazamos la hipotesis nula si el estadistico t es mayor que el valor critico Si el estadistico t es menos que el valor critico entonces fallamos recahazar la hipotesis nula

11 Free and Quick Translation of Anderson´s slides11 y i =  0 +  1 x i1 + … +  k x ik + u i H 0 :  j = 0 H 1 :  j > 0 c 0   Alternativas de un lado (cont) Fallamos rechazar rechazamos

12 Free and Quick Translation of Anderson´s slides12 Un lado vs Dos lados Debido a que la distribucion t es simetrica, contrastar H 1 :  j < 0 es obvio. El valor critico es justamente el negativo de antes Podemos rechazr la hula si el estadisticos t que –c entonces fallamos rechazar la nula Para un contraste de dos lados, establecemos el valor critico en base a  /2 y rechazamos H 1 :  j  0 si el valor absoluto del estadistico t > c

13 Free and Quick Translation of Anderson´s slides13 y i =  0 +  1 X i1 + … +  k X ik + u i H 0 :  j = 0 H 1 :  j > 0 c 0   -c  Alternativas de Dos lados rechazamos fallamos el rechazar

14 Free and Quick Translation of Anderson´s slides14 Resumen para H 0 :  j = 0 Al no ser que se diga algo en contra, la hipotesis alternativa siempre se asume que es de dos lados Si rechazamos la nula, decimos que “x j es estadisticamente significativa al nivel  % ” Si fallamos en rechazar la nula, diremos “x j es estadisticamente no significativa al nivel  % ”

15 Free and Quick Translation of Anderson´s slides15 Contrastando otras hipotesis Un contraste un poco mas general es H 0 :  j = a j En este cado el estadistico t apropiado es

16 Free and Quick Translation of Anderson´s slides16 Intervalos de Confianza Otra forma de realizar contraste de hipotesis es construyendo intervalos de confianza usando los mismo valores criticos que para el contraste de dos lados Un intervalo de confianza al (1 -  ) % se define como

17 Free and Quick Translation of Anderson´s slides17 Calculando p-valores para los contrastes t Una alternativa al enfoque clasico es preguntarse, “cual es el nivel de significatividad mas pequeño al cual la hipotesis nula se rechaza?” Calcula el estadistico t, y mira el percentile que le corresponde en la distribucion t – ese es el p- valor p-valor es la probabilidad de que nosotros observasemos un estadistico t como el que tenemos, si la nula fuera cierta

18 Free and Quick Translation of Anderson´s slides18 Contrastando una combinacion lineal Supongamos que en vez de estar interesado en contrastar que  1 es igual a una constante, queremos contrastar si es igual a otro parametro del modelo, es decir que H 0 :  1 =  2 Usando el mismo procedimiento que antes nos construimos el estadistico t

19 Free and Quick Translation of Anderson´s slides19 Contrastando Combinaciones Lineales (cont)

20 Free and Quick Translation of Anderson´s slides20 Ejemplo: Supongamos que estas interesado en el efecto de los gastos de una campaña politica en el resultado electoral El Modelo es voteA =  0 +  1 log(expendA) +  2 log(expendB) +  3 partystrA + u H 0 :  1 = -  2, o H 0 :  1 =  1 +  2 = 0  1 =  1 –  2, sustituyendo y reordenando  voteA =  0 +  1 log(expendA) +  2 log(expendB - expendA) +  3 partystrA + u

21 Free and Quick Translation of Anderson´s slides21 Ejemplo (cont): Este es el mismo modelo que el original; pero ahora tenemos de forma automatica el error estandard de  1 –  2 =  1 Cualquier combinacion lineal de los parametros se puede contrastar en la misma forma Otros ejemplos de combinaciones lineales de parametros:  1 = 1 +  2 ;  1 = 5  2 ;  1 = -1/2  2 ; etc

22 Free and Quick Translation of Anderson´s slides22 Restricciones Lineales Multiples Todo lo que hemos hecho hasta ahora solamente ha tenido que ver con una restriccion lineal, (e.g.  1 =  or  1 =  2 ) Sin embargo, podemos estar interesados en contrastar varias hipotesis a la vez sobre nuestros parametros Un ejemplo tipico son las “restricciones de exclusion” – queremos saber si un grupo de parametros son todos iguales a zero

23 Free and Quick Translation of Anderson´s slides23 Contrastando Restricciones de Exclusion Ahora la hipotesis nula es algo similar a H 0 :  k-q+1 = 0, ,  k = 0 La alternativa es H 1 : H 0 no es cierta No podemos contrastar cada parametro separadamente con un contraste de la t para cada uno, porque queremos saber si los q parametros conjuntamente son significativos a un nivel dado (es hasta posible que todos son individualmente significativos a ese nivel)

24 Free and Quick Translation of Anderson´s slides24 Restricciones de Exclusion (cont) Para contrastar la hipotesis anterior necesitamos estimar tanto el “modelo restringido” sin incluir x k-q+1,, …, x k, como el “modelo sin restringir” with todas la variables x’s incluidas Intuitivamente queremos saber si el cambio en la SCR is lo suficientemente grande como para garnatizar la inclusion de x k-q+1,, …, x k

25 Free and Quick Translation of Anderson´s slides25 El contraste F El estadistico F es siempre positivo, ya que, the SCR del modelo restringido no puede ser menor que el SCR del modelo sin restringir El estadistico F esta midiendo el incremento relativo en la SCR cuando nos movemos del modelo sin restringir al modelo restringido q = numero de restricciones, como df R – df NR n – k – 1 = df NR

26 Free and Quick Translation of Anderson´s slides26 El Contraste F (cont) Para decidir si el incremento en SCR cuando nos movemos hacia el modelo restringido es “suficientemente grande” para rechazar las exclusiones, necesitamos saber la distribucion muestral de nuestro estadistico F Como era de esperar, F ~ F q,n-k-1, donde q es el numero de grados de libertad del numerador y n – k – 1 son los grados de libertad del numerador

27 Free and Quick Translation of Anderson´s slides27 0 c   f( F ) F El Contraste F (cont) rechazar fallar rechazar Rechazar H 0 al nivel de significatividad  si F > c

28 Free and Quick Translation of Anderson´s slides28 El estadistico F usando R 2 Usando el hecho de que SCR = SCT(1 – R 2 ) para cualquier regresion, asi podemos sustituir SSR R y SSR NR

29 Free and Quick Translation of Anderson´s slides29 Significatividad Global Un caso especial de restricciones de exclusion es el contraste H 0 :  1 =  2 =…=  k = 0 Ya que el R 2 de un modelo con solo la constante es zero, el estadistico F se simplifica

30 Free and Quick Translation of Anderson´s slides30 Restricciones Lineales Generales La forma basica del contraste F funcionara para cualquier conjunto de restricciones LINEALES Primero estimar el modelo sin restringir y luego el modelo restringido En cada caso, apuntar la SCR A veces imponer las restricciones puede ser un poco lioso ya que habra que re-definir las variables otra vez

31 Free and Quick Translation of Anderson´s slides31 Ejemplo: Usando el modelo de las votaciones anteriores El Modelo es voteA =  0 +  1 log(expendA) +  2 log(expendB) +  3 partystrA + u Ahora la nula es H 0 :  1 = 1,   = 0 Sustituyendo las restricciones en el modelo: voteA =  0 + log(expendA) +  2 log(expendB) + u, por lo que hay que usar el modelo voteA - log(expendA) =  0 +  2 log(expendB) + u como modelo restringido