REGRESION LINEAL SIMPLE

Presentación del tema: "REGRESION LINEAL SIMPLE"— Transcripción de la presentación:

1 REGRESION LINEAL SIMPLE
Mat. Jessica Jacqueline Machuca Vergara

2 Regresión Lineal En la búsqueda de mejoras o en la solución de problemas es necesario, frecuentemente, investigar la relación entre factores (o variables). Para lo cual existen varias herramientas estadísticas, entre las que se encuentran el diagrama de dispersión, el análisis de correlación y el análisis de regresión. El análisis de regresión puede usarse para explicar la relación de un factor con otro(s). Para ello, son necesarios los datos, y estos pueden obtenerse de experimentos planeados, de observaciones de fenómenos no controlados o de registros históricos.

3 Regresión lineal simple
Sean dos variables X y Y. Supongamos que se quiere explicar el comportamiento de Y con el de X. Para esto, se mide el valor de Y sobre un conjunto de n valores de X, con lo que se obtienen n parejas de puntos (X1 ,Y1 ), (X2 ,Y2 ),...,(Xn ,Yn ). A Y se le llama la variable dependiente o la variable de respuesta y a X se le conoce como variable independiente o variable regresora.

4

5 Patrones de diagramas de dispersión
Existe una tendencia fuertemente positiva ya que los puntos dibujados forman una línea casi recta, por lo cual se argumenta en este caso que las dos variables están positiva y fuertemente relacionadas. Existe una tendencia negativa ya que los puntos dibujados se encuentran en sentido opuesto, por lo cual se argumenta en este caso que las dos variables están negativamente relacionadas.

6 Patrones de diagramas de dispersión
No existe tendencia hacia arriba ni hacia abajo. Las dos variables no se encuentran relacionadas. Existe tendencia lineal de las variables. Las dos variables se encuentran relacionadas de manera positiva.

7 Regresión lineal simple
Supongamos que las variables X y Y están relacionadas linealmente y que para cada valor de X, Y es una variable aleatoria. Es decir, supongamos que cada observación de Y puede ser descrita por el modelo general: Y=ß0 +ß1X+e donde e es un error aleatorio con media cero y varianza 2 y es de suponerse que los errores no están correlacionados, lo que significa que el valor de un error no depende del valor de cualquier otro error.

8 METODO DE MINIMOS CUADRADOS
Estimación de los parámetros ß0 y ß1 METODO DE MINIMOS CUADRADOS Los parámetros ß0 y ß1 son desconocidos y se deben de estimar con los datos de la muestra. Para estimar ß0 y ß1 se usa el método de mínimos cuadrados 𝒚 𝒊 = 𝜷 𝟎 + 𝜷 𝟏 𝒙 𝒊 + 𝜺 𝒊 , i=1,2….n Se puede considerar que la ecuación anterior es un modelo muestral de regresión, escritos en términos de los n pares de datos 𝒙 𝒊 𝒚 𝒊 , (𝒊=𝟏,𝟐,⋯,𝒏). Así el criterio de mínimos cuadrados es

9 RECTA ESTIMADA 𝑦 𝑖 𝑦 𝑖 = 𝛽 0 + 𝛽 1 𝑥 1 + 𝜀 𝑖 𝜀 𝑖 = 𝑦 𝑖 − 𝑦 𝑖 𝛽 0 ?
𝑦 𝑖 Y 𝑦 𝑖 = 𝛽 0 + 𝛽 1 𝑥 1 + 𝜀 𝑖 𝑦 𝑖 𝜀 𝑖 = 𝑦 𝑖 − 𝑦 𝑖 X Como logro obtener la recta estimada? RECTA ESTIMADA 𝛽 0 ? 𝛽 1 ?

10 S 𝛽 0 , 𝛽 1 = 𝐼=1 𝑁 𝑦 𝑖 − 𝛽 0 − 𝛽 1 𝑥 𝑖 2 Los estimadores, por mínimos cuadrados, de 𝛽 0 y 𝛽 1 , que se designaran por 𝛽 0 y 𝛽 1 , deben satisfacer 𝜕𝑆 𝜕 𝛽 𝛽 0 , 𝛽 1 =−2 𝑖=1 𝑛 𝑦 𝑖 − 𝛽 0 − 𝛽 1 𝑥 1 )=0 𝜕𝑆 𝜕 𝛽 𝛽 0 , 𝛽 1 =−2 𝑖=1 𝑛 𝑦 𝑖 − 𝛽 0 − 𝛽 1 𝑥 1 ) 𝑥 1 =0

11 Se simplifican estas dos ecuaciones y se obtiene
𝑛 𝛽 𝛽 1 𝑖=1 𝑛 𝑥 𝑖 = 𝑖=1 𝑛 𝑦 𝑖 𝛽 0 𝑖=1 𝑛 𝑥 𝑖 + 𝛽 1 𝑖=1 𝑛 𝑥 𝑖 2 = 𝑖=1 𝑛 𝑥 𝑖 𝑦 𝑖 Estas ecuaciones son llamadas ecuaciones normales de mínimos cuadrados. Su solución es la siguiente:

12 𝛽 1 = 𝑖=1 𝑛 𝑥 𝑖 𝑦 𝑖 − 𝑖=1 𝑛 𝑦 𝑖 𝑖=1 𝑛 𝑥 𝑖 𝑛 𝑖=1 𝑛 𝑥 𝑖 2 − 𝑖=1 𝑛 𝑥 𝑖 2 𝑛 = 𝑺 𝒙𝒚 𝑺 𝒙𝒙
𝛽 0 = 𝑦 − 𝛽 1 𝑥 En donde 𝑦 = 1 𝑛 𝑖=1 𝑛 𝑦 𝑖 y 𝑥 = 1 𝑛 𝑖=1 𝑛 𝑥 𝑖

13 Además 𝑆 𝑥𝑥 = 𝑖=1 𝑛 𝑥 𝑖 2 − 𝑖=1 𝑛 𝑥 𝑖 𝑛 = 𝒊=𝟏 𝒏 𝒙 𝒊 − 𝒙 𝟐 𝑆 𝑥𝑦 = 𝑖=1 𝑛 𝑦 𝑖 𝑥 𝑖 − 𝑖=1 𝑛 𝑦 𝑖 𝑖=1 𝑛 𝑥 𝑖 𝑛 = 𝒊=𝟏 𝒏 𝒚 𝒊 𝒙 𝒊 − 𝒙 De esta forma 𝜷 𝟏 = 𝑺 𝒙𝒚 𝑺 𝒙𝒙

14 La diferencia entre el valor observado 𝑦 𝑖 y el valor ajustado correspondiente 𝑦 𝑖 se llama residual. Matemáticamente, el i- ésimo residual es 𝜀 𝑖 = 𝑦 𝑖 − 𝑦 𝑖 = 𝑦 𝑖 − 𝛽 𝛽 1 𝑥 i , Los residuales tienen un papel importante para investigar la adecuación del modelo de regresión ajustado, y para detectar diferencias respecto a las hipótesis básicas.

15 Ejemplo: Relación de estatura y peso de los estudiantes.
Con el interés de encontrar una relación de la estatura y peso de los estudiantes, para ello se midieron a 12 estudiantes y sus correspondientes estaturas y pesos se muestran a continuación. ALUMNO Y=Peso X=Estatura 1 83.4 1.75 2 58.9 1.69 3 79.7 1.74 4 64.1 1.83 5 61.7 1.68 6 81.3 7 71.7 1.67 8 68.8 9 67.7 1.79 10 66.5 11 73.6 1.72 12 53.7

16 𝑆 𝑥𝑥 = 𝑖=1 𝑛 𝑥 𝑖 2 − 𝑖=1 𝑛 𝑥 𝑖 𝑛 = − = 𝑆 𝑥𝑦 = 𝑖=1 𝑛 𝑦 𝑖 𝑥 𝑖 − 𝑖=1 𝑛 𝑦 𝑖 𝑖=1 𝑛 𝑥 𝑖 𝑛 = − = 𝜷 𝟏 = 𝑺 𝒙𝒚 𝑺 𝒙𝒙 = = 𝜷 𝟎 = 𝒚 − 𝜷 𝟏 𝒙 = − ( )= 𝒚 = − 𝒙

17 𝒚 = − 𝒙

18 Después de obtener el ajuste por mínimos cuadrados, surgen varias preguntas interesantes:
¿Qué tan bien se ajusta esta ecuación a los datos? ¿Es probable que el modelo sea útil para predecir?

19 𝒚= − 𝒙 Y=Peso X=Estatura 83.4 1.75 58.9 1.69 79.7 1.74 64.1 1.83 61.7 1.68 81.3 71.7 1.67 68.8 67.7 1.79 66.5 73.6 1.72 53.7 y1 = − (1.75) y1 =69,7973 y2 = − (1.69) y2 =68,4592 y3 = − (1.74) y3 = y12 = − (1.74) y12 =

20 Estimación de 𝝈 𝟐 Además de estimar 𝛽 0 y 𝛽 1 , se requiere un estimado de 𝜎 2 y estimar un intervalo pertinente al modelo de regresión. 𝑆𝑆 𝑅𝑒𝑠 = 𝑖=1 𝑛 𝑒 𝑖 2 = 𝐼=1 𝑛 𝑦 𝑖 − 𝑦 𝑖 2 Observado Ajustado 𝑒 𝑖 𝑒 𝑖 2 83.4 = 58.9 = 79.7 = 64.1 = 61.7 = 81.3 = 71.7 =3.6868 68.8 =0.7868 67.7 = 66.5 = 73.6 =4.4718 53.7 = 𝑺𝑺 𝑹𝒆𝒔 = 𝒊=𝟏 𝒏 𝒆 𝒊 𝟐 = 𝜎 2 = 𝑆𝑆 𝑅𝑒𝑠 𝑛−2 = 𝟗𝟎𝟖.𝟎𝟗𝟕𝟔𝟔𝟗 𝟏𝟎 𝜎 2 = Error estándar de estimación de la regresión

21 Se rechaza Ho, si 𝑡 0 > 𝑡 𝛼 2,𝑛−2
PRUEBA DE HIPOTESIS DE LOS PARAMETROS DE REGRESION Uso de la prueba t-student para probar las hipótesis de los parámetros de regresión. Supongamos que se desea probar la hipótesis que la pendiente es igual a una constante, por ejemplo, a 𝛽´ 𝑖 . Las hipótesis correspondientes son Estadístico de prueba 𝒕 𝟎 = 𝜷 𝐢 − 𝜷´ 𝐢 𝑫𝒆𝒔𝒗 𝜷 𝒊 𝑯 𝟎 : 𝜷 𝒊 = 𝜷´ 𝒊 𝑯 𝒂 : 𝜷 𝒊 ≠ 𝜷´ 𝒊 i=0,1,2…. Se rechaza Ho, si 𝑡 0 > 𝑡 𝛼 2,𝑛−2

22 VARIANZA DE LOS ESTIMADORES DE LOS PARAMETROS DE REGRESION
𝑉𝑎𝑟 𝛽 1 = 𝜎 2 𝑆 𝑥𝑥 𝑉𝑎𝑟 𝛽 0 = 𝜎 𝑛 + 𝑥 2 𝑆 𝑥𝑥 𝒙 =𝟏.𝟕𝟐𝟓𝟖𝟑 𝑺 𝒙𝒙 =𝟎.𝟎𝟐𝟖𝟐𝟗𝟏𝟔𝟕 𝜎 2 = 𝑉𝑎𝑟 𝛽 1 = 𝟎.𝟎𝟐𝟖𝟐𝟗𝟏𝟔𝟕 =3, 𝑫𝒆𝒔𝒗 𝜷 𝟏 = 𝟑,𝟐𝟎𝟗.𝟕𝟕𝟎𝟒𝟔𝟗 =𝟓𝟔.𝟔𝟓𝟒

23 VARIANZA DE LOS ESTIMADORES DE LOS PARAMETROS DE REGRESION
𝑉𝑎𝑟 𝛽 0 = 𝜎 𝑛 + 𝑥 2 𝑆 𝑥𝑥 𝜎 2 = 𝑺 𝒙𝒙 =𝟎.𝟎𝟐𝟖𝟐𝟗𝟏𝟔𝟕 𝒙 =𝟏.𝟕𝟐𝟓𝟖𝟑 𝑽𝒂𝒓 𝜷 𝟎 =𝟗𝟎.𝟖𝟎𝟗𝟕 𝟏 𝟏𝟐 + 𝟐.𝟗𝟕𝟖𝟒 𝟎.𝟎𝟐𝟖𝟐𝟗𝟏𝟔𝟕 𝑉𝑎𝑟 𝛽 0 = 𝑫𝒆𝒔𝒗 𝜷 𝟎 = 𝟗𝟓𝟔𝟕.𝟓𝟒𝟎𝟕 =𝟗𝟕.𝟖𝟏

24 Ejemplo para 𝐻 0 : 𝛽 1 =0 𝐻 𝑎 : 𝛽 1 ≠0 𝒕 𝟎 = 𝜷 𝟏 −𝟎 𝑫𝒆𝒔𝒗 𝜷 𝒊 𝑡 0 = 𝟐𝟐.𝟑𝟎𝟎𝟒−𝟎 𝟓𝟔.𝟔𝟓𝟒 =𝟎.𝟑𝟗𝟑𝟔 𝑡 𝛼 2,𝑛−2 = 𝑡 0.025,10 =2.2281 <2.2281 No Se rechaza la hipótesis Ho, por lo que podemos concluir que la pendiente es cero. 𝜷 𝟏 = Ejemplo para 𝐻 0 : 𝛽 0 =0 𝐻 𝑎 : 𝛽 0 ≠0 𝑡 0 = 𝛽 0 −0 𝐷𝑒𝑠𝑣 𝜷 𝟎 𝒕 𝟎 = 𝟑𝟎.𝟕𝟕𝟏𝟒−𝟎 𝟗𝟕.𝟖𝟏 =𝟎.𝟑𝟏𝟒𝟔 𝑡 𝛼 2,𝑛−2 = 𝑡 0.025,10 =2.2281 >2.445 No Se rechaza la hipótesis Ho, por lo que podemos concluir que el intercepto es cero. 𝜷 𝟎 =

25 Significancia del modelo de regresión
Fuente de variación Suma de cuadrados Grados de libertad Cuadrado medio 𝑭 𝟎 Regresión 𝑺𝑺 𝑹 = 𝜷 𝟏 𝑺 𝒙𝒚 1 𝑴𝑺 𝑹 𝑴𝑺 𝑹 / 𝑴𝑺 𝑹𝒆𝒔 Residual 𝑺𝑺 𝑹𝒆𝒔 = 𝑺𝑺 𝑻 − 𝜷 𝟏 𝑺 𝒙𝒚 𝒏−𝟐 𝑴𝑺 𝑹𝒆𝒔 Total 𝑺𝑺 𝑻 𝒏−𝟏 𝛽 1 = 𝒚 = 𝒊=𝟏 𝒏 𝒚 𝒊 𝟐 = 𝟖𝟑.𝟒 𝟐 + 𝟓𝟑.𝟗 𝟐 +…+ 𝟓𝟑.𝟕 𝟐 = 𝑺𝑺 𝑻 = 𝒊=𝟏 𝒏 𝒚 𝒊 𝟐 −𝒏 𝒚 𝟐 =𝟓𝟖𝟒𝟖𝟐.𝟕𝟕−𝟏𝟐 𝟔𝟗.𝟐𝟓𝟖𝟑𝟑𝟑 𝟐 =𝟗𝟐𝟐.𝟏𝟔𝟗𝟕

26 Significancia del modelo de regresión
Fuente de variación Suma de cuadrados Grados de libertad Cuadrado medio 𝑭 𝟎 Regresión 𝑺𝑺 𝑹 = 𝜷 𝟏 𝑺 𝒙𝒚 1 𝑴𝑺 𝑹 𝑴𝑺 𝑹 / 𝑴𝑺 𝑹𝒆𝒔 Residual 𝑺𝑺 𝑹𝒆𝒔 = 𝑺𝑺 𝑻 − 𝜷 𝟏 𝑺 𝒙𝒚 𝒏−𝟐 𝑴𝑺 𝑹𝒆𝒔 Total 𝑺𝑺 𝑻 𝒏−𝟏 𝛽 1 = 𝑺 𝒙𝒚 = 𝒊=𝟏 𝒏 𝒚 𝒊 𝒙 𝒊 − 𝒊=𝟏 𝒏 𝒚 𝒊 𝒊=𝟏 𝒏 𝒙 𝒊 𝒏 = − 𝟐𝟎.𝟕𝟏 𝟏𝟐 = 𝑺𝑺 𝑹 = 𝟐𝟐.𝟑𝟎𝟎𝟒𝟏𝟖 𝟎.𝟔𝟑𝟎𝟗𝟏𝟔𝟔𝟕 = 𝑴𝑺 𝑹 = /1= 𝑺𝑺 𝑹𝒆𝒔 =𝟗𝟐𝟐.𝟏𝟔𝟗𝟕− =𝟗𝟎𝟖.𝟎𝟗𝟗 Fo= / =0.1527 𝑴𝑺 𝑹𝒆𝒔 = /10=90.809

27 El modelo es significativo
Fuente de variación Suma de cuadrados Grados de libertad Cuadrado medio 𝑭 𝟎 Regresión 1 0.1527 Residual 𝟗𝟎𝟖.𝟎𝟗𝟗 10 Total 𝟗𝟐𝟐.𝟏𝟔𝟗𝟕 11 si 𝑭 𝟎 > 𝑭 α, 𝒏−𝟐 El modelo es significativo 𝑭 𝟎 =𝟎,𝟏𝟓𝟐𝟕𝒛< 𝑭 𝟎.𝟎𝟓, 𝟏𝟎 =𝟒.𝟗𝟔 Por lo tanto el modelo no es significativo. 𝑭 𝟎.𝟎𝟓, 𝟏𝟎 =4.96 R-CUADRADA 𝑹−𝒄𝒖𝒂𝒅𝒓𝒂𝒅𝒂= 𝑺𝑺 𝑻 − 𝑺𝑺 𝒓𝒆𝒔 𝑺𝑺 𝑻 = 𝟗𝟐𝟐.𝟏𝟔𝟗𝟕−𝟗𝟎𝟖.𝟎𝟗𝟗 𝟗𝟐𝟐.𝟏𝟔𝟗𝟕 X100=1.525

28 COEFICIENTE DE CORRELACION
𝒓= 𝑹−𝑪𝑼𝑨𝑫𝑹𝑨𝑫𝑨 𝟏𝟎𝟎 𝒓= 𝟏.𝟓𝟐𝟓 𝟏𝟎𝟎 =0.1234