REGRESIÓN LINEAL SIMPLE TEMA 1 1

1. INTRODUCCIÓN Determinar la ecuación de regresión sirve para: – Describir de manera concisa la relación entre variables. – Predecir los valores de una variable en función de la otra. Veremos EXCLUSIVAMENTE relaciones lineales. La regresión lineal simple estudia la relación entre sólo dos variables (el caso de relación más sencillo posible). 2

1. INTRODUCCIÓN 3 DENOMINACIÓN DE LAS VARIABLES XY predictora, regresorcriterio explicativaexplicada predeterminadarespuesta independientedependiente exógenaendógena (explica la variabilidad de otra variable)(su variabilidad es explicada por otra variable)

2. INTERPRETACIÓN DEL DIAGRAMA DE DISPERSIÓN A grandes rasgos, como paso previo, el diagrama de dispersión permite vislumbrar si: – Existe relación entre variables. – La relación es lineal o de otro tipo. – Intensidad de la relación (por la estrechez de la nube de puntos). – Valores anómalos (outliers) distorsionan la relación. – La dispersión de los datos es o no uniforme (homocedasticidad vs. heterocedasticidad). 4

3. ESPECIFICACIÓN DEL MODELO DE REGRESIÓN LINEAL SIMPLE 5 x Y

6 : – Puede denominarse: Error Perturbación Residual – Se debe fundamentalmente a: Medición incorrecta de la variable. Influencia de otras variables no incluidas en el modelo. Variabilidad inherente a la conducta humana.

3.ESPECIFICACIÓN DEL MODELO DE REGRESIÓN LINEAL SIMPLE 7

3.1. Supuestos del modelo Características estadísticas: – Linealidad. – Homocedasticidad: las varianzas de Y para cada valor de X son todas iguales. – Ausencia de autocorrelación: las variables Y son independientes entre sí (problema en estudios longitudinales). – Normalidad. 8

3.1. Supuestos del modelo Características como modelo descriptivo: – El modelo ha de estar correctamente especificado: No se excluyen variables independientes relevantes. No se incluyen variables independientes irrelevantes. – La variable independiente ha de haber sido medida sin error. 9

4. ESTIMACIÓN DE PARÁMETROS α y β. Mediante mínimos cuadrados. En puntuaciones directas: 10

4. ESTIMACIÓN DE PARÁMETROS En puntuaciones diferenciales o centradas: El valor de la b coincide con su valor en la ecuación de regresión en puntuaciones directas. En puntuaciones estandarizadas: 11

4. ESTIMACIÓN DE PARÁMETROS: EJEMPLO Con los datos del ejemplo anterior, calcular la ecuación de regresión en puntuaciones directas, centradas y estandarizadas. 12

4. ESTIMACIÓN DE PARÁMETROS: EJEMPLO 13 Ecuación de regresión en puntuaciones directas:

4. ESTIMACIÓN DE PARÁMETROS: EJEMPLO 14 Ecuación de regresión en puntuaciones centradas: Ecuación de regresión en puntuaciones estandarizadas:

5. INTERPRETACIÓN DEL MODELO DE REGRESIÓN En el modelo de regresión lineal distinguimos los siguientes elementos: e  error de estimación o puntuaciones residuales: parte aleatoria; aquello no explicado por el modelo. 15

5. INTERPRETACIÓN DEL MODELO DE REGRESIÓN  puntuación estimada: valor promedio previsto para todos los sujetos que han obtenido en la variable X un valor de X i. b  pendiente de la recta: cambio en Y por cada unidad de cambio en X. a  ordenada en el origen: valor medio de Y cuando X=0. 16

5. INTERPRETACIÓN DEL MODELO DE REGRESIÓN: EJEMPLO Supongamos que tenemos la ecuación de regresión: Donde X es el número de años de experiencia profesional, e Y es el sueldo mensual. 1. Interpreta a y b. 2. Una persona con 3 años de experiencia laboral, ¿qué sueldo mensual tendrá? Interpreta el resultado. 3. Si una persona con 3 años de experiencia laboral tiene un sueldo mensual de 1700 €, ¿cuál será su error asociado? Interpreta el resultado. 17

5. INTERPRETACIÓN DEL MODELO DE REGRESIÓN: EJEMPLO 1.Interpreta a y b. b=300  cambio en Y por cada unidad de cambio en X. Por cada año de experiencia laboral, el sueldo mensual aumenta 300 €. a=600  valor medio de Y cuando X=0. Sueldo medio de aquellas personas sin experiencia laboral. 18

5. INTERPRETACIÓN DEL MODELO DE REGRESIÓN: EJEMPLO 2. Una persona con 3 años de experiencia laboral, ¿qué sueldo mensual tendrá? Interpreta el resultado.  valor promedio previsto para todos los sujetos que han obtenido en la variable X un valor de X i. Las personas con 3 años de experiencia tienen un sueldo promedio de 1500 € 19

5. INTERPRETACIÓN DEL MODELO DE REGRESIÓN: EJEMPLO 3. Si una persona con 3 años de experiencia laboral tiene un sueldo mensual de 1700 €, ¿cuál será su error asociado? Interpreta el resultado. El modelo estimó un sueldo de 1500 € para una persona con 3 años de experiencia laboral. Si esta persona concreta tiene un sueldo de 1700 €, esta diferencia de 200 € es el error; aquello que el modelo no explica. 20

6. COMPONENTES DE VARIACIÓN 21

6. COMPONENTES DE VARIACIÓN Suma de cuadrados total = suma de cuadrados explicada + suma de cuadrados no explicada Variación total = variación explicada + variación no explicada 22

6. COMPONENTES DE VARIACIÓN: EJEMPLO Determinar los componentes de variación de los datos del primer ejemplo. 23

6. COMPONENTES DE VARIACIÓN: EJEMPLO Cálculo de la suma de cuadrados total: 24

6. COMPONENTES DE VARIACIÓN: EJEMPLO Cálculo de la suma de cuadrados explicada: 25

6. COMPONENTES DE VARIACIÓN: EJEMPLO Cálculo de la suma de cuadrados no explicada: 26

6. COMPONENTES DE VARIACIÓN: EJEMPLO Comprobación: SCtotal = SCexplicada+SCresidual 27

7. BONDAD DE AJUSTE 28 - Coincide con el coeficiente de determinación. -La proporción de variabilidad no explicada = 1-R 2

7. BONDAD DE AJUSTE 29

7. BONDAD DE AJUSTE: EJEMPLO Calcular la bondad de ajuste (con las tres fórmulas propuestas) y la proporción de variabilidad no explicada. 30

7. BONDAD DE AJUSTE: EJEMPLO 31

8. VALIDACIÓN DEL MODELO Fuentes de variación Sumas de cuadrados glVarianzaF Regresión o explicada k Residual o no explicada N-k-1 TotalN-1 32

8. VALIDACIÓN DEL MODELO –  Se rechaza la Hipótesis nula. Las variables están relacionadas. El modelo es válido. –  Se acepta la Hipótesis nula. Las variables no están relacionadas. El modelo no es válido. (k = número de variables independientes) 33

8. VALIDACIÓN DEL MODELO Otras posibles fórmulas de F: – Con puntuaciones directas: 34

8. VALIDACIÓN DEL MODELO En términos de varianza: En términos de R 2 : 35

8. VALIDACIÓN DEL MODELO: EJEMPLO Con los datos anteriores, calcula la F (usando las 4 fórmulas propuestas) y concluye sobre la validez del modelo. 36

8. VALIDACIÓN DEL MODELO Fuentes de variación Sumas de cuadrados glVarianzaF Regresión o explicada 183, , Residual o no explicada 77,01889,627 Total (aprox.) 260,176928,908 37

8. VALIDACIÓN DEL MODELO: EJEMPLO 38  Conclusión: Se rechaza la Hipótesis nula. Las variables X e Y están relacionadas. El modelo es válido.

8. VALIDACIÓN DEL MODELO: EJEMPLO 39 Otras fórmulas:

8. VALIDACIÓN DEL MODELO: EJEMPLO 40

9. SIGNIFICACIÓN DE LOS PARÁMETROS DE LA REGRESIÓN Estudio de b (en relación con la variable independiente). En regresión lineal simple, prueba de significación equivalente a F y a la significación de r XY Más interesante en regresión lineal múltiple, donde la F global podría ser significativa y algún parámetro de la ecuación no. 41

9. SIGNIFICACIÓN DE LOS PARÁMETROS DE LA REGRESIÓN 42 Hipótesis: H 0 : β = 0H 1 : β = 0

9. SIGNIFICACIÓN DE LOS PARÁMETROS DE LA REGRESIÓN 43

9. SIGNIFICACIÓN DE LOS PARÁMETROS DE LA REGRESIÓN –  Se rechaza la Hipótesis nula. El modelo es válido. La pendiente es estadísticamente distinta de 0. Existe, por tanto, relación entre las variables. –  Se acepta la Hipótesis nula. El modelo no es válido. La pendiente es estadísticamente igual a 0. No existe, por tanto, relación entre las variables. 44

9. SIGNIFICACIÓN DE LOS PARÁMETROS DE LA REGRESIÓN: EJEMPLO Con los datos anteriores, determinar la significación del parámetro b. 45

9. SIGNIFICACIÓN DE LOS PARÁMETROS DE LA REGRESIÓN: EJEMPLO 46 Conclusión: se rechaza la hipótesis nula. El modelo es válido. La pendiente es estadísticamente distinta de 0. Existe, por tanto, relación entre las variables.

10. PREDICCIÓN Un valor concreto: ¿Qué valor de Y obtendrá una persona con X = 4? 47

10. PREDICCIÓN Dando un intervalo: 48

10. PREDICCIÓN: EJEMPLO ¿En qué intervalo se encontrará la puntuación en Y de la persona que obtuvo X = 4? 49

10. PREDICCIÓN: EJEMPLO 50

10. PREDICCIÓN: EJEMPLO Conclusión: existe una probabilidad de 0,95 de que una persona que tenga un valor de X = 4, obtenga una puntuación en Y entre -2,808 y 13,

10. PREDICCIÓN: LIMITACIÓN No extrapolar los valores más allá de los datos de observación. ¿Y si fuera una relación cuadrática? 52