Tema 1- Regresión lineal simple.

Presentación del tema: "Tema 1- Regresión lineal simple."— Transcripción de la presentación:

1 Tema 1- Regresión lineal simple.
1.1. Introducción 1.2. Especificación del modelo de regresión lineal simple en la población. Estructura de los modelos de regresión Hipótesis básicas 1.3. Estimación de los parámetros del modelo de regresión lineal simple La recta de regresión de mínimos cuadrados en puntuaciones directas y principales propiedades La recta de regresión en puntuaciones diferenciales La recta de regresión en puntuaciones típicas Relación entre la pendiente de la recta y el coeficiente de correlación Interpretación de los coeficientes de la recta de regresión 1.4. El contraste de la regresión 1.4.1.Componentes de variabilidad y bondad de ajuste Validación del modelo Significación de parámetros 1.5. Diagnosis del modelo: Análisis de residuos 1.6. Predicción

2 Tema 1- Regresión lineal simple.
1.1. Introducción Ejemplos de investigaciones en las que puede ser adecuado utilizar el modelo de regresión simple. El concepto de relación entre variables: naturaleza y tipos de relación. Herramientas para evaluar la relación entre dos variables El diagrama de dispersión La covarianza El coeficiente de correlación de Pearson Como ya hemos comentado en la presentación la organización del temario de la asignatura está función del número de variables que vamos a manejar y del criterio de medida utilizado. La situación investigación más simple en la que podemos plantearnos construir un modelo de regresión se refiere casos en los que pretendamos relacionar dos variables siendo la variable dependiente cuantitativa. Ejemplos: En este tema estudiaremos cómo construir un modelo para representar la dependencia lineal de una variable de respuesta, Y, respecto a otra variables explicativa, X. Empezaremos por situar el problema en el ámbito de la investigación en psicología y pasaremos a describir la metodología a utilizar para construir un modelo de regresión que en cualquier caso debe comenzar con un gráfico de los datos, seguirá por la estimación de parámetros, posterioremente se efectúan constrastes de hipótesis respecto a los parámetros y, finalmente se comprueban las hipótesis de partida mediante el análisis de residuos.

3 1.1. Introducción 1.1.Ejemplos de investigaciones en las que puede ser adecuado utilizar el modelo de regresión simple. Se pretende estudiar si la competencia escolar de niños, medida en una escala entre 1 y 4, depende del tiempo en meses que llevan viviendo con un progenitor Variable dependiente o criterio (endógena): competencia escolar Variable independiente o predictora (exógena): meses de monoparentalidad Se pretende estudiar si el ajuste emocional de niños, medido por un test de ajuste que proporciona puntuaciones en una escala entre 0 y 10, depende del ámbito rural o urbano en el que vive la familia Variable dependiente o criterio: ajuste emocional Variable independiente o predictora: ámbito geográfico

4 1.1. Introducción 1.1.Ejemplos de investigaciones en las que puede ser adecuado utilizar el modelo de regresión simple. Se pretende estudiar la relación entre estrés laboral y la variable trabajo a turno Variable dependiente o criterio: estrés laboral Variable independiente o predictora: tipo de turno: fijo o variable Se pretende estudiar si las notas en Análisis de Datos II dependen de Análisis de Datos I Variable dependiente o criterio: Análisis de Datos II Variable independiente o predictora: Análisis de datos I Para estudiar empíricamente estas relaciones medimos, en una muestra de sujetos, los valores de las variables incluidas en la relación. Genéricamente, la información de un sujeto cualquiera de la muestra Si, vendrá dada por el par (Xi, Yi). El conjunto de pares constituye la matriz de datos de la investigación y para los ejemplos propuestos tendrá el siguiente formato.

5 Tabla o matriz de datos N=9 N=10 N=10 N=10
Observar que las variable ámbito y turno aunque no son métricas las hemos codificado como numéricas. Hemos elegido el 0 y el 1 para diferenciar entre las categorías de las variables. Este tipo de codificación, muy frecuente en estadística, se conoce como codificación “dummy” o ficticia El número de filas de las matrices de datos corresponde al tamaño de la muestra (N) y el número de columnas a las variables medidas. La matriz de datos se representan genéricamente por X y su orden es de Nx2. N=10 N=10

6 1. 1. 2. El concepto de relación entre variables
El concepto de relación entre variables. Naturaleza y tipos de relación: el gráfico de dispersión Decimos que dos variables están relacionadas cuando podemos detectar algún patrón de variación conjunta. La primera herramienta que vamos a utilizar para identificar y describir una relación entre dos variables es el gráfico de dispersión. El gráfico de dispersión, o nube de puntos, es una representación gráfica de la relación entre dos variables que se construye representando los pares de valores de las variables medidas en el plano cartesiano. La diapositiva muestra diferentes nubes de puntos todas tienen en común que representan relaciones funcionales o deterministas entre las variables. Difieren en que los tres de arriba muestran tendencias lineales o ausencia de relación y los dos de abajo muestran tendencias no lineales.

7 1.1.2. El concepto de relación entre variables: naturaleza y tipos de relación.
Lo que tienen en común estos gráficos es que representan relaciones estadísticas, estocásticas o probabilísticas. Son de este tipo de relaciones de las que nos ocuparemos en esta asignatura. Concretamente aprenderemos a estimar y comprobar la existencia de relaciones lineales en las poblaciones de las que proceden las muestras.

8 1.1.2. El concepto de relación entre variables: naturaleza y tipos de relación.
Los gráficos de dispersión son una herramienta muy útil para hacer una primera exploración, más cualitativa, de la existencia de relación entre las variables, del tipo de relación y de anomalías en la muestra que tendremos que resolver. Pero la estimación de dónde hay más relación comparando varios gráficos no es tan sencilla pues la inferencia a partir de la inspección visual está sujeta a múltiples factores: escalas, marcadores, colores, etc. Es por ello que necesitamos índices analíticos que nos permitan establecer la magnitud de la relación lineal entre las variables.

9 La covarianza puede tomar valores entre (-∞,+∞) de manera que si:
Sxy= 0 independencia lineal Sxy> 0 relación lineal directa o positiva Sxy< 0 relación lineal inversa o negativa Vamos a ver, utilizando el gráfico de dispersión, porque las relaciones De orden anteriores están relacionadas con el tipo de relación lineal. En prácticas desarrollaremos fórmulas que permitan calcular la covarianza de manera rápida. Pero

10 Sxy< 0 relación lineal inversa o negativa
Sxy> 0 relación lineal directa o positiva Y Y X Sxy= 0 independencia lineal X Y X

11

12 1.1.3.2. La covarianza: dependencia de escalas

13 1.1.3.3. El coeficiente de correlación de Pearson
rxy = 0 rxy = 0.88 rxy = 1 rxy = -1 rxy = -0.88 rxy = 0

14 Expresión matemática del modelo en la población
1.2. Especificación del modelo de regresión lineal simple en la población. Estructura de los modelos de regresión Xi Yi predictora criterio independiente dependiente exógena endógena explicativa explicada Expresión matemática del modelo en la población En los apartados que siguen estudiaremos como construir un modelo para representar la dependencia lineal de una variable de respuesta, y, respecto a otra variable explicativa, x. Desde Galton, los modelos estadísticos que explican la dependencia de una variable y respecto de una o varias variables se denominan modelos de regresión. Poner un ejemplo de predicción. Por ejemplo si conocemos la distribución de las notas en análisis de datos II de los alumnos de psicología y queremos predecir cual será la nota de cualquiera de vosotros ¿Cuál sería la mejor estimación?. y si sabemos que las notas dependen de las horas de estudio ¿Cuál será la mejor estimación?. la media de las notas correspondiente a las horas de estudio. Recordemos el diagrama de dispersión de una relación directa y admitamos que todos los factores o causas que influyen en una variable de respuesta, dependiente, endógena o criterio (y) se pueden dividir en dos grupos: el primero contiene a una variable (x) llamada predictora, explicativa, exógena o independiente y que se supone no aleatoria y conocida al observar (y); el segundo incluye el resto de factores, cada uno de los cuales influye en la respuesta sólo en pequeña magnitud, que englobaremos dentro del nombre común de perturbación aleatoria o término de error. La expresión matemática que relaciona esos tres términos le denominamos modelo de regresión. Si la función que relaciona Y con X es la ecuación de una recta el modelo es de regresión lineal. Puntuación predicha por la recta de regresión verdadera Residuo o error de predicción En el modelo hay dos variables observadas: X e Y y dos parámetros la ordenada en el origen de la recta de regresión y la pendiente Interpretación de los parámetros:

15 Interpretación de los parámetros:
Ejercicio físico Esperanza de vida Consumo de tabaco Esperanza de vida

16 Hipótesis básicas 1. El término de Error es una variable aleatoria con media cero: 2. Homocedasticidad: la varianza del término de error es constante: 3. Los errores se distribuyen normalmente: 4. Los errores son independientes entre sí. Las hipótesis anteriores pueden formularse de manera equivalente en términos de la variable criterio. Así, 1’. La media de Y depende linealmente de X: 2’. La varianza de Y es constante: 3’. La distribución de Y es normal para cada X: 4’. Las observaciones Yi son independientes entre sí.

17 Resumen gráfico de las hipótesis básicas
formuladas en términos de la variable criterio Distribución Normal X1, X2, X3, X4

18 Resumen gráfico de las hipótesis básicas formuladas en términos de los residuos
 X1, X2, X3, X4

19 El objetivo del análisis de regresión será estimar los
parámetros del modelo presentado y contrastar las hipótesis de partida todo ello a partir de una muestra.

20 1.3. Estimación de los parámetros del modelo de regresión lineal simple
La recta de regresión de mínimos cuadrados en puntuaciones directas y principales propiedades La recta de regresión en puntuaciones diferenciales La recta de regresión en puntuaciones típicas Relación entre la pendiente de la recta y el coeficiente de correlación Interpretación de los coeficientes de la recta de regresión

21 1.3.1. La recta de regresión de mínimos cuadrados en puntuaciones directas y principales propiedades
Partimos de una muestra de sujetos extraídos de una población en la que se han tomado valores de las variables X e Y. La situación más frecuente es que los puntos estén dispersos en el plano definido por X e Y. La primera pregunta a plantearnos es de las infinitas rectas que podemos ajustar a la nube de puntos ¿Cuál estimará mejor los parámetros?. Existen diferentes criterios.

22 1.3.1. La recta de regresión de mínimos cuadrados en puntuaciones directas y principales propiedades
Vamos a suponer que si los datos se han extraído de una población para la que es válido el modelo de regresión formulado en la muestra dicho modelo también se cumple y podemos escribir que:

23 Criterio de mínimos cuadrados:
La recta de regresión de mínimos cuadrados en puntuaciones directas y principales propiedades Criterio de mínimos cuadrados:

24 Recta de regresión mínimo cuadrática (puntuaciones directas):
La recta de regresión de mínimos cuadrados en puntuaciones directas y principales propiedades Recta de regresión mínimo cuadrática (puntuaciones directas):

25 Ejemplo de cálculo de la recta de regresión de mínimos cuadrados
56,5 82,5 41 55 17,55 20,25 3,9 4,5 8 10 6,65 12,25 1,9 3,5 6 9 7,25 6,25 2,9 2,5 4 1,35 2,25 0,9 1,5 5 7 -0,55 0,25 -1,1 0,5 3 1,05 -2,1 -0,5 2 0,15 -0,1 -1,5 2,75 -2,5 10,85 -3,1 -3,5 1 9,45 -4,5 y x

26 Recta de regresión mínimo cuadrática:
La recta de regresión de mínimos cuadrados en puntuaciones directas y principales propiedades Recta de regresión mínimo cuadrática: dependencia de escalas.xls

27 Propiedades de la Recta de regresión mínimo cuadrática:
La recta de regresión de mínimos cuadrados en puntuaciones directas y principales propiedades Propiedades de la Recta de regresión mínimo cuadrática: 1) La media de las puntuaciones predichas es igual a la media de Y 2) Los errores tienen media cero 3) La recta de mínimos cuadrados pasa por el punto: 4) Los errores no correlacionan ni con la variable predictora ni con las puntuaciones predichas

28 a) Modelo y recta en puntuaciones diferenciales
La recta de regresión de mínimos cuadrados en puntuaciones diferenciales a) Modelo y recta en puntuaciones diferenciales

29 a) Modelo y recta en puntuaciones estandarizadas
La recta de regresión de mínimos cuadrados en puntuaciones estandarizadas a) Modelo y recta en puntuaciones estandarizadas

30 a) En puntuaciones directas
Recta de regresión en diferenciales y en tipificadas. Relación entre b y r. Interpretación de los coeficientes de la regresión a) En puntuaciones directas b) En puntuaciones diferenciales c) En puntuaciones estandarizadas

31 1.4. El contraste de la regresión: introducción

32 1.4. El contraste de la regresión: introducción

33 1.4. El contraste de la regresión: introducción

34 1.4. El contraste de la regresión: introducción

35 1.4. El contraste de la regresión: introducción
Yi Xi

36 Desviación Desviación Desviación total explicada residual
1.4.1.Componentes de variabilidad y bondad de ajuste Yi Desviación Desviación Desviación total explicada residual Xi

37 1.4.1. Componentes de variabilidad y bondad de ajuste
Variación Total Variación Residual Variación Explicada Xi

38 1.4.1. Componentes de variabilidad y bondad de ajuste
Fórmulas para calcular las sumas de cuadrados en puntuaciones directas y diferenciales:

39 Fórmulas para calcular las sumas de cuadrados en tipificadas:
Componentes de variabilidad y bondad de ajuste Fórmulas para calcular las sumas de cuadrados en tipificadas:

40 1.4.1. Componentes de variabilidad y bondad de ajuste
Bondad de ajuste o Coeficiente de determinación

41 1.4.1. Componentes de variabilidad y bondad de ajuste
Representación en diagramas de Venn r2xy= 0 Y X r2xy= 1 Y X r2xy Y X

42 Esquema del Contraste de Hipótesis
Validación del modelo Esquema del Contraste de Hipótesis Contrastar una Hipótesis Estadísticamente es juzgar si cierta propiedad supuesta para una población es compatible con lo observado en una muestra de ella.

43 Elementos de una Prueba de Hipótesis
1.- Hipótesis Nula (H0), Hipótesis Alternativa. 2.- Estadístico de Contraste (Discrepancia). 3.- Región de Rechazo (Región Crítica): nivel de significación. 4.- Regla de Decisión.

44 1.- Hipótesis Nula (H0), Hipótesis Alternativa.
Validación del modelo 1.- Hipótesis Nula (H0), Hipótesis Alternativa. 2.- Estadístico de Contraste (Discrepancia).

45 Región de aceptación de H0
Validación del modelo 3.- Región de Rechazo (Región Crítica): nivel de significación. Región de aceptación de H0 Región de rechazo de H0 1- Fc

46 1.4.2. Validación del modelo 4.- Regla de Decisión.
Se rechaza la H0 si: F >Fc o de manera equivalente si: p <  Por el contrario, se acepta la H0 si: F  ≤Fc o de manera equivalente si: p ≥

47 Tabla F

48 Tabla F

49 1.4.3. Significación de parámetros
1.- Hipótesis Nula (H0), Hipótesis Alternativa. 2.- Estadístico de Contraste (Discrepancia). Nota: en regresión simple t2 = F

50 1.4.3. Significación de parámetros
3.- Región de Rechazo (Región Crítica): nivel de significación. Región de aceptación de H0  Fc Regiones de rechazo de H0

51 1.4.3. Significación de parámetros
4.- Regla de Decisión. Se rechaza la H0 si: t  >+tc o de manera equivalente si: p <  Por el contrario, se acepta la H0 si:  t  ≤  +tc o de manera equivalente si: p≥

52 http://www. stat. ucla. edu/~dinov/courses_students. dir/Applets

53 The t-Distribution Table
Tabla t de Student

54 Calculadoras estadísticas en internet

55 Intervalos de predicción:

56