Regresión lineal simple

Presentación del tema: "Regresión lineal simple"— Transcripción de la presentación:

1 Regresión lineal simple
Tema 2 Regina Kaiser Depto. Estadística, Universidad Carlos III

2 Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

3 Depto. Estadística, Universidad Carlos III
Objetivos Construcción de modelos de regresión Métodos de estimación para dichos modelos Inferencia acerca de los parámetros Aprendizaje de utilización de gráficos para detectar el tipo de relación entre dos variables Cuantificación del grado de relación lineal Regina Kaiser Depto. Estadística, Universidad Carlos III

4 Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

5 Depto. Estadística, Universidad Carlos III
Introducción Estudio conjunto de dos variables Relación entre las variables Regresión lineal Historia del concepto de regresión lineal Regina Kaiser Depto. Estadística, Universidad Carlos III

6 Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

7 Ejemplo: Pureza del oxígeno en un proceso de destilación
Regina Kaiser Depto. Estadística, Universidad Carlos III

8 Ejemplo: Pureza del oxígeno en un proceso de destilación
Regina Kaiser Depto. Estadística, Universidad Carlos III

9 El modelo de regresión simple
n pares de la forma (xi,yi) Objetivo: valores aproximados de Y a partir de X X: variable independiente o explicativa Y: variable dependiente o respuesta (a explicar) Regina Kaiser Depto. Estadística, Universidad Carlos III

10 El modelo de regresión simple
Regina Kaiser Depto. Estadística, Universidad Carlos III

11 Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

12 Linealidad: datos con aspecto recto
Regina Kaiser Depto. Estadística, Universidad Carlos III

13 Depto. Estadística, Universidad Carlos III
Homogeneidad El valor promedio del error es cero, Regina Kaiser Depto. Estadística, Universidad Carlos III

14 Homocedasticidad: Var[ui]=s2 Varianza de errores constante
Regina Kaiser Depto. Estadística, Universidad Carlos III

15 Independencia: Observaciones independientes, en particular E[uiuj]= 0
Regina Kaiser Depto. Estadística, Universidad Carlos III

16 Depto. Estadística, Universidad Carlos III
Normalidad: ui~N(0, s2) Regina Kaiser Depto. Estadística, Universidad Carlos III

17 Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Tansformaciones Regina Kaiser Depto. Estadística, Universidad Carlos III

18 Método de Mínimos Cuadrados
Valor observado Dato (y) Valor observado Dato (y) Recta de regresión estimada Recta de regresión estimada Regina Kaiser Depto. Estadística, Universidad Carlos III

19 Mínimos Cuadrados (Gauss, 1809)
Objetivo: Buscar los valores de b0 y b1 que mejor se ajustan a nuestros datos. Ecuación: Residuo: Minimizar: Regina Kaiser Depto. Estadística, Universidad Carlos III

20 Mínimos Cuadrados (Gauss, 1809)
Resultado: Regina Kaiser Depto. Estadística, Universidad Carlos III

21 Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III

22 Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III

23 Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III

24 Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III

25 Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III

26 Método de Máxima Verosimilitud
Mismo resultado. Estimación de la varianza: Regina Kaiser Depto. Estadística, Universidad Carlos III

27 Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III

28 Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

29 Props. de los coeficientes de regresión
Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Regina Kaiser Depto. Estadística, Universidad Carlos III

30 Props. de los coeficientes de regresión
Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Regina Kaiser Depto. Estadística, Universidad Carlos III

31 Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

32 Inferencia respecto a los parámetros IC
Regina Kaiser Depto. Estadística, Universidad Carlos III

33 Inferencia respecto a los parámetros Contraste de Hipótesis
Regina Kaiser Depto. Estadística, Universidad Carlos III

34 Ajuste regresión simple: pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III

35 Descomposición de la variabilidad
La variabilidad del modelo satisface: VT =VE+VNE Contraste de regresión Regina Kaiser Depto. Estadística, Universidad Carlos III

36 Ajuste regresión simple: pureza oxígeno
VE Regina Kaiser Depto. Estadística, Universidad Carlos III

37 Ajuste regresión simple: pureza oxígeno
VNE Regina Kaiser Depto. Estadística, Universidad Carlos III

38 Coeficiente de determinación
Regina Kaiser Depto. Estadística, Universidad Carlos III

39 Depto. Estadística, Universidad Carlos III
Predicción Dos tipos de predicción: Predecir un valor promedio de y para cierto valor de x. Predecir futuros valores de la variable respuesta. La predicción es la misma (a partir de la recta de regresión) pero la precisión de los estimadores es diferente. Regina Kaiser Depto. Estadística, Universidad Carlos III

40 Predicción (promedio)
Estimación de la media de la distribución condicionada de y para x=x0: Intervalo de confianza para la media estimada Regina Kaiser Depto. Estadística, Universidad Carlos III

41 Ajuste regresión simple: pureza oxígeno
La anchura del intervalo aumenta cuando aumenta Regina Kaiser Depto. Estadística, Universidad Carlos III

42 Predicción para futuros valores
Intervalo de predicción Regina Kaiser Depto. Estadística, Universidad Carlos III

43 Ajuste regresión simple: pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III

44 Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

45 Depto. Estadística, Universidad Carlos III
Diagnosis Una vez ajustado el modelo, hay que comprobar si se cumplen las hipótesis iniciales. Gráficos de residuos frente a valores previstos. Si las hipótesis iniciales se satisfacen, este gráfico no debe tener estructura alguna. Regina Kaiser Depto. Estadística, Universidad Carlos III

46 Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III

47 Depto. Estadística, Universidad Carlos III
Relaciones no lineales Gráficos de residuos Regina Kaiser Depto. Estadística, Universidad Carlos III

48 Depto. Estadística, Universidad Carlos III
Linealidad Soluciones a la falta de linealidad: Transformar las variables para intentar conseguir linealidad. Introducir variable adicionales. Detectar la presencia de datos atípicos o ausencia de otras variables importantes para explicar la variable respuesta. Regina Kaiser Depto. Estadística, Universidad Carlos III

49 Depto. Estadística, Universidad Carlos III
Homocedasticidad Cuando la varianza de las perturbaciones es muy diferente para unos valores de la variable explicativa que para otros tenemos heterocedasticidad e . ^ y Regina Kaiser Depto. Estadística, Universidad Carlos III

50 Depto. Estadística, Universidad Carlos III
Homocedasticidad Soluciones a la heterocedasticidad: Si la variabilidad de la respuesta aumenta con x según la ecuación Var(y|x) = g(x), dividimos la ecuación de regresión (y) entre g(x). Transformar la variable respuesta y puede que también x. Si lo anterior no funciona, cambiar el método de estimación. Regina Kaiser Depto. Estadística, Universidad Carlos III

51 Depto. Estadística, Universidad Carlos III
Normalidad La falta de normalidad invalida resultados inferenciales. Comprobación mediante histogramas o gráficos probabilísticos. En un gráfico probabilístico comparamos los residuos ordenados con los cuantiles de la distribución Normal estándar. Si la distribución de los residuos es normal, el gráfico ha de mostrar aproximadamente una recta. Regina Kaiser Depto. Estadística, Universidad Carlos III

52 Depto. Estadística, Universidad Carlos III
Normalidad Regina Kaiser Depto. Estadística, Universidad Carlos III

53 Independencia y Datos influyentes
Conviene hacer una gráfica de residuos frente a tiempo (residuos incorrelados). Datos influyentes Analizar la presencia de datos influyentes. Los atípicos son datos muy grandes o muy pequeños. Estudiar su posible eliminación. Regina Kaiser Depto. Estadística, Universidad Carlos III

54 Depto. Estadística, Universidad Carlos III
Transformaciones Forma funcional que relaciona y con x Transformación apropiada Exponencial: y = aexp{bx} Potencia: y = axb Recíproca: y = a+b/x Hiperbólica: y = x/(a+bx) y’ = lny y’ = lny , x’ = lnx x’ = 1/x y’ = 1/y , x’ = 1/x Regina Kaiser Depto. Estadística, Universidad Carlos III