Regresión lineal simple Tema 2 Regina Kaiser Depto. Estadística, Universidad Carlos III

Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Objetivos Construcción de modelos de regresión Métodos de estimación para dichos modelos Inferencia acerca de los parámetros Aprendizaje de utilización de gráficos para detectar el tipo de relación entre dos variables Cuantificación del grado de relación lineal Regina Kaiser Depto. Estadística, Universidad Carlos III

Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Introducción Estudio conjunto de dos variables Relación entre las variables Regresión lineal Historia del concepto de regresión lineal Regina Kaiser Depto. Estadística, Universidad Carlos III

Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

Ejemplo: Pureza del oxígeno en un proceso de destilación Regina Kaiser Depto. Estadística, Universidad Carlos III

Ejemplo: Pureza del oxígeno en un proceso de destilación Regina Kaiser Depto. Estadística, Universidad Carlos III

El modelo de regresión simple n pares de la forma (xi,yi) Objetivo: valores aproximados de Y a partir de X X: variable independiente o explicativa Y: variable dependiente o respuesta (a explicar) Regina Kaiser Depto. Estadística, Universidad Carlos III

El modelo de regresión simple Regina Kaiser Depto. Estadística, Universidad Carlos III

Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

Linealidad: datos con aspecto recto Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Homogeneidad El valor promedio del error es cero, Regina Kaiser Depto. Estadística, Universidad Carlos III

Homocedasticidad: Var[ui]=s2 Varianza de errores constante Regina Kaiser Depto. Estadística, Universidad Carlos III

Independencia: Observaciones independientes, en particular E[uiuj]= 0 Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Normalidad: ui~N(0, s2) Regina Kaiser Depto. Estadística, Universidad Carlos III

Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Tansformaciones Regina Kaiser Depto. Estadística, Universidad Carlos III

Método de Mínimos Cuadrados Valor observado Dato (y) Valor observado Dato (y) Recta de regresión estimada Recta de regresión estimada Regina Kaiser Depto. Estadística, Universidad Carlos III

Mínimos Cuadrados (Gauss, 1809) Objetivo: Buscar los valores de b0 y b1 que mejor se ajustan a nuestros datos. Ecuación: Residuo: Minimizar: Regina Kaiser Depto. Estadística, Universidad Carlos III

Mínimos Cuadrados (Gauss, 1809) Resultado: Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: Datos pureza oxígeno Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: Datos pureza oxígeno Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: Datos pureza oxígeno Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: Datos pureza oxígeno Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: Datos pureza oxígeno Regina Kaiser Depto. Estadística, Universidad Carlos III

Método de Máxima Verosimilitud Mismo resultado. Estimación de la varianza: Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: Datos pureza oxígeno Regina Kaiser Depto. Estadística, Universidad Carlos III

Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Regina Kaiser Depto. Estadística, Universidad Carlos III

Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Regina Kaiser Depto. Estadística, Universidad Carlos III

Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

Inferencia respecto a los parámetros IC Regina Kaiser Depto. Estadística, Universidad Carlos III

Inferencia respecto a los parámetros Contraste de Hipótesis Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: pureza oxígeno Regina Kaiser Depto. Estadística, Universidad Carlos III

Descomposición de la variabilidad La variabilidad del modelo satisface: VT =VE+VNE Contraste de regresión Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: pureza oxígeno VE Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: pureza oxígeno VNE Regina Kaiser Depto. Estadística, Universidad Carlos III

Coeficiente de determinación Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Predicción Dos tipos de predicción: Predecir un valor promedio de y para cierto valor de x. Predecir futuros valores de la variable respuesta. La predicción es la misma (a partir de la recta de regresión) pero la precisión de los estimadores es diferente. Regina Kaiser Depto. Estadística, Universidad Carlos III

Predicción (promedio) Estimación de la media de la distribución condicionada de y para x=x0: Intervalo de confianza para la media estimada Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: pureza oxígeno La anchura del intervalo aumenta cuando aumenta Regina Kaiser Depto. Estadística, Universidad Carlos III

Predicción para futuros valores Intervalo de predicción Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: pureza oxígeno Regina Kaiser Depto. Estadística, Universidad Carlos III

Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Diagnosis Una vez ajustado el modelo, hay que comprobar si se cumplen las hipótesis iniciales. Gráficos de residuos frente a valores previstos. Si las hipótesis iniciales se satisfacen, este gráfico no debe tener estructura alguna. Regina Kaiser Depto. Estadística, Universidad Carlos III

Ajuste regresión simple: Datos pureza oxígeno Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Relaciones no lineales Gráficos de residuos Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Linealidad Soluciones a la falta de linealidad: Transformar las variables para intentar conseguir linealidad. Introducir variable adicionales. Detectar la presencia de datos atípicos o ausencia de otras variables importantes para explicar la variable respuesta. Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Homocedasticidad Cuando la varianza de las perturbaciones es muy diferente para unos valores de la variable explicativa que para otros tenemos heterocedasticidad e . ^ y Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Homocedasticidad Soluciones a la heterocedasticidad: Si la variabilidad de la respuesta aumenta con x según la ecuación Var(y|x) = g(x), dividimos la ecuación de regresión (y) entre g(x). Transformar la variable respuesta y puede que también x. Si lo anterior no funciona, cambiar el método de estimación. Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Normalidad La falta de normalidad invalida resultados inferenciales. Comprobación mediante histogramas o gráficos probabilísticos. En un gráfico probabilístico comparamos los residuos ordenados con los cuantiles de la distribución Normal estándar. Si la distribución de los residuos es normal, el gráfico ha de mostrar aproximadamente una recta. Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Normalidad Regina Kaiser Depto. Estadística, Universidad Carlos III

Independencia y Datos influyentes Conviene hacer una gráfica de residuos frente a tiempo (residuos incorrelados). Datos influyentes Analizar la presencia de datos influyentes. Los atípicos son datos muy grandes o muy pequeños. Estudiar su posible eliminación. Regina Kaiser Depto. Estadística, Universidad Carlos III

Depto. Estadística, Universidad Carlos III Transformaciones Forma funcional que relaciona y con x Transformación apropiada Exponencial: y = aexp{bx} Potencia: y = axb Recíproca: y = a+b/x Hiperbólica: y = x/(a+bx) y’ = lny y’ = lny , x’ = lnx x’ = 1/x y’ = 1/y , x’ = 1/x Regina Kaiser Depto. Estadística, Universidad Carlos III