Descargar la presentación
La descarga está en progreso. Por favor, espere
1
Regresión lineal simple
Tema 2 Regina Kaiser Depto. Estadística, Universidad Carlos III
2
Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III
3
Depto. Estadística, Universidad Carlos III
Objetivos Construcción de modelos de regresión Métodos de estimación para dichos modelos Inferencia acerca de los parámetros Aprendizaje de utilización de gráficos para detectar el tipo de relación entre dos variables Cuantificación del grado de relación lineal Regina Kaiser Depto. Estadística, Universidad Carlos III
4
Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III
5
Depto. Estadística, Universidad Carlos III
Introducción Estudio conjunto de dos variables Relación entre las variables Regresión lineal Historia del concepto de regresión lineal Regina Kaiser Depto. Estadística, Universidad Carlos III
6
Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III
7
Ejemplo: Pureza del oxígeno en un proceso de destilación
Regina Kaiser Depto. Estadística, Universidad Carlos III
8
Ejemplo: Pureza del oxígeno en un proceso de destilación
Regina Kaiser Depto. Estadística, Universidad Carlos III
9
El modelo de regresión simple
n pares de la forma (xi,yi) Objetivo: valores aproximados de Y a partir de X X: variable independiente o explicativa Y: variable dependiente o respuesta (a explicar) Regina Kaiser Depto. Estadística, Universidad Carlos III
10
El modelo de regresión simple
Regina Kaiser Depto. Estadística, Universidad Carlos III
11
Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III
12
Linealidad: datos con aspecto recto
Regina Kaiser Depto. Estadística, Universidad Carlos III
13
Depto. Estadística, Universidad Carlos III
Homogeneidad El valor promedio del error es cero, Regina Kaiser Depto. Estadística, Universidad Carlos III
14
Homocedasticidad: Var[ui]=s2 Varianza de errores constante
Regina Kaiser Depto. Estadística, Universidad Carlos III
15
Independencia: Observaciones independientes, en particular E[uiuj]= 0
Regina Kaiser Depto. Estadística, Universidad Carlos III
16
Depto. Estadística, Universidad Carlos III
Normalidad: ui~N(0, s2) Regina Kaiser Depto. Estadística, Universidad Carlos III
17
Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Tansformaciones Regina Kaiser Depto. Estadística, Universidad Carlos III
18
Método de Mínimos Cuadrados
Valor observado Dato (y) Valor observado Dato (y) Recta de regresión estimada Recta de regresión estimada Regina Kaiser Depto. Estadística, Universidad Carlos III
19
Mínimos Cuadrados (Gauss, 1809)
Objetivo: Buscar los valores de b0 y b1 que mejor se ajustan a nuestros datos. Ecuación: Residuo: Minimizar: Regina Kaiser Depto. Estadística, Universidad Carlos III
20
Mínimos Cuadrados (Gauss, 1809)
Resultado: Regina Kaiser Depto. Estadística, Universidad Carlos III
21
Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III
22
Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III
23
Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III
24
Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III
25
Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III
26
Método de Máxima Verosimilitud
Mismo resultado. Estimación de la varianza: Regina Kaiser Depto. Estadística, Universidad Carlos III
27
Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III
28
Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III
29
Props. de los coeficientes de regresión
Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Regina Kaiser Depto. Estadística, Universidad Carlos III
30
Props. de los coeficientes de regresión
Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador Regina Kaiser Depto. Estadística, Universidad Carlos III
31
Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III
32
Inferencia respecto a los parámetros IC
Regina Kaiser Depto. Estadística, Universidad Carlos III
33
Inferencia respecto a los parámetros Contraste de Hipótesis
Regina Kaiser Depto. Estadística, Universidad Carlos III
34
Ajuste regresión simple: pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III
35
Descomposición de la variabilidad
La variabilidad del modelo satisface: VT =VE+VNE Contraste de regresión Regina Kaiser Depto. Estadística, Universidad Carlos III
36
Ajuste regresión simple: pureza oxígeno
VE Regina Kaiser Depto. Estadística, Universidad Carlos III
37
Ajuste regresión simple: pureza oxígeno
VNE Regina Kaiser Depto. Estadística, Universidad Carlos III
38
Coeficiente de determinación
Regina Kaiser Depto. Estadística, Universidad Carlos III
39
Depto. Estadística, Universidad Carlos III
Predicción Dos tipos de predicción: Predecir un valor promedio de y para cierto valor de x. Predecir futuros valores de la variable respuesta. La predicción es la misma (a partir de la recta de regresión) pero la precisión de los estimadores es diferente. Regina Kaiser Depto. Estadística, Universidad Carlos III
40
Predicción (promedio)
Estimación de la media de la distribución condicionada de y para x=x0: Intervalo de confianza para la media estimada Regina Kaiser Depto. Estadística, Universidad Carlos III
41
Ajuste regresión simple: pureza oxígeno
La anchura del intervalo aumenta cuando aumenta Regina Kaiser Depto. Estadística, Universidad Carlos III
42
Predicción para futuros valores
Intervalo de predicción Regina Kaiser Depto. Estadística, Universidad Carlos III
43
Ajuste regresión simple: pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III
44
Descripción breve del tema
Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III
45
Depto. Estadística, Universidad Carlos III
Diagnosis Una vez ajustado el modelo, hay que comprobar si se cumplen las hipótesis iniciales. Gráficos de residuos frente a valores previstos. Si las hipótesis iniciales se satisfacen, este gráfico no debe tener estructura alguna. Regina Kaiser Depto. Estadística, Universidad Carlos III
46
Ajuste regresión simple: Datos pureza oxígeno
Regina Kaiser Depto. Estadística, Universidad Carlos III
47
Depto. Estadística, Universidad Carlos III
Relaciones no lineales Gráficos de residuos Regina Kaiser Depto. Estadística, Universidad Carlos III
48
Depto. Estadística, Universidad Carlos III
Linealidad Soluciones a la falta de linealidad: Transformar las variables para intentar conseguir linealidad. Introducir variable adicionales. Detectar la presencia de datos atípicos o ausencia de otras variables importantes para explicar la variable respuesta. Regina Kaiser Depto. Estadística, Universidad Carlos III
49
Depto. Estadística, Universidad Carlos III
Homocedasticidad Cuando la varianza de las perturbaciones es muy diferente para unos valores de la variable explicativa que para otros tenemos heterocedasticidad e . ^ y Regina Kaiser Depto. Estadística, Universidad Carlos III
50
Depto. Estadística, Universidad Carlos III
Homocedasticidad Soluciones a la heterocedasticidad: Si la variabilidad de la respuesta aumenta con x según la ecuación Var(y|x) = g(x), dividimos la ecuación de regresión (y) entre g(x). Transformar la variable respuesta y puede que también x. Si lo anterior no funciona, cambiar el método de estimación. Regina Kaiser Depto. Estadística, Universidad Carlos III
51
Depto. Estadística, Universidad Carlos III
Normalidad La falta de normalidad invalida resultados inferenciales. Comprobación mediante histogramas o gráficos probabilísticos. En un gráfico probabilístico comparamos los residuos ordenados con los cuantiles de la distribución Normal estándar. Si la distribución de los residuos es normal, el gráfico ha de mostrar aproximadamente una recta. Regina Kaiser Depto. Estadística, Universidad Carlos III
52
Depto. Estadística, Universidad Carlos III
Normalidad Regina Kaiser Depto. Estadística, Universidad Carlos III
53
Independencia y Datos influyentes
Conviene hacer una gráfica de residuos frente a tiempo (residuos incorrelados). Datos influyentes Analizar la presencia de datos influyentes. Los atípicos son datos muy grandes o muy pequeños. Estudiar su posible eliminación. Regina Kaiser Depto. Estadística, Universidad Carlos III
54
Depto. Estadística, Universidad Carlos III
Transformaciones Forma funcional que relaciona y con x Transformación apropiada Exponencial: y = aexp{bx} Potencia: y = axb Recíproca: y = a+b/x Hiperbólica: y = x/(a+bx) y’ = lny y’ = lny , x’ = lnx x’ = 1/x y’ = 1/y , x’ = 1/x Regina Kaiser Depto. Estadística, Universidad Carlos III
Presentaciones similares
© 2024 SlidePlayer.es Inc.
All rights reserved.