ANÁLISIS DE REGRESIÓN SIMPLE

Presentación del tema: "ANÁLISIS DE REGRESIÓN SIMPLE"— Transcripción de la presentación:

1 ANÁLISIS DE REGRESIÓN SIMPLE
Analisis de Regresion enero 2004 ANÁLISIS DE REGRESIÓN SIMPLE Edgar Acuna

2 REGRESIÓN LINEAL SIMPLE
Regresión: conjunto de técnicas que son usadas para establecer una relación entre una variable cuantitativa llamada variable dependiente y una o más variables independientes, llamadas predictoras. Estas deben ser por lo general cuantitativas, sin embargo usar predictoras que son cualitativas es permisible. Modelo de regresión. Ecuación que representa la relación entre las variables. Para estimar la ecuación del modelo se debe tener una muestra de entrenamiento. Analisis de Regresion Mayo, 2008

3 Analisis de Regresion Mayo, 2008
Ejemplo NACION %INMUNIZACION TASA_mortalida 1 "Bolivia" d 2 "Brazil" 3 "Cambodia" 4 "Canada" 5 "China" 6 "Czech_Republic" 7 "Egypt" 8 "Ethiopia" 9 "Finland" 10 "France" 11 "Greece" 12 "India" 13 "Italy" 14 "Japan" 15 "Mexico" 16 "Poland" 17 "Russian_Federation" 18 "Senegal" 19 "Turkey" 20 "United_Kingdom" Analisis de Regresion Mayo, 2008

4 Analisis de Regresion Mayo, 2008

5 Analisis de Regresion Mayo, 2008
Ejemplo de una linea de Regresion Analisis de Regresion Mayo, 2008

6 Usos del análisis de regresión:
Analisis de Regresion enero 2004 Usos del análisis de regresión: a) Predicción b) Descripción c) Control d) Selección de variables Analisis de Regresion Mayo, 2008 Edgar Acuna

7 El modelo de Regresión Lineal simple Considerando la muestra (Xi,Yi) para i=1,…n
Suposiciones del modelo: La variable predictora X es no aleatoria Los errores ei son variables aleatorias con media 0 y varianza constante 2. Los errores y (ij=1…,n) son independientes entre si

8 Estimación de la línea de regresión usando Mínimos Cuadrados
Se debe Minimizar = = Derivando se obtiene un par de ecuaciones normales para el modelo,

9 cuya solucion produce O equivalentemente

10 1.2.2 Interpretación de los coeficientes de regresión estimados
La pendiente indica el cambio promedio en la variable de respuesta cuando la variable predictora aumenta en una unidad adicional. El intercepto indica el valor promedio de la variable de respuesta cuando la variable predictora vale 0. Sin embargo carece de interpretación práctica si es irrazonable considerar que el rango de valores de x incluye a cero.

11 1.2.3 Propiedades de los estimadores mínimos cuadráticos de regresión
Analisis de Regresion enero 2004 Propiedades de los estimadores mínimos cuadráticos de regresión a) es un estimador insegado de . Es decir, E( )= b) es un estimador insegado de . Es decir, E( )= c) La varianza de es y la de es Edgar Acuna

12 1.2.4 Propiedades de los residuales
Los residuales son las desviaciones de los valores observados de la variables de respuesta con respecto a la línea de regresión. La suma de los residuales es 0. Es decir, b) c)

13 1.2.5 Estimación de la varianza del error
Un estimador insesgado de es: es tambien llamado el cuadrado medio del error (MSE)

14 1.2.6 Descomposición de la suma de cuadrados total
La desviacion de un valor observado con respecto a la media se puede escribir como: SST = SSE + SSR Se puede deducir que

15 1.2.7 El Coeficiente de Determinación
Es una medida de la bondad de ajuste del modelo Un modelo de regresion con mayor o igual a 75% se puede considerar bastante aceptable. Nota: El valor de es afectado por la presencia de valores anormales.

16 1.2.8 Distribución de los estimadores mínimos cuadráticos
Para efecto de hacer inferencia en regresión, se requiere asumir que los errors , se distribuyen en forma normal e independientemente con media 0 y varianza constante En consecuencia, también las s se distribuyen normalmente con media y varianza . Se puede establecer que:

17 Analisis de Regresion enero 2o18
Las sumas de cuadrados son formas cuadráticas del vector aleatorio Y y por lo tanto se distribuyen como una Ji-cuadrado. Se pueden establecer los siguientes resultados: i) (Ji-Cuadrado no central con n-1 g.l) Equivalentemente iii) (Ji-Cuadrado no central con 1 g.l) Podemos mostrar que: Analisis de Regresion enero 2o18

18 1.3 Inferencia en Regresion Lineal Simple
Pruebas de hipótesis e intervalos de confianza acerca de los coeficientes de regresión del modelo de regresión poblacional. Intervalos de confianza para un valor predicho y para el valor medio de la variable de respuesta

19 1.3.1 Inferencia acerca de la pendiente y el intercepto usando la prueba t.
La pendiente de regresión se distribuye como una normal con media  y varianza Un intervalo de confianza del 100(1-)% para la pendiente poblacional  es de la forma: Donde  representa el nivel de significación.

20 Intervalo de confianza para el intercepto 
Un intervalo de confianza del 100(1-)% para el intercepto  de la linea de regresión poblacional es de la forma:

21 Pruebas de hipótesis para la pendiente  (asumiendo que su valor es 
Caso I Caso II Caso III Ho: =* Ho: =* Ho: =* Ha: * Ha: * Ha: * Prueba Estadística Regla de Decisión Rechazar Ho, Rechazar Ho Rechazar Ho si tcal<-t(,n-2) si |tcal |>t(/2,n-2) si tcal>t(,n-2) *Un “P-value” cercano a cero sugiere rechazar la hipótesis nula.

22 1.3.2 El análisis de varianza para regresión lineal simple
El análisis de varianza para regresión consiste en descomponer la variación total de la variable de respuesta en varias partes llamadas fuentes de variación. La división de la suma de cuadrados por sus grados de libertad es llamada cuadrado medio. Así se tienen tres cuadrados medios. Cuadrado Medio de Regresión=MSR=SSR/1 Cuadrado Medio del Error= MSE=SSE/(n-2) Cuadrado Medio del Total=MST=SST/(n-1) Pelayo Delgado Analisis de Regresion Enero, 2018

23 Tabla de Análisis de Varianza
________________________________________________________________ Fuente de Variación g.l. Sumas de Cuadrados Cuadrados Medios F Debido a la Regresion SSR MSR=SSR/1 Error n SSE MSE=SSE/(n-2) Total n SST Se rechazaría la hipótesis nula Ho:=0 si el “P-value” de la prueba de F es menor de 0.05

24 1.5 El Coeficiente de Correlación
Mide el grado de asociacón lineal entre las variables X y Y y se define como: a) b) La media condicional de Y dado X es , donde: y c) La varianza condicional de las Y dado X, está dado por Si entonces (perfecta relación lineal).

25 Coeficiente de correlación muestral
Considerando una muestra de n pares (xi,yi) Notar que: El cuadrado del coeficiente de correlación es igual al coeficiente de determinación.

26 ejemplo

27 Analisis de Regresion Enero, 2008
el primer término del segundo miembro se llama variación no explicada, mientras que el segundo se llama variación explicada, y esto es así porque las desviaciones tienen un patrón definido, mientras que las desviaciones se comportan en forma aleatoria o no previsible. Resultados análogos se obtienen para la variable X. La razón de la variación explicada a la variación total se llama Coeficiente de Determinación. Si la variación explicada es cero, es decir, la variación total es toda no explicada, esta razón es cero. Si la variación no explicada es cero, es decir, la variación total es toda explicada, la razón es uno. En los demás casos la razón se encuentra entre 0 y 1. Edgar Acuña Analisis de Regresion Enero, 2008

28 Analisis de Regresion Enero, 2008
Puesto que la razón es siempre no negativa, se denota por r2 . La cantidad r es lo que conocemos como coeficiente de correlación y otra forma de definirlo es como: los signos + - se utilizan para la correlación lineal positiva y negativa, respectivamente. Nótese que r es una cantidad sin dimensiones, es decir no depende de las unidades empleadas. Edgar Acuña Analisis de Regresion Enero, 2008

29 Analisis de Regresion Enero, 2008
Siempre que un valor de r se fundamenta en una muestra aleatoria de una población normal bivariada, se puede practicar una prueba de significación (como = ) o construir un intervalo de confianza para , en base a la transformación: Z es un estadístico con distribución normal con media y varianza dadas por las siguientes expresiones: Edgar Acuña Analisis de Regresion Enero, 2008

30 Luego las inferencias respecto de serán:
donde z es una variable aleatoria con distribución normal estándar. En particular, se puede probar la Hipótesis Nula de que no hay correlación ( =0) con el estadístico: Edgar Acuña Analisis de Regresion Enero, 2008

31 Analisis de Regresion Enero, 2008
Ejemplo: Problema: Los datos siguientes corresponden al número de minutos x que tardan 10 mecánicos en ensamblar cierta pieza de una maquinaria en la mañana, e y representa el tiempo que ocupan en la tarde. x y SOLUCION. Edgar Acuña Analisis de Regresion Enero, 2008

32 Analisis de Regresion Enero, 2008
En relación con el problema anterior (donde n=10 y r=0.73) probar la Hipótesis Nula que =0 contra la alternativa < >0 con un nivel de significancia de 1 – Hipótesis Nula =0 Hipótesis Alternativa < >0 (bilateral) 2 - Nivel de significancia: alfa = z = 1.96 3- Criterio: se rechaza Ho si z < ó z > 1.96, donde z vale:2.457 según z calculado Edgar Acuña Analisis de Regresion Enero, 2008

33 Analisis de Regresion Enero, 2008
5- Dado que > 1.96 se Rechaza la Hipótesis Nula, por lo tanto se acepta la Hipótesis Alternativa, esto es existe relación entre el tiempo que ocupa en la mañana y en la tarde, un mecánico para ensamblar un determinado tipo de maquinaria. Edgar Acuña Analisis de Regresion Enero, 2008

34 Analisis de Regresion Enero, 2008
Edgar Acuña Analisis de Regresion Enero, 2008