ANÁLISIS DE REGRESIÓN SIMPLE Analisis de Regresion enero 2004 ANÁLISIS DE REGRESIÓN SIMPLE Edgar Acuna

REGRESIÓN LINEAL SIMPLE Regresión: conjunto de técnicas que son usadas para establecer una relación entre una variable cuantitativa llamada variable dependiente y una o más variables independientes, llamadas predictoras. Estas deben ser por lo general cuantitativas, sin embargo usar predictoras que son cualitativas es permisible. Modelo de regresión. Ecuación que representa la relación entre las variables. Para estimar la ecuación del modelo se debe tener una muestra de entrenamiento. Analisis de Regresion Mayo, 2008

Analisis de Regresion Mayo, 2008 Ejemplo NACION %INMUNIZACION TASA_mortalida 1 "Bolivia" 77 118d 2 "Brazil" 69 65 3 "Cambodia" 32 184 4 "Canada" 85 8 5 "China" 94 43 6 "Czech_Republic" 99 12 7 "Egypt" 89 55 8 "Ethiopia" 13 208 9 "Finland" 95 7 10 "France" 95 9 11 "Greece" 54 9 12 "India" 89 124 13 "Italy" 95 10 14 "Japan" 87 6 15 "Mexico" 91 33 16 "Poland" 98 16 17 "Russian_Federation" 73 32 18 "Senegal" 47 145 19 "Turkey" 76 87 20 "United_Kingdom" 90 9 Analisis de Regresion Mayo, 2008

Analisis de Regresion Mayo, 2008

Analisis de Regresion Mayo, 2008 Ejemplo de una linea de Regresion Analisis de Regresion Mayo, 2008

Usos del análisis de regresión: Analisis de Regresion enero 2004 Usos del análisis de regresión: a) Predicción b) Descripción c) Control d) Selección de variables Analisis de Regresion Mayo, 2008 Edgar Acuna

El modelo de Regresión Lineal simple Considerando la muestra (Xi,Yi) para i=1,…n Suposiciones del modelo: La variable predictora X es no aleatoria Los errores ei son variables aleatorias con media 0 y varianza constante 2. Los errores y (ij=1…,n) son independientes entre si

Estimación de la línea de regresión usando Mínimos Cuadrados Se debe Minimizar = = Derivando se obtiene un par de ecuaciones normales para el modelo,

cuya solucion produce O equivalentemente

1.2.2 Interpretación de los coeficientes de regresión estimados La pendiente indica el cambio promedio en la variable de respuesta cuando la variable predictora aumenta en una unidad adicional. El intercepto indica el valor promedio de la variable de respuesta cuando la variable predictora vale 0. Sin embargo carece de interpretación práctica si es irrazonable considerar que el rango de valores de x incluye a cero.

1.2.3 Propiedades de los estimadores mínimos cuadráticos de regresión Analisis de Regresion enero 2004 1.2.3 Propiedades de los estimadores mínimos cuadráticos de regresión a) es un estimador insegado de . Es decir, E( )= b) es un estimador insegado de . Es decir, E( )= c) La varianza de es y la de es Edgar Acuna

1.2.4 Propiedades de los residuales Los residuales son las desviaciones de los valores observados de la variables de respuesta con respecto a la línea de regresión. La suma de los residuales es 0. Es decir, b) c)

1.2.5 Estimación de la varianza del error Un estimador insesgado de es: es tambien llamado el cuadrado medio del error (MSE)

1.2.6 Descomposición de la suma de cuadrados total La desviacion de un valor observado con respecto a la media se puede escribir como: SST = SSE + SSR Se puede deducir que

1.2.7 El Coeficiente de Determinación Es una medida de la bondad de ajuste del modelo Un modelo de regresion con mayor o igual a 75% se puede considerar bastante aceptable. Nota: El valor de es afectado por la presencia de valores anormales.

1.2.8 Distribución de los estimadores mínimos cuadráticos Para efecto de hacer inferencia en regresión, se requiere asumir que los errors , se distribuyen en forma normal e independientemente con media 0 y varianza constante . En consecuencia, también las s se distribuyen normalmente con media y varianza . Se puede establecer que:

Analisis de Regresion enero 2o18 Las sumas de cuadrados son formas cuadráticas del vector aleatorio Y y por lo tanto se distribuyen como una Ji-cuadrado. Se pueden establecer los siguientes resultados: i) (Ji-Cuadrado no central con n-1 g.l) Equivalentemente iii) (Ji-Cuadrado no central con 1 g.l) Podemos mostrar que: Analisis de Regresion enero 2o18

1.3 Inferencia en Regresion Lineal Simple Pruebas de hipótesis e intervalos de confianza acerca de los coeficientes de regresión del modelo de regresión poblacional. Intervalos de confianza para un valor predicho y para el valor medio de la variable de respuesta

1.3.1 Inferencia acerca de la pendiente y el intercepto usando la prueba t. La pendiente de regresión se distribuye como una normal con media  y varianza Un intervalo de confianza del 100(1-)% para la pendiente poblacional  es de la forma: Donde  representa el nivel de significación.

Intervalo de confianza para el intercepto  Un intervalo de confianza del 100(1-)% para el intercepto  de la linea de regresión poblacional es de la forma:

Pruebas de hipótesis para la pendiente  (asumiendo que su valor es  Caso I Caso II Caso III Ho: =* Ho: =* Ho: =* Ha: * Ha: * Ha: * Prueba Estadística Regla de Decisión Rechazar Ho, Rechazar Ho Rechazar Ho si tcal<-t(,n-2) si |tcal |>t(/2,n-2) si tcal>t(,n-2) *Un “P-value” cercano a cero sugiere rechazar la hipótesis nula.

1.3.2 El análisis de varianza para regresión lineal simple El análisis de varianza para regresión consiste en descomponer la variación total de la variable de respuesta en varias partes llamadas fuentes de variación. La división de la suma de cuadrados por sus grados de libertad es llamada cuadrado medio. Así se tienen tres cuadrados medios. Cuadrado Medio de Regresión=MSR=SSR/1 Cuadrado Medio del Error= MSE=SSE/(n-2) Cuadrado Medio del Total=MST=SST/(n-1) Pelayo Delgado Analisis de Regresion Enero, 2018

Tabla de Análisis de Varianza ________________________________________________________________ Fuente de Variación g.l. Sumas de Cuadrados Cuadrados Medios F Debido a la Regresion 1 SSR MSR=SSR/1 Error n-2 SSE MSE=SSE/(n-2) Total n-1 SST Se rechazaría la hipótesis nula Ho:=0 si el “P-value” de la prueba de F es menor de 0.05

1.5 El Coeficiente de Correlación Mide el grado de asociacón lineal entre las variables X y Y y se define como: a) b) La media condicional de Y dado X es , donde: y c) La varianza condicional de las Y dado X, está dado por Si entonces (perfecta relación lineal).

Coeficiente de correlación muestral Considerando una muestra de n pares (xi,yi) Notar que: El cuadrado del coeficiente de correlación es igual al coeficiente de determinación.

ejemplo

Analisis de Regresion Enero, 2008 el primer término del segundo miembro se llama variación no explicada, mientras que el segundo se llama variación explicada, y esto es así porque las desviaciones tienen un patrón definido, mientras que las desviaciones se comportan en forma aleatoria o no previsible. Resultados análogos se obtienen para la variable X. La razón de la variación explicada a la variación total se llama Coeficiente de Determinación. Si la variación explicada es cero, es decir, la variación total es toda no explicada, esta razón es cero. Si la variación no explicada es cero, es decir, la variación total es toda explicada, la razón es uno. En los demás casos la razón se encuentra entre 0 y 1. Edgar Acuña Analisis de Regresion Enero, 2008

Analisis de Regresion Enero, 2008 Puesto que la razón es siempre no negativa, se denota por r2 . La cantidad r es lo que conocemos como coeficiente de correlación y otra forma de definirlo es como: los signos + - se utilizan para la correlación lineal positiva y negativa, respectivamente. Nótese que r es una cantidad sin dimensiones, es decir no depende de las unidades empleadas. Edgar Acuña Analisis de Regresion Enero, 2008

Analisis de Regresion Enero, 2008 Siempre que un valor de r se fundamenta en una muestra aleatoria de una población normal bivariada, se puede practicar una prueba de significación (como = ) o construir un intervalo de confianza para , en base a la transformación: Z es un estadístico con distribución normal con media y varianza dadas por las siguientes expresiones: Edgar Acuña Analisis de Regresion Enero, 2008

Luego las inferencias respecto de serán: donde z es una variable aleatoria con distribución normal estándar. En particular, se puede probar la Hipótesis Nula de que no hay correlación ( =0) con el estadístico: Edgar Acuña Analisis de Regresion Enero, 2008

Analisis de Regresion Enero, 2008 Ejemplo: Problema: Los datos siguientes corresponden al número de minutos x que tardan 10 mecánicos en ensamblar cierta pieza de una maquinaria en la mañana, e y representa el tiempo que ocupan en la tarde. x 11.1 10.3 12 15.1 13.7 18.5 17.3 14.2 14.8 15.3 y 10.9 14.2 13.8 21.5 13.2 21.1 16.4 19.3 17.4 19 SOLUCION. Edgar Acuña Analisis de Regresion Enero, 2008

Analisis de Regresion Enero, 2008 En relación con el problema anterior (donde n=10 y r=0.73) probar la Hipótesis Nula que =0 contra la alternativa < >0 con un nivel de significancia de 0.05. 1 – Hipótesis Nula =0 Hipótesis Alternativa < >0 (bilateral) 2 - Nivel de significancia: alfa =0.05 z = 1.96 3- Criterio: se rechaza Ho si z < -1.96 ó z > 1.96, donde z vale:2.457 según z calculado Edgar Acuña Analisis de Regresion Enero, 2008

Analisis de Regresion Enero, 2008 5- Dado que 2.457 > 1.96 se Rechaza la Hipótesis Nula, por lo tanto se acepta la Hipótesis Alternativa, esto es existe relación entre el tiempo que ocupa en la mañana y en la tarde, un mecánico para ensamblar un determinado tipo de maquinaria. Edgar Acuña Analisis de Regresion Enero, 2008

Analisis de Regresion Enero, 2008 Edgar Acuña Analisis de Regresion Enero, 2008