1 Y MODELO DE REGRESIÓN SIMPLE Suponemos que una variable Y es una función lineal de otra variable X, con parámetros desconocidos  1 y  2 que queremos estimar. 11 X X1X1 X2X2 X3X3 X4X4

Suponemos que existe una muestra de 4 observaciones con X valores como se muestra en la gráfica. MODELO DE REGRESIÓN SIMPLE 2 11 Y X X1X1 X2X2 X3X3 X4X4

Si la relación fuera exacta, las observaciones deberían de hallarse sobre una línea recta y no tendríamos problema en obtener los valores de  1 y  2. Q1Q1 Q2Q2 Q3Q3 Q4Q4 MODELO DE REGRESIÓN SIMPLE 3 11 Y X X1X1 X2X2 X3X3 X4X4

P4P4 En la práctica, la relación entre observaciones no es exacta y el valor de Y es diferente al correspondiente a una línea recta. P3P3 P2P2 P1P1 Q1Q1 Q2Q2 Q3Q3 Q4Q4 MODELO DE REGRESIÓN SIMPLE 4 11 Y X X1X1 X2X2 X3X3 X4X4

P4P4 Para permitir esa divergencia, escribiremos el modelo como Y =  1 +  2 X + u, donde u es el término de error. P3P3 P2P2 P1P1 Q1Q1 Q2Q2 Q3Q3 Q4Q4 MODELO DE REGRESIÓN SIMPLE 5 11 Y X X1X1 X2X2 X3X3 X4X4

P4P4 Por lo tanto, cada valor de Y tiene un componente no aleatorio,  1 +  2 X, y un componente aleatorio, u. La primera observación fue separada en estos dos componentes. P3P3 P2P2 P1P1 Q1Q1 Q2Q2 Q3Q3 Q4Q4 u1u1 MODELO DE REGRESIÓN SIMPLE 6 11 Y X X1X1 X2X2 X3X3 X4X4

P4P4 En la práctica sólo podemos observar los puntos P. P3P3 P2P2 P1P1 MODELO DE REGRESIÓN SIMPLE 7 Y X X1X1 X2X2 X3X3 X4X4

P4P4 Obviamente, podemos utilizar los puntos P para dibujar una línea que se aproxime a la línea Y =  1 +  2 X. Si escribimos esta línea Y = b 1 + b 2 X, b 1 es una estimado de  1 and b 2 es un estimado de  2. P3P3 P2P2 P1P1 ^ MODELO DE REGRESIÓN SIMPLE 8 b1b1 Y X X1X1 X2X2 X3X3 X4X4

P4P4 La línea es nombrada como modelo ajustado y los valores de Y predichos por él son llamados valores ajustados de Y. Estos están determinados por las alturas de los puntos R. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 MODELO DE REGRESIÓN SIMPLE 9 b1b1 (valor ajustado) Y (valor real) Y X X1X1 X2X2 X3X3 X4X4

P4P4 X X1X1 X2X2 X3X3 X4X4 Las diferencias entre los valores reales y los valores ajustados de Y son conocidas como residuales. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 (residual) e1e1 e2e2 e3e3 e4e4 MODELO DE REGRESIÓN SIMPLE 10 b1b1 (valor ajustado) Y (valor real) Y

P4P4 Observemos que el valor de los residuales no es el mismo que el valor de los términos de error (u). El diagrama muestra (en gris) la verdadera (pero desconocida) relación así como la línea ajustada. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 b1b1 MODELO DE REGRESIÓN SIMPLE 11 11 (valor ajustado) Y (valor real) Y X X1X1 X2X2 X3X3 X4X4

P4P4 El término de error de cada observación explica la divergencia entre el componente no-aleatorio de la relación “real” y los datos observados. P3P3 P2P2 P1P1 MODELO DE REGRESIÓN SIMPLE 12 Q2Q2 Q1Q1 Q3Q3 Q4Q4 11 b1b1 (valor ajustado) Y (valor real) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Por otro lado, los residuales son la diferencia entre los valores observados y los valores ajustados o predichos. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 MODELO DE REGRESIÓN SIMPLE 13 11 b1b1 (valor ajustado) Y (valor real) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Si el ajuste del modelo es bueno, los residuales y los términos de error serán similares, pero son conceptos distintos. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 MODELO DE REGRESIÓN SIMPLE 14 11 b1b1 (valor ajustado) Y (valor real) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Ambas líneas en este diagrama serán utilizadas en nuestro análisis. Cada una permite la descomposición del valor de Y, lo cual será ilustrado al analizar la cuarta observación. MODELO DE REGRESIÓN SIMPLE 15 Q4Q4 u4u4 11 b1b1 (valor ajustado) Y (valor real) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Al utilizar la relación teórica, Y puede ser separada en su componente no estocástico  1 +  2 X y su componente aleatorio u. MODELO DE REGRESIÓN SIMPLE 16 Q4Q4 u4u4 11 b1b1 (valor ajustado) Y (valor real) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Lo anterior es una separacón teórica debido a que no conocemos los valores de  1 o de  2, o los valores del término de error. Debemos utilizar este recurso en nuestro análisis de las propiedades de los coeficientes de regresión. MODELO DE REGRESIÓN SIMPLE 17 Q4Q4 u4u4 11 b1b1 (valor ajustado) Y (valor real) Y X X1X1 X2X2 X3X3 X4X4

P4P4 La otra separación necesaria es la de la línea de ajuste. En cada obervación, el valor real es igual al valor ajustado más el residual. Esto es una separación operacional que utilizaremos por razones prácticas. MODELO DE REGRESIÓN SIMPLE 18 e4e4 R4R4 11 b1b1 Y (valor real) (valor ajustado) Y X X1X1 X2X2 X3X3 X4X4

MODELO DE REGRESIÓN SIMPLE Criterio de mínimos cuadrados: Minimizar RSS (la suma de los residuales al cuadrado), donde Para empezar, trazaremos la línea de ajuste de tal forma que minimicemos la suma de los residuales al cuadrado, RSS. Esto es descrito como el criterio de mínimos cuadrados. 19

MODELO DE REGRESIÓN SIMPLE ¿Por qué el cuadrado de los residuales? ¿Por qué no sólo minimizar la suma de los residuales? Criterio de mínimos cuadrados: ¿Por qué no minimizar 20 Minimizar RSS (la suma de los residuales al cuadrado), donde

P4P4 La respuesta es que deberíamos obtener, aparentemente, un ajuste perfecto al trazar una línea horizontal a través del valor medio de Y. La suma de los residuales sería cero. P3P3 P2P2 P1P1 MODELO DE REGRESIÓN SIMPLE Y 21 X X1X1 X2X2 X3X3 X4X4 Y

P4P4 Debemos prevenir que los residuales negativos cancelen los positivos, y una forma de lograrlo es utilizando los cuadrados de los residuales. P3P3 P2P2 P1P1 MODELO DE REGRESIÓN SIMPLE 22 X X1X1 X2X2 X3X3 X4X4 Y Y

P4P4 Por supuesto, existen otras maneras de lidiar con este problema. El criterio de mínimos cuadrados tiene la atracción de que su estimador tiene las características que hacen que ciertas condiciones básicas se cumplan. P3P3 P2P2 P1P1 MODELO DE REGRESIÓN SIMPLE 23 X X1X1 X2X2 X3X3 X4X4 Y Y

P4P4 La siguiente sequencia muestra cómo el criterio de mínimos cuadrados es utilizado para calcular los coeficientes de la línea de ajuste. P3P3 P2P2 P1P1 MODELO DE REGRESIÓN SIMPLE 24 X X1X1 X2X2 X3X3 X4X4 Y Y

Copyright Christopher Dougherty 1999–2006. This slideshow may be freely copied for personal use