LOS COMPONENTES ALEATORIOS DE LOS COEFICIENTES DE REGRESIÓN Modelo real Modelo estimado Los coeficientes de regresión son tipos especiales de variable aleatorias. Demostraremos esto usando el modelo de regresión simple en el cual Y depende de X. Las dos ecuaciones muestran el modelo real y la regresión estimada. 1

Modelo real Modelo estimado Investigaremos el comportamiento del estimador ordinario de mínimos cuadrados (ordinary least squares, OLS) del coeficiente de la pendiente, mostrado arriba. behavior of the ordinary least squares (OLS) estimator of the slope coefficient, shown above. 2

Modelo real Modelo estimado Y tiene dos componentes: un componente no-aleatorio que depende de X y los parámetros, y el componente aleatorio u. Puesto b2 depende de Y, depende indirectamente de u. 3

Modelo real Modelo estimado Si los valores de u en la muestra hubieran sido diferentes, habríamos tenido diversos valores de Y y, por lo tanto, un valor distinto para b2. Podemos en teoría descomponer b2 en sus componentes no-aleatorio y aleatorios. 4

Modelo real Modelo estimado Comenzaremos con el numerador, substituyendo para Y y su media muestral del modelo real. 5

Modelo real Modelo estimado El término b1 es el segundo factor en cancelarse. Reacomodamos los términos restantes. 6

Expandimos el producto. Modelo real Modelo estimado Expandimos el producto. 7

Modelo real Modelo estimado Substituyendo esto por el numerador de la expresión para b2, descomponemos b2 en el valor real b2 y un término de error que depende de los valores de X y u. 8

Modelo real Modelo estimado El término de error (error term) depende del valor del término de error (the disturbance term) en cada observación de la muestra, y, por lo tanto, es un tipo especial de variable aleatoria. 9

Modelo real Modelo estimado El error term es responsable de la variación de b2 al rededor de su componente fijo b2. 10

Esta es la expresión hasta ahora. 11

El siguiente paso es hacer una pequeña simplificación en el numerador del error term. Primero, se desarrolla como se muestra. 12

El valor medio de u es una factor común de la segunda suma, por lo que puede ser extraída. 13

El segundo término desaparece debido a que las suma de las desviaciones de X respecto a la media muestral es automaticamente cero. 14

Por lo tanto, podemos reescribir la de ecuación como se muestra Por lo tanto, podemos reescribir la de ecuación como se muestra. Por conveniencia, el denominador ha sido indicado como D. 15

Otro pequeño cambio de la expresión para el error term. 16

Otro cambio. 17

Una más. 18

Por lo tanto, hemos demostrado que b2 es igual al valor real más una combinación lineal (weighted linear combination) de los valores del término de error en la muestra, donde los weights están en función de los valores de X en las observaciones en la muestra. 19

Como se puede observar, cada valor en la muestra del término de error afecta el valor muestral de b2. 20

Antes de avanzar, talvez sea útil aclarar una cuestión matemática Antes de avanzar, talvez sea útil aclarar una cuestión matemática. En la suma del denominador para la expresión de ai, el subíndice ha sido cambiado por j. ¿Por qué? 21

El denominador fue reescrito de una manera más cuidadosa para hacer explícito que la suma de las desviaciones cuadráticas (summation of the squared deviations) de X es para todos los valores de 1 hasta n. of X is for all values from 1 to n. 22

No importa en absoluto que letra se utilice para denotar el índice que conduce la suma, con la condición de que no estemos ya usando la letra en alguna parte de la expresión. 23

Esto sucede tanto que ya estamos utilizando I en el numerador, así que para evitar la confusión, y mantener a los matemáticos felices, debemos utilizar otra letra para el índice de la adición. 24

Investigaremos de dos maneras el efecto del error term sobre b2: 1) en el resto de esta presentación, a través del Experimento Monte Carlo; 2) en la siguiente presentación, utilizaremos un método analítico. 25

Elija valores de los parámetros Elija distribución para u X = Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija datos para X Elija valores de los parámetros Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generate the values of Y Un experimento Monte Carlo es un ejercicio de “laboratorio” usualmente llevado a cabo con el objetivo de evaluar las propiedades de los estimadores de regresión bajo condiciones controladas. 26

Elija valores de los parámetros Elija distribución para u Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija distribución para u Elija datos para X X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generate the values of Y Llevaremos a cabo uno para investigar el comportamiento de los coeficientes de regresión OLS cuando son aplicados a un modelo de regresión simple. 27

Elija valores de los parámetros Elija datos para X Elija distribución Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generate the values of Y Asumiremos que Y está determianda por una variable X y un término de error u, escogeremos valores para X, y elegiremos los valores de los parámetros. 28

Elija valores de los parámetros Elija distribución para u Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija distribución para u Elija datos para X X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generate the values of Y También generaremos valores aleatorios, de una distribución conocida, para el término de error. 29

Elija valores de los parámetros Elija datos para X Choose Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Choose distribution for u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Y = 2.0 + 0.5X + u Modelo Generate the values of Y Generar los valores de Y Los valores de Y en la muestra estarán determinados por los valores de X, los parámetros y los valores del término de error. 30

Elija valores de los parámetros Elija datos para X Elija distribución REGRESSION COEFFICIENTS AS RANDOM VARIABLES Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Model Y = 2.0 + 0.5X + u Generar los valores de Y Generate the values of Y Estimadores Estimar los valores de los parámetros Entonces utilizaremos la técnica de regresión para obtener las estimaciones de los parámetros usando solamente los datos sobre Y y X. 31

Generar los valores de Y Generate the values of Y REGRESSION COEFFICIENTS AS RANDOM VARIABLES Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generate the values of Y Estimadores Estimate the values of the parameters Podemos repetir el proceso indefinidamente al utilizar los mismos datos para X y los mismos valores de los parámetros, pero con nuevos valores generados al azar para el término de error. 32

Elija valores de los parámetros Elija datos para X Elija distribución REGRESSION COEFFICIENTS AS RANDOM VARIABLES Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generate the values of Y Estimadores Estimar los valores de los parámetros De esta manera podemos derivar las distribuciones de probabilidad para los estimadores de regresión que permiten que, por ejemplo, averigüemos si están sesgados o no. biased or unbiased. 33

Elija valores de los parámetros Elija datos para X Elija distribución Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generate the values of Y Estimadores Estimar los valores de los parámetros En este experimento tenemos 20 observaciones en la muestra. X toma los valores de 1, 2, ..., 20. b1 es igual a 2.0 y b2 es igual a 0.5. 34

Generar los valores de Y Generar los valores de Y REGRESSION COEFFICIENTS AS RANDOM VARIABLES Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generar los valores de Y Estimadores Estimar los valores de los parámetros El término de error es generado aleatoriamente utilizando una distribución normal zero mean and unit variance. Por consiguiente, generamos los valores de Y. 35

Generar los valores de Y Generar los valores de Y Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generar los valores de Y Estimadores Estimar los valores de los parámetros Estimar los valores de los parámetros Entonces, haremos una regresión de Y sobre X utilizando la técnica OLS de estimación y observaremos qué tan bien correponden nuestros estimadores b1 y b2 con los valores reales de b1 and b2. 36

X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 –0.59 1.91 11 7.5 1.59 9.09 2 3.0 –0.24 2.76 12 8.0 –0.92 7.08 3 3.5 –0.83 2.67 13 8.5 –0.71 7.79 4 4.0 0.03 4.03 14 9.0 –0.25 8.75 5 4.5 –0.38 4.12 15 9.5 1.69 11.19 6 5.0 –2.19 2.81 16 10.0 0.15 10.15 7 5.5 1.03 6.53 17 10.5 0.02 10.52 8 6.0 0.24 6.24 18 11.0 –0.11 10.89 9 6.5 2.53 9.03 19 11.5 –0.91 10.59 10 7.0 –0.13 6.87 20 12.0 1.42 13.42 Y = 2.0 + 0.5X + u Aquí se encuentran los valores de X, eleguidos arbitrariamente. 37

X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 –0.59 1.91 11 7.5 1.59 9.09 2 3.0 –0.24 2.76 12 8.0 –0.92 7.08 3 3.5 –0.83 2.67 13 8.5 –0.71 7.79 4 4.0 0.03 4.03 14 9.0 –0.25 8.75 5 4.5 –0.38 4.12 15 9.5 1.69 11.19 6 5.0 –2.19 2.81 16 10.0 0.15 10.15 7 5.5 1.03 6.53 17 10.5 0.02 10.52 8 6.0 0.24 6.24 18 11.0 –0.11 10.89 9 6.5 2.53 9.03 19 11.5 –0.91 10.59 10 7.0 –0.13 6.87 20 12.0 1.42 13.42 Y = 2.0 + 0.5X + u Dada nuestra elección de números para b1 y b2, podemos derivar el componente no aleatorio de Y. 38

El componente no aleatorio se muestra graficamente. 39

X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 –0.59 1.91 11 7.5 1.59 9.09 2 3.0 –0.24 2.76 12 8.0 –0.92 7.08 3 3.5 –0.83 2.67 13 8.5 –0.71 7.79 4 4.0 0.03 4.03 14 9.0 –0.25 8.75 5 4.5 –0.38 4.12 15 9.5 1.69 11.19 6 5.0 –2.19 2.81 16 10.0 0.15 10.15 7 5.5 1.03 6.53 17 10.5 0.02 10.52 8 6.0 0.24 6.24 18 11.0 –0.11 10.89 9 6.5 2.53 9.03 19 11.5 –0.91 10.59 10 7.0 –0.13 6.87 20 12.0 1.42 13.42 Y = 2.0 + 0.5X + u A continuación, generamos aleatoriamente un valor del término de error para cada observación para una distribución N(0,1) (normal with zero mean and unit variance). 40

X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 –0.59 1.91 11 7.5 1.59 9.09 2 3.0 –0.24 2.76 12 8.0 –0.92 7.08 3 3.5 –0.83 2.67 13 8.5 –0.71 7.79 4 4.0 0.03 4.03 14 9.0 –0.25 8.75 5 4.5 –0.38 4.12 15 9.5 1.69 11.19 6 5.0 –2.19 2.81 16 10.0 0.15 10.15 7 5.5 1.03 6.53 17 10.5 0.02 10.52 8 6.0 0.24 6.24 18 11.0 –0.11 10.89 9 6.5 2.53 9.03 19 11.5 –0.91 10.59 10 7.0 –0.13 6.87 20 12.0 1.42 13.42 Y = 2.0 + 0.5X + u De este modo, por ejemplo, el valor de Y en la primera observación es 1.91, no 2.50. 41

X 2.0+0.5X u Y X 2.0+0.5X u Y 1 2.5 –0.59 1.91 11 7.5 1.59 9.09 2 3.0 –0.24 2.76 12 8.0 –0.92 7.08 3 3.5 –0.83 2.67 13 8.5 –0.71 7.79 4 4.0 0.03 4.03 14 9.0 –0.25 8.75 5 4.5 –0.38 4.12 15 9.5 1.69 11.19 6 5.0 –2.19 2.81 16 10.0 0.15 10.15 7 5.5 1.03 6.53 17 10.5 0.02 10.52 8 6.0 0.24 6.24 18 11.0 –0.11 10.89 9 6.5 2.53 9.03 19 11.5 –0.91 10.59 10 7.0 –0.13 6.87 20 12.0 1.42 13.42 Y = 2.0 + 0.5X + u Similarmente, generamos valores de Y para las 19 observaciones restantes. 42

Las 20 obervaciones se muestran graficamente. 43

Generar los valores de Y Generar los valores de Y Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generar los valores de Y Estimadores Estimar los valores de los parámetros Hemos alcanzado este punto en el experiemnto Monte Carlo. 44

Generar los valores de Y Generar los valores de Y Elija el modelo en el cual Y es determinada por X, valores de los parámetro, y u. Y = b1 + b2X + u Elija valores de los parámetros Elija datos para X Elija distribución para u X = 1, 2, ... , 20 b1 = 2.0 b2 = 0.5 u is independent N(0,1) Modelo Y = 2.0 + 0.5X + u Generar los valores de Y Generar los valores de Y Estimadores Estimar los valores de los parámetros Estimar los valores de los parámetros Ahora aplicaremos los estimadores OLS para b1 y b2a a los datos de X y Y, y veremos qué tan bien los estimadores corresponde a los valores reales. 45

Aquí está nuevamente el diagrama de dispersión. 46

Los estimadores de regresión sólo utilizan los valores observados de X y Y. 47

Aquí está la ecuación de regresión estimada para lo datos. 48

Para comparación, el componente no aleatorio de la relación real también se muestra. b2 (valor real 0.50) ha sido sobrestimada y b1 (valor real 2.00) ha sido subestimada. 49

Repetiremos el proceso iniciando con el mismo componente no aleatorio de Y. 50

Como antes, los valores de Y son modificados agregando los valores generados de forma aleatoria para el término de error. 51

Los nuevos valores del término de disturbio se extraen de la misma distribución N(0,1) igual que las anteriores pero, a menos que exista una coincidencia, serán diferentes. 52

Este vez el coeficientede de la pendiente ha sido subestimado y el intercepto sobrestimado. 53

Repetiremos el proceso una vez más. 54

Un conjunto nuevo de datos ha sido utilizado para generar los valores de Y. 55

Como la última vez, el coeficiente de la pendiente ha sido subestimado y el intercepto sobrestimado. 56

repeticiones b1 b2 1 1.63 0.54 2 2.52 0.48 3 2.13 0.45 4 2.14 0.50 5 1.71 0.56 6 1.81 0.51 7 1.72 0.56 8 3.18 0.41 9 1.26 0.58 10 1.94 0.52 La tabla resume los resultados de las tres regresiones y agrega aquellos que se obtuvieron mediante la repetición del proceso siete veces. 57

10 repeticiones Aquí se presetna un histograma para los estimadores deb2. 58

1-10 11-20 21-30 31-40 41-50 0.54 0.49 0.54 0.52 0.49 0.48 0.54 0.46 0.47 0.50 0.45 0.49 0.45 0.54 0.48 0.50 0.54 0.50 0.53 0.44 0.56 0.54 0.41 0.51 0.53 0.51 0.52 0.53 0.51 0.48 0.56 0.49 0.53 0.47 0.47 0.41 0.53 0.47 0.55 0.50 0.58 0.60 0.51 0.51 0.53 0.52 0.48 0.47 0.58 0.51 Aquí se presentan los estimadores de b2 obtenidos mediante 40 repeticiones del proceso. 59

50 repeticiones El histograma empieza a mostrar una tendencia central. 60

100 repeticiones Este es un histograma con 100 repeticiones. Podemos observar que la distribución es simétrica al rededor del valor real, lo que implica que el estimador no está sesgado. unbiased. 61

100 replications Sin embargo, la distribución is still rather jagged. Sería mejor repetir el proceso 1.000.000 veces, quizás más. 62

100 replications La curva rija muestra el la forma de la distribución. Es simétrica alrededor del valor real, lo que indica que el estimador no está sesgado. 63

100 repeticiones La distribución es normal proque el término de error fue extraído de una distribución normal. 64

Copyright Christopher Dougherty 1999–2006 Copyright Christopher Dougherty 1999–2006. This slideshow may be freely copied for personal use. 22.08.06