MODELOS DE PRONOSTICOS Estimación en el análisis de regresión Primer semestre 2010

Diagrama de dispersión Al graficar los valores obtenidos en la muestra se obtiene una nube de puntos (diagrama de dispersión). ¿Cómo encontrar la “mejor” recta de regresión? Mediante los Mínimos cuadrados ordinarios

Método de mínimos cuadrados ordinarios (MCO) Recordando que la FRP de dos variables: Se estima a través de la FRM pero Los residuos son la diferencia entre el valor observado y el valor estimado de Y

Método de mínimos cuadrados ordinarios (MCO) Dados n observaciones de X e Y, se esta interesado en determinar la FRM de tal manera que esté lo mas cerca posible a Y observado. Se puede adoptar el criterio de minimizar el error total Entonces es posible que la suma algebraica sea pequeña e incluso cero a pesar de lo disperso que puedan ser los errores entorno a la FRM, por ej. La suma algebraica de estos residuos es cero a pesar de la dispersión de los errores

Método de mínimos cuadrados ordinarios (MCO) Se evita este problema adoptando un criterio de mínimos cuadrados, la FRM se minimiza a través de un criterio cuadrático del error

Método de mínimos cuadrados ordinarios (MCO) A partir de lo anterior se tiene: Es decir, la suma de los residuos al cuadrado es función de los estimadores Para cada conjunto de valores diferentes de estos estimadores se obtendrán residuos diferentes ¿Cuál valor de los parámetros es el correcto?, Ya que se pueden realizar muchos ensayos y comparar los residuos, para obtener el “mejor”

Método de mínimos cuadrados ordinarios (MCO) El método de mínimos cuadrados es tal que para una muestra o conjunto de datos entrega los estimadores tal que el error cuadrático es mínimo A través de cálculo diferencial, se obtienen las siguientes ecuaciones: Donde n es el tamaño de la muestra.

Método de mínimos cuadrados ordinarios (MCO) Resolviendo el sistema, se tiene Donde e son las medias muestrales y son las desviaciones con respecto a las medias

Método de mínimos cuadrados ordinarios (MCO) Los estimadores obtenidos se conocen como estimadores de mínimos cuadrados. Propiedades numéricas de los mínimos cuadrados ordinarios: Los estimadores MCO están expresados en cantidades observables. Fácil de calcular. Son estimadores puntuales, es decir dada una muestra el estimador proporcionará un solo valor del parámetro poblacional.

Método de mínimos cuadrados ordinarios (MCO) Una vez obtenido los estimadores MCO de la información muestral, se obtiene la línea de regresión la cual tiene las siguientes propiedades: Pasa a través de las medias muestrales de Y y X. El valor promedio de Y estimado es igual a la media de Y observado

Método de mínimos cuadrados ordinarios (MCO) Sumando a ambos lados sobre valores muestrales y dividiendo por el tamaño de la muestra: Donde se hace uso del hecho que

Supuestos del método de mínimos cuadrados El modelo de regresión es lineal en los parámetros Los valores de X son fijos y los de Y son estocásticos. Los residuos (para cada valor de X) siguen una distribución normal con media cero.

Supuestos del método de mínimos cuadrados Se puede observar que cada población Y correspondiente a un X dado, está distribuida alrededor de su media, con algunos valores de Y por encima y por debajo de esta. Las distancias asociadas a esto son los errores

Supuestos del método de mínimos cuadrados Homocedasticidad o igual varianza del error La varianza del error (ui) para cada X es constante. Es un número positivo σ2. Homocedasticidad o igual dispersión. Las poblaciones de Y correspondientes diferentes valores de X tienen la misma varianza Ya que del supuesto 3

Supuestos del método de mínimos cuadrados El caso contrario al anterior se conoce como Heterocedasticidad es decir varianza desigual, lo que implica que la varianza de la población Y no es constante Observar el subíndice de σ2 el cual indica que la varianza de la población Y ya no es constante

Supuestos del método de mínimos cuadrados No hay autocorrelación entre las perturbaciones. Dados dos valores cualquiera de X, Xi y Xj (i≠j), las correlaciones entre sus respectivos residuos es cero. Esto significa que dado X, las desviaciones de dos valores cualquiera de Y de su media no muestran patrones definidos de relación

Supuestos del método de mínimos cuadrados La idea es que la autocorrelación esté ausente. La figura muestra que no hay un patrón sistemático para los residuos, indicando esto cero correlación

Supuestos del método de mínimos cuadrados Correlación positiva Correlación negativa

Supuestos del método de mínimos cuadrados La covarianza entre el residuo y la variables explicativa es cero, formalmente esto es: Se supone que la variable explicativa y el residuo tienen una influencia separada sobre Y. Si existe alguna correlación entre la variable explicativa y el residuo, es difícil aislar las influencia de estos sobre Y.

Supuestos del método de mínimos cuadrados El número de observaciones n debe ser mayor que el número de parámetros a estimar. Es decir el número de observaciones n debe ser mayor que el número de variables explicativas. El modelo de regresión está correctamente especificado, no hay un sesgo de especificación o error en el modelo utilizado en el análisis empírico. ¿Que variables deben estar en el modelo? ¿Cuál es la forma funcional del modelo? ¿Es el modelo lineal en los parámetro, en las variables o en ambos?

Supuestos del método de mínimos cuadrados Para cualquier punto entre A y B un modelo sobrestimará el valor medio de Y

Precisión o error estándar mínimos cuadrados Ahora lo que se requiere es alguna medida de precisión o confiabilidad de los estimadores. Estadísticamente esto se conoce como error estándar o desviación estándar. Los errores estándar de los MCO son de la siguiente manera

Precisión o error estándar mínimos cuadrados Todas las cantidades anteriores excepto la varianza se pueden determinar a partir de los datos, esta se estima a partir de:

Teorema de Gauss-Markov Un estimador MCO es el mejor estimador lineal insesgado (MELI) de beta2 si se cumple lo siguiente: Es lineal, es decir, función lineal de una variable aleatoria, tal como Y. Es insesgado

Teorema de Gauss-Markov Tiene varianza mínima dentro de todos los estimadores lineales insesgados. Un estimador insesgado con varianza mínima es conocido como un estimador eficiente. Teorema Gauss-Markov: Dados los supuestos del modelo clásico de regresión lineal, los estimadores de mínimos cuadrados, dentro de la clase de estimadores lineales insesgados, tienen varianza mínima, es decir, son MELI

Teorema de Gauss-Markov Lo anterior se esquematiza en las siguientes figuras Dos estimadores uno MCO y otro no. Ambos son insesgados y supongamos que ambos son lineales ¿Cuál es el mejor?

Coeficiente de determinación Es importante estudiar la bondad de ajuste de la línea de regresión, es decir, cuan cercana está la línea de regresión respecto del conjunto de datos. Si todas las observaciones fueran a caer en la recta de regresión, se tendría un ajuste “perfecto”, pero raramente se presenta este caso. El coeficiente de determinación r2 es una medida de resumen que nos indica que tan bien ajustados esta la línea de regresión muestral a los datos. Consideremos una herramienta gráfica, la cual nos dará una noción acerca del concepto asociado a este coeficiente, a través de diagramas de Venn.

Coeficiente de determinación El circulo Y representa la variación de la variable dependiente Y y el círculo X representa la variación de la variable explicativa X. La intersección de los círculos representa la medida en la cual la variación de Y es explicada por la variación de X, Entre mayor sea el area de intersección mayor será la variación de Y que es explicada por X. Cuando no se intersectan evidentemente r2 es cero y caso contrario es uno, puesto que el 100% de la variación de Y es explicada por X

Coeficiente de determinación Para el cálculo de r2 se tiene:

Coeficiente de determinación Esta cantidad así definida se conoce como el coeficiente de determinación y es la medida de bondad de ajuste de una línea de regresión. En otras palabras mide la proporción o el porcentaje de la variación total en Y explicada por el modelo de regresión Propiedades: Es una cantidad no negativa. Sus límites son 0 y 1, un r2=1 indica un ajuste perfecto, es decir, el residuo es cero para cada valor muestreado, un r2=0, indica una nula relación entre la variable dependiente y la variable explicativa. También se puede definir

Coeficiente de correlación Estrechamente relacionada con r2, pero conceptualmente muy diferente, es el coeficiente de correlación r, que entrega una medida de asociación entre dos variables. Recordando la definición de r2, se tiene: Coeficiente de correlación

Coeficiente de correlación Puede ser calculado como Propiedades de r: Puede ser positivo o negativo dependiendo del signo del numerador de Esta entre los límites de -1 y 1: -1<=r<=1.

Coeficiente de correlación Es simétrico por naturaleza, coeficiente de correlación entre X e Y, es el mismo que entre Y y X Es independiente del origen y de la escala Si X e Y son estadísticamente independiente su correlación es cero, pero si r=0, esto no implica que X e Y sean independientes Es una medida de asociación lineal o dependencia lineal, en relaciones no lineales carece de significado. Aunque es una medida de asociación entre dos variables, esto no implica necesariamente una relación causa efecto

Coeficiente de correlación

Ejemplo De los datos anteriores se obtuvo la siguiente muestra: Gasto semanal (M$) Ingreso semanal (M$) 60 80 75 100 90 120 96 140 110 160 180 128 200 220 152 240 260

Ejemplo ¿Qué representan los coeficientes de regresión?

Ejemplo

Ejemplo

Ejemplo

Ejemplo

Ejemplo