REGRESIÓN POR MÍNIMOS CUADRADOS -JOHNNY CARPIO QUIRÓS  -DOUGLAS ESPINOZA -DIEGO ANÍBAL NAVARRO CARRILLO -MAURICIO RETANA FERNANDEZ -MARCIA VEGA MONTIEL    -RAQUEL VILLALOBOS RODRIGUEZ

REGRESIÓN POR MÍNIMOS CUADRADOS Regresión Lineal Múltiple. Mínimos Cuadrados Lineales. Regresión No Lineal.

REGRESIÓN LINEAL MÚLTIPLE

DEFINICIÓN Extensión útil de la regresión lineal cuando y es una función lineal de dos o más variables independientes. Ejemplo:

SUMA DE LOS CUADRADOS DE LOS RESIDUOS

DERIVADAS PARA LA MATRIZ DE COEFICIENTES

MATRIZ PARA EL CÁLCULO DE LOS COEFICIENTES

EJEMPLO Los datos de la Tabla 1 se calcularon según la ecuación: Utilice regresión lineal para ajustar esos datos.

TABLA 2. CÁLCULOS REQUERIDOS

MATRIZ Y RESPUESTA

EXTENDIENDO EL CÁLCULO A M DIMENSIONES …

MÍNIMOS CUADRADOS

HISTORIA En 1829 Gauss fue capaz de establecer la razón del éxito maravilloso de resolver ecuaciones no lineales de Kepler por el método de mínimos cuadrados : simplemente, el método de mínimos cuadrados es óptimo en muchos aspectos. El argumento concreto se conoce como teorema de gauss Markov.

Las regresiones: lineal, polinomial y lineal múltiple pertenecen al siguiente modelo lineal general de mínimos cuadrados: donde todos los zm son funciones diferentes y los an son los coeficientes numéricos (“y” depende de múltiples valores de “x”, esto es, x1, x2, x3, … , xm).

Esa ecuación se puede reescribir en forma matricial así:

donde [Z] es una matriz de los valores calculados de las funciones z en los valores medidos de las variables independientes (todos los valores de “x” en una tabla). donde m es el número de variables en el modelo (número de funciones “x”) y n el número de datos (número de valores “x”). [Z] no siempre es una matriz cuadrada.

El vector columna {Y} contiene los valores observados de la variable dependiente: El vector columna {A} contiene los coeficientes desconocidos (los que se calculan con el método):

y el vector columna {E} contiene los residuos: La suma de los cuadrados de este modelo se define como:

Esta cantidad se minimiza tomando las derivadas parciales con respecto a cada coeficiente e igualando a cero las ecuaciones restantes. El resultado son las ecuaciones normales (que dan los valores para los coeficientes “a”) que se expresan de forma matricial como:

Técnicas de solución: Pueden utilizarse descomposición LU, Cholesky o matriz inversa.

EJEMPLO: Dados los datos: Ajuste por mínimos cuadrados X Y 1 5.04 2 8.12 3 10.64 4 13.18 5 16.20 6 20.04

Por tanto, nuestro sistema a resolver será: de donde obtenemos que: tendremos que el polinomio viene dado por:

Para ajustar los datos a una cuadrática (polinomio de grado 2), resolvemos el siguiente sistema de ecuaciones:

Con lo que el sistema a resolver es: Se obtienen: Con lo que el sistema a resolver es:                                                                                       

Cuya solución viene dada por: y, por lo tanto, la cuadrática de ajuste es:

REGRESIÓN NO LINEAL

UTILIDAD Existe una gran cantidad de casos en ingeniería en donde modelos no lineales deben ser ajustados con datos.

¿EN QUÉ SE BASA? Al igual que en los mínimos cuadrados lineales se basa en la determinación de los valores de los parámetros que minimizan la suma de los cuadrados de los residuos, la solución debe proceder en una forma iterativa.

¿CÓMO FUNCIONA? El método de Gauss-Newton sirve para minimizar los cuadrados de los residuos entre datos y ecuaciones no lineales. Forma lineal aproximada por medio de una expansión por serie de Taylor. Nuevas estimaciones por medio de la teoría de mínimos cuadrados.

MÉTODO DE GAUSS-NEWTON Para resolver problemas no lineales por mínimos cuadrados. Es un proceso iterativo. Debemos proporcionar una estimación inicial del parámetro vector que denominaremos p0.

Dadas m funciones f1,. , fm de n parámetros p1, Dadas m funciones f1, ..., fm de n parámetros p1, ..., pn con m≥n, queremos minimizar la suma Donde, p se refiere al vector (p1, ..., pn).

Una estimación inicial del parámetro vector es p0. Estimaciones posteriores pk para el vector parámetro son producidas por la relación recurrente: donde f=(f1, ..., fm) yJf(p) denota el Jacobiano de f en p (nótese que no es necesario que Jf sea cuadrada).

Una buena implementación del algoritmo de Gauss-Newton utiliza también un algoritmo de busqueda lineal: en lugar de la fórmula anterior para pk+1, se utiliza Donde el número αk es de algún modo óptimo.

CRITERIO DE PARO El procedimiento antes descrito para la regresión no lineal se repite hasta que la solución converge, es decir cuando este por debajo de un criterio de paro aceptable.

POSIBLES PROBLEMAS Para el método de Gauss-Newton las derivadas parciales pueden ser difíciles de calcular, una alternativa es: Donde delta es la perturbación fraccional pequeña.

OTROS POSIBLES PROBLEMAS Puede converger con lentitud Puede oscilar ampliamente, o sea cambia en forma continua de dirección. Puede no converger

Curva ajustada de un conjunto de datos no lineales.

Gráfico de residuos

EJEMPLO Dada la función f(x;ao,a1)=ao (1-e-a1x) X 0.25 0.75 1.25 1.75 2.25 Y 0.28 0.57 0.68 0.74 0.79

Haciendo uso de los valores iniciales: ao=1.0 y a1 =1.0 Se obtiene:

De la matriz multiplicada por su transpuesta se obtiene:

Se calcula el vector D que contiene las diferencias entre mediciones y predicciones del modelo.

Los valores obtenidos se agregan al para metro inicial supuesto, se obtiene: ao=1.0 - 0.2714 = 0.7286 a1=1.0 + 0.5019 = 1.5019