UNIVERSIDAD AUTÓNOMA DEL ESTADO DE MÉXICO Facultad de Ingeniería Coordinación de Materias Propedéuticas Coordinación de Ingeniería Mecánica Asignatura de Métodos Numéricos “Ajuste por mínimos cuadrados” María de los Ángeles Contreras Flores Agosto 2016 Borrador para pizarrón

Borrador para pizarrón Contenido Guión explicativo Objetivo Introducción Aproximación por Mínimos Cuadrados (deducción del método) Regresión lineal Criterio del “mejor” ajuste Cuantificación del error Ejemplos Conclusiones Bibliografía Referencias mesográficas Borrador para pizarrón

Borrador para pizarrón Guión explicativo Este material ha sido desarrollado para alumnos del curso de Métodos Numéricos, con el propósito de apoyar la impartición del tema de “Regresión por mínimos cuadrados”. Para su correcta comprensión, es necesario que tengan conocimientos de los conceptos elementales de estadística como son: media aritmética, desviación estándar, suma residual de cuadrados, intervalos de confianza y distribución normal. Borrador para pizarrón

Borrador para pizarrón Guión explicativo En este tema, primero aprenderán como ajustar la “mejor” línea recta a través de un conjunto de datos, técnica conocida como regresión lineal. Posteriormente, analizarán la forma de obtener la pendiente y la intersección (con el eje 𝑦) de dicha línea recta y evaluarán la confiabilidad de sus resultados. Borrador para pizarrón

Borrador para pizarrón Objetivo Entender la deducción de la regresión lineal por mínimos cuadrados y evaluar la confiabilidad del ajuste utilizando evaluaciones gráficas y cuantitativas. Borrador para pizarrón

Borrador para pizarrón Introducción Es muy común que en las ciencias experimentales, sociales y de la conducta, se realicen experimentos o bien, se apliquen encuestas que seguramente, producirán un considerable número de datos. Realizar un análisis de los datos obtenidos, es necesario para sacar conclusiones sobre la información y tomar decisiones o bien, verificar y/o reprobar modelos o teorías existentes Borrador para pizarrón

Borrador para pizarrón Introducción Una opción para interpretar estos datos, es hacer uso de métodos gráficos y, una vez realizada esta inspección visual, tratar de encontrar la posible relación entre 𝑥 y 𝑦 para después generar una función de aproximación que se ajuste a la forma o tendencia de los datos. Borrador para pizarrón

Aproximación por Mínimos Cuadrados Deducción del método Aproximación por Mínimos Cuadrados Borrador para pizarrón

Borrador para pizarrón Deducción del método Cuando los datos experimentales obtenidos presentan errores significativos, no es apropiado utilizar la interpolación polinomial para predecir valores intermedios ya que los resultados podrían no ser confiables. OOPS!! Borrador para pizarrón

Observa las siguientes gráficas en las que se presentan los datos obtenidos en un experimento y que tienen un considerable grado de error: Gráfica 1c. Ajuste por mínimos cuadrados. Resultado más satisfactorio. Gráfica 1a. Datos con un error significativo Gráfica 1b. Ajuste polinomial con una osiclación que va más allá del rango de los datos Borrador para pizarrón

Borrador para pizarrón Como se aprecia en la gráfica 1b, el polinomio de séptimo grado que pasa exactamente por todos los puntos, tiene una variabilidad grande con relación a los datos, es decir, la curva oscila mucho dentro del intervalo. Borrador para pizarrón

En la gráfica 1c, aunque la línea recta no pasa por cada uno de los puntos específicos, caracteriza de manera general la tendencia de los datos. Nota Esta es una estrategia adecuada cuando se quiere obtener una función de aproximación que se ajuste a la forma o tendencia de los datos, sin coincidir necesariamente en todos los puntos. (Chapra, 2013) Gráfica 1c. Ajuste por mínimos cuadrados. Resultado más satisfactorio. Borrador para pizarrón

Esta técnica es llamada Regresión por Mínimos Cuadrados Es importante definir criterios que establezcan las bases de un ajuste objetivo Una forma de determinar la “mejor” línea es hacer una inspección visual Una manera de hacerlo es generar una curva que minimice la discrepancia entre los puntos y la curva. Sin embargo, el procedimiento visual es muy subjetivo ya que depende del criterio de cada persona, por lo que tiende a ser deficiente. Esta técnica es llamada Regresión por Mínimos Cuadrados Borrador para pizarrón

Borrador para pizarrón Ajuste por mínimos cuadrados Regresión Lineal Borrador para pizarrón

Borrador para pizarrón La tensión superficial 𝑆 en un líquido es una función de la temperatura 𝑇. Para un líquido especial se han hecho mediciones de su tensión para determinadas temperaturas. Los resultados fueron los siguientes: Cuál es el valor de 𝑆 (tensión superficial) si la temperatura es igual a 35. ¿Cómo se pueden determinar los valores más probables de las constantes en la ecuación siguiente? 𝑆=𝑎𝑇+𝑏 𝑇 10 20 30 40 80 90 95 𝑆 68.0 67.1 66.4 65.6 64.6 61.8 61.0 60 Borrador para pizarrón

Borrador para pizarrón Muchos problemas como el ejemplo anterior, pueden ser resueltos empleando el ajuste de curvas. El caso más sencillo de aproximación por mínimos cuadrados, consiste en ajustar las observaciones definidas por los puntos: 0, 68 , 10,67.1 , ⋯, 95,60 , a una línea recta. Borrador para pizarrón

Borrador para pizarrón Si los datos son graficados se podrá observar que, tentativamente, presentan un comportamiento lineal (gráfica 2). Gráfica 2. Tensión superficial de un líquido como función lineal de la temperatura. Borrador para pizarrón

Borrador para pizarrón Si se tienen razones teóricas suficientes para creer que la función es en realidad lineal, entonces se deberá determinar la función correcta. Partiendo de que la ecuación de una línea recta es: 𝑦=𝑎𝑥+𝑏 ec. 1 Entonces ¿cuáles son los coeficientes 𝑎 y 𝑏? o bien, pensando geométricamente … ¿Cuál es la recta que pasa más cerca de los ocho puntos graficados? Borrador para pizarrón

Observa que hay puntos que no quedan sobre la línea recta, y que la distancia entre cada uno de los puntos y la recta obtenida representa un error o sesgo. Error o sesgo Gráfica 3. Representación del error o sesgo Borrador para pizarrón

Borrador para pizarrón Si se consideran estos errores, entonces la ecuación quedaría como: 𝑦= 𝑎 0 + 𝑎 1 𝑥+𝑒 ec 2. Donde: 𝑎 0 y 𝑎 1 son los coeficientes que representan la intersección con el eje 𝑦 y la pendiente, respectivamente y, 𝑒 es el error, residuo o diferencia entre el modelo y las observaciones. Borrador para pizarrón

Borrador para pizarrón El error o residuo se obtiene al despejar 𝑒 de la ecuación 2: 𝑒=𝑦− 𝑎 0 − 𝑎 1 𝑥 ec 3 Este error representa la discrepancia entre el valor verdadero y el valor aproximado 𝒂 𝟎 + 𝒂 𝟏 𝒙, estimado por la ecuación lineal. Por lo tanto, para tener un ajuste confiable, será necesario minimizar al máximo estos errores. Borrador para pizarrón

Criterio para el “mejor” ajuste Regresión por mínimos cuadrados Criterio para el “mejor” ajuste Borrador para pizarrón

Borrador para pizarrón Existen diferentes estrategias para ajustar una “mejor” línea a través de los datos. Sin embargo, la que supera las deficiencias de los diferentes procedimientos consiste en minimizar la suma de los cuadrados de los residuos ( 𝑆 𝑟 ) entre la 𝑦 medida y la 𝑦 calculada con el modelo lineal, como se muestra la siguiente expresión (ec. 4) : 𝑆 𝑟 = 𝑖=1 𝑛 𝑒 𝑖 2 = 𝑖=1 𝑛 𝑦 𝑖,𝑚𝑒𝑑𝑖𝑑𝑎 − 𝑦 𝑖,𝑚𝑜𝑑𝑒𝑙𝑜 2 = 𝑖=1 𝑛 𝑦 𝑖 − 𝑎 0 − 𝑎 1 𝑥 𝑖 2 Borrador para pizarrón

Borrador para pizarrón Una de las ventajas de ajustar una línea recta por mínimos cuadrados, es que se obtiene una línea única para cierto conjuntos de datos. La técnica que determina los valores de 𝑎 0 y 𝑎 1 que minimizan la ec. 4, consiste en derivarla con respecto a cada uno de los coeficientes: Borrador para pizarrón

Las sumatorias van desde 1 hasta n, a menos que se indique otra cosa. Nota ∴ Si 𝑆 𝑟 = 𝑖=1 𝑛 𝑦 𝑖 − 𝑎 0 − 𝑎 1 𝑥 𝑖 2 Las derivadas de 𝑆 𝑟 con respecto a 𝑎 0 y 𝑎 1 son: 𝜕 𝑆 𝑟 𝜕 𝑎 0 =−2 𝑦 𝑖 − 𝑎 0 − 𝑎 1 𝑥 𝑖 𝜕 𝑆 𝑟 𝜕 𝑎 1 =−2 [ 𝑦 𝑖 − 𝑎 0 − 𝑎 1 𝑥 𝑖 𝑥 𝑖 ] Borrador para pizarrón

Borrador para pizarrón Las derivadas obtenidas se igualan a cero y dan como resultado un 𝑆 𝑟 mínimo, las ecuaciones se expresan como: 0 = 𝑦 𝑖 − 𝑎 0 − 𝑎 1 𝑥 𝑖 0 = 𝑦 𝑖 𝑥 𝑖 − 𝑎 0 𝑥 𝑖 − 𝑎 1 𝑥 𝑖 2 Borrador para pizarrón

Borrador para pizarrón Si 𝑎 0 =𝑛 𝑎 0 entonces las ecuaciones se expresan como un conjunto de ecuaciones lineales simultáneas, con dos incógnitas 𝑎 0 𝑦 𝑎 1 : 𝑛 𝑎 0 + 𝑥 𝑖 𝑎 𝑖 = 𝑦 𝑖 ec. 5 𝑥 𝑖 𝑎 0 + 𝑥 𝑖 2 𝑎 𝑖 = 𝑥 𝑖 𝑦 𝑖 ec. 6 Estas ecuaciones se llaman ecuaciones normales y se resuelven de forma simultánea Nota Borrador para pizarrón

Borrador para pizarrón 𝑎 1 = 𝑛 𝑥 𝑖 𝑦 𝑖 − 𝑥 𝑖 𝑦 𝑖 𝑛 𝑥 𝑖 2 − 𝑥 𝑖 2 ec. 7 Este resultado se utiliza conjuntamente con la ec. 5 para obtener: 𝑎 0 = 𝑦 − 𝑎 1 𝑥 ec. 8 Donde 𝑦 y 𝑥 son las medias aritméticas de 𝑥 y 𝑦, respectivamente. 𝑥 = 𝑖=1 𝑛 𝑥 𝑖 𝑛 𝑦 = 𝑖=1 𝑛 𝑦 𝑖 𝑛 Borrador para pizarrón

Cuantificación del error Regresión por mínimos cuadrados Cuantificación del error Borrador para pizarrón

Ejemplo: Ajuste los datos del ejercicio anterior, a una línea recta Ejemplo: Ajuste los datos del ejercicio anterior, a una línea recta. La tensión superficial 𝑆 en un líquido es una función de la temperatura 𝑇. Para un líquido especial se han hecho mediciones de su tensión para determinadas temperaturas. T (temperatura) 10 20 30 40 80 90 95 S (tensión superficial) 68 67.1 66.4 65.6 64.6 61.8 61 60 Borrador para pizarrón

Borrador para pizarrón Se realiza el cálculo de las siguientes cantidades: 𝑛=8 𝑥 𝑖 =365 𝑦 𝑖 =514.5 𝑥 𝑖 𝑦 𝑖 =22,685 𝑥 1 2 =26525 𝑥 𝑖 2 =133,225 𝑥 = 365 8 =45.625 𝑦 = 514.5 8 =64.3125 𝑆 𝑟 =0.278702121 Borrador para pizarrón

Borrador para pizarrón Los valores obtenidos se sustituyen en las ecuaciones 7 y 8: 𝑎 1 = 8 22685 − 365 514.5 8 26525 − 365 2 𝑎 1 =−0.079930358 𝑎 0 =64.3125− −0.079930358 45.625 𝑎 0 =67.95932257 ∴ el ajuste por mínimos cuadrados es 𝑦= 67.95932257−0.079930358𝑥 Borrador para pizarrón

La línea obtenida para estos datos se presenta en la siguiente gráfica: Gráfica 4. Resultados obtenidos aplicando ajuste por mínimos cuadrados Borrador para pizarrón

En la siguiente gráfica se muestra el contraste de la línea original contra la línea obtenida por el ajuste de mínimos cuadrados. Gráfica 5. Comparación de la línea original vs la línea del ajuste Borrador para pizarrón

Borrador para pizarrón Cualquier otra línea diferente a la calculada en este ejemplo, dará como resultado una suma mayor de los cuadrados de los residuos. Por lo tanto, de acuerdo al criterio empleado, será la única “mejor” línea que pase a través de los puntos. Borrador para pizarrón

Borrador para pizarrón Algunas propiedades de este ajuste se observan, al analizar la forma en que fueron calculados los residuos a partir de la ecuación 4: 𝑆 𝑟 = 𝑖=1 𝑛 𝑒 𝑖 2 = 𝑖=1 𝑛 𝑦 𝑖 − 𝑎 0 − 𝑎 1 𝑥 𝑖 2 ec. 9 En esta ecuación, el cuadrado del residuo representa el cuadrado de la distancia vertical entre el dato y otra medida de tendencia central: la línea recta (gráfica 6). Borrador para pizarrón

Borrador para pizarrón y Medición yi Línea de regresión yi - a0 - a1xi a0 + a1xi xi x Gráfica 6. El residuo en la regresión lineal representa la distancia vertical entre un dato y la línea recta Borrador para pizarrón

Principio de máxima verosimilitud Cuantificación del error Principio de máxima verosimilitud Borrador para pizarrón

Borrador para pizarrón Para demostrar que la regresión por mínimos cuadrados proporciona la mejor estimación de 𝑎 0 y 𝑎 1 es necesario analizar el principio de la máxima verosimilitud. Es decir: Que la magnitud de los puntos alrededor de la línea sea de magnitud similar en todo el rango de los datos, y Que la distribución de estos puntos cerca de la línea sea normal. Borrador para pizarrón

𝑆 𝑦 𝑥 cuantifica la dispersión alrededor de la línea de regresión. Si estos criterios se satisfacen, una desviación para la línea de regresión se calcula mediante la ecuación: 𝑆 𝑦 𝑥 = 𝑆 𝑟 𝑛 −2 ec. 10 Donde: 𝑆 𝑦 𝑥 se le conoce como error estándar del estimado. 𝑦 𝑥 significa que el error es para un valor predicho de 𝑦 correspondiente a un valor específico de 𝑥. Nota: 𝑆 𝑦 𝑥 cuantifica la dispersión alrededor de la línea de regresión. (ver gráfica 7) Borrador para pizarrón

Borrador para pizarrón Gráfica 8. Datos de regresión que muestran la dispersión de los datos alrededor de la línea de mejor ajuste. Borrador para pizarrón

Coeficiente de Determinación La bondad de la predicción depende de la relación entre las variables. Si no existe covariación entre dos variables, entonces no se podrán hacer predicciones válidas, si la intensidad de la covariación es moderada, las predicciones no serán muy buenas. Por lo tanto, se debe disponer de alguna medida de la capacidad de la ecuación de Regresión para obtener estimaciones confiables (lo menos erróneas posible). Esta medida se obtiene calculando el: Coeficiente de Determinación Borrador para pizarrón

Coeficiente de Determinación Coeficiente de Correlación Donde: 𝑆 𝑡 es la suma total de los cuadrados alrededor de la media, y 𝑆 𝑟 es la suma de los cuadrados de los residuos alrededor de la línea de regresión. Borrador para pizarrón

𝑆 𝑟 caracteriza el error residual que queda después de la regresión. 𝑆 𝑡 representa la magnitud del error residual asociado con la variable dependiente antes de la regresión Nota: 𝑆 𝑟 caracteriza el error residual que queda después de la regresión. Nota: Borrador para pizarrón

Borrador para pizarrón Una vez obtenidos los coeficientes de determinación y correlación se puede concluir lo siguiente: Se tiene un ajuste perfecto, es decir, que la línea obtenida explica el 100% de la variabilidad de los datos si: 𝑺 𝑟 =0 y 𝑟= 𝑟 2 =1 Por otro lado, el ajuste no representa mejora alguna si: 𝑺 𝑟 = 𝑺 𝒕 y 𝑟= 𝑟 2 =𝟎 Borrador para pizarrón

Borrador para pizarrón Conclusiones Borrador para pizarrón

Borrador para pizarrón En este trabajo se analizó la aproximación de datos empleando funciones elementales. Se explicó el tipo de aproximación discreta, es decir, aquella que se presenta cuando se aproxima un conjunto finito de datos a través de una función elemental. La aplicación de los métodos de mínimos cuadrados discretos se recomienda cuando la función es especificada por un conjunto de datos que no necesariamente representan la función. El ajuste de mínimos cuadrados para los datos puede adoptar la forma de una aproximación polinomial lineal o de otro tipo, pudiendo ser una función exponencial. Estas aproximaciones se obtienen al resolver conjuntos de ecuaciones normales, como las vistas en este tema. Borrador para pizarrón

Borrador para pizarrón Bibliografía Chapra C. Steven y Canale P. Raymond, (2007), Métodos numéricos para ingenieros, McGraw-Hill, 5ª. Edición, México. Cheney W y Kinkaid D, (2011), Métodos Numéricos y computación, Cengage Learning, 6ª. Edición, México. Burden R., Análisis Numérico, Thomson, 7ª. Edición, México. Borrador para pizarrón

Referencias mesográficas http://www.uv.es/webgid/Descriptiva/tema_5_correlacin.html http://www.uv.es/webgid/Descriptiva/6_coeficiente_de_determinacin.html Borrador para pizarrón