Identificación de Sistemas El metodo de los minimos cuadrados 1.

Presentación del tema: "Identificación de Sistemas El metodo de los minimos cuadrados 1."— Transcripción de la presentación:

1 Identificación de Sistemas El metodo de los minimos cuadrados 1

2 /77 Contenido Modelado de datosEl problema del modelado de datosModelos lineales y modelos no linealesEstimación de mínimos cuadrados linealIdentificabilidadMínimos Cuadrados para un modelo lineal (dinamico)Propiedades del método de los Minimos CuadradosCriterio de AkaikeEjemplos 2

3 /77 MODELADO DE DATOS 3

4 /77 Modelado de datos  El modelado de datos se puede expresar de la siguiente forma:  Dadas:  Una colección finita de datos  Una forma funcional  Hallar los parametros de la funcion  que mejor representen la relacion entre los datos 4 (x i, y i ) y = ax+b

5 /77 Modelado de datos  Se busca minimizar unos residuos 5 (x 1,y 1 ) (x 2,y 2 ) (x 3,y 3 ) (x 4,y 4 ) (x 5,y 5 ) (x 6,y 6 ) (x 7,y 7 ) f(x) = ax+b

6 /77 Criterio de los minimos cuadrados  Formulacion del ajuste por Minimos cuadrados: 6 (x 1,y 1 ) (x 2,y 2 ) (x 3,y 3 ) (x 4,y 4 ) (x 5,y 5 ) (x 6,y 6 ) (x 7,y 7 ) f(x) = ax+b

7 /77 Criterio de los minimos cuadrados  En el ejemplo, hallar el valor de los coeficientes a y b tal que se minimiza 7 donde N es el numero de datos entrada-salida dado

8 /77 Un problema de optimizacion  Aproximaciones computacionales:  Algoritmos numericos generales para la minimizacion de una funcion Basados en el gradiente; algoritmos numericos generales para hallar raices; algoritmos que aprovechan la forma de la funcion  Algoritmos con una aproximacion basada en la inteligencia artificial: algoritmos geneticos  Solucion analitica: minimos cuadrados lineal 8

9 /77 EL PROBLEMA DEL MODELADO DE DATOS 9

10 /77 La aproximacion de funciones  Una funcion puede verse como un mapeo  Ejemplo: ley fundamental de la dinámica F = ma 10 y = a,u = F,g(u) = u/m. En general, y y u pueden ser vectores

11 /77 La aproximacion de funciones  Al realizar la aproximacion de una funcion, sólo están disponibles un número finito de muestras 11 ¿Podemos postular la existencia de un modelo que explique los datos?

12 /77 La aproximacion de funciones  En general, se asume que las muestras disponibles son ruidosas 12 k = 1,2,…, N Entonces el problema de la aproximacion de funciones es equivalente a reconstruir la hipersuperficie g(u) a partir de los pares (u(k),y(k)).

13 /77 donde y El problema de la aproximacion de funciones  Dada cierta función,  deseamos construir una función f  tal que 13

14 /77 El problema de la aproximacion de funciones  La informacion que se dispone de g son N pares de entrada-entrada 14 normalmente se asume que los valores de salida del conjunto de muestras de entrenamiento estan adulterados por el ruido

15 /77 Ejemplo: una entrada, una salida 15 ¿Como podemos modelar el proceso que genera estos datos?

16 /77 Ejemplo: dos entradas, una salida 16

17 /77 El Reto  Puede ser difícil proponer una buena función f para ajustar el mapeo g  cuando sólo sabemos muy poco sobre la asociación entre U y Y en la forma de los pares de datos Z.  Puede ser dificil incluso saber cuando tenemos una buena aproximación 17

18 /77 MODELOS LINEALES Y MODELOS NO LINEALES 18

19 /77 Modelos lineales vs. No lineales  Es comun asumir que f (u) pertenece a una familia de funciones que  comparten la misma estructura y  difieren por los valores tomados por ciertos parametros θ. 19

20 /77 El modelo lineal (en los parametros)  Un modelo lineal asume que la funcion es lineal respecto a los parametros θ 20 Aquí, la linealidad se refiera a “con respecto a los parametros”

21 /77 Modelos no-lineales  En los modelos no-lineales la funcion es no-lineal respecto a los parametros θ 21

22 /77 ESTIMACIÓN DE MÍNIMOS CUADRADOS LINEAL 22

23 /77 El problema 23 Dada una colección finita de observaciones Z N = {u(0), y(0), u(1), y(1),..., u(N), y(N)} t t Y U U Y Proceso Modelo Regresor lineal

24 /77 El regresor lineal Se asume que la relación entrada- salida puede ser descrita por una estructura de regresor lineal 24 f(u,θ) es denominada la funcion de ajuste. Las f i (u) son denominadas las funciones base

25 /77 Algunas funciones base  Funciones polinomiales  Funciones base Gausianas  Funciones base Sigmoidales  Fourier  wavelets 25

26 /77 Los errores cometidos  Dados unos datos y el modelo lineal, deseamos calcular los “mejores” parametros.  Queremos minimizar los errores. Cortesia de Johann Fredrich Carl Gauss (1777-1855) 26 error

27 /77 Los residuos  El ajuste de minimos cuadrados halla el vector de parametros θ tal que se minimiza 27 residuos = errores

28 /77 Naturaleza de los residuos  Normalmente se asume que los residuos son variables aleatorias, con las siguientes caracteristicas:  Independientes  Con valor esperado es cero  Normalmente distribuidas  Tienen la misma desviacion estandard 28

29 /77 El modelo de los datos  Considere, por ejemplo, el modelo con tres parametros:  Podemos escribir todo en forma vectorial 29

30 /77 Calculo de los mejores θj’s  Considerando N datos, en forma matricial 30

31 /77 Calculo de los mejores θj’s  cuando N > q normalmente no es posible encontrar los θ j que simultáneamente satisfacen todas las N ecuaciones, entonces  El criterio para determinar el estimado de los parametros optimos es 31

32 /77 Calculo de los mejores θj’s  La Cantidad a ser minimizada es  Que expresada en forma matricial nos queda 32

33 /77 Calculo de los mejores θj’s  La Cantidad a ser minimizada es  igualando a cero su derivada 33

34 /77 La ecuacion normal  El valor minimo de J se obtiene con el vector θ que satisface la ecuacion normal 34 Ecuacion normal

35 /77 IDENTIFICABILIDAD 35

36 /77 Existencia de los parametros  La solución única a las ecuaciones normales pueden ser obtenida siempre que la matriz (A T A) sea no singular (existencia de la inversa) 36 Llamado el Estimador de minimos cuadrados lineal

37 /77 Existencia de los parametros  El estimador de minimos cuadrado lineal: 37 Notese que el minimizador obtenido es influenciado por: Las funciones de ajuste seleccionadas, y Las señales de entrada observadas.

38 /77 Identificabilidad  Dadas:  El estimado de los parametros (del modelo) existen si la inversa de la matriz (A T A) existe 38  Las señales de entrada observadas, y  Las funciones de ajuste seleccionadas Se dice entonces que el modelo es identificable

39 /77  Se dice entonces que el modelo es identificable  Observe que decimos “que entonces el modelo es identificable”  La identificabilidad se refiere al modelo Identificabilidad 39 Quizas el modelo con otros datos sea identificable O quizas los mismos datos otra estructura de modelo sea identificable

40 /77 Los parametros “verdaderos”  Si existen, el vector de parámetros “verdadero” describe a aquel que minimiza el error  A menudo es conveniente estudiar las propiedades de los parámetros en terminos del error 40 es el vector de parámetros “verdadero”.

41 /77 MÍNIMOS CUADRADOS PARA UN MODELO LINEAL (DINAMICO) 41

42 /77 Ejemplo: estructura AR  En la identificacion de sistemas usualmente se usa un modelo AR (AutoRegressive model), donde 42 y(k) es la salida del sistema en el tiempo k ≥ 0.

43 /77 Ejemplo: estructura AR  Una forma util de ver el modelo AR es verlo como una manera de determinar el siguiente valor de la salida, dadas las observaciones previas 43

44 /77 Ejemplo: estructura AR  En este caso el modelo AR esta definido por el modelo lineal 44 El termino φ(t) recibe el nombre de vector de regresion y, en general, contiene la información de entradas y salidas anteriores a t

45 /77 Ejemplo: estructura AR  En este caso el modelo AR esta definido por el modelo lineal 45 En general, el vector de regresión (regresor) se construye,, con los datos de entrada-salida pasados, hasta el instante k-1

46 /77 Ejemplo: estructura ARX  Por ejemplo, en el caso de una estructura de modelo simple como el ARX de primer orden: 46

47 /77 Ejemplo: estructura ARX  En el caso de una estructura ARX la correspondencia con la formulación general seria 47 El termino φ(t) recibe el nombre de vector de regresion y, en general, contiene la información de entradas y salidas anteriores a t

48 /77 La matriz de datos  El problema de la estimacion de parametros consiste en encontrar relaciones matemáticas entre secuencias de entrada y las secuencias de salida.  En general, los datos se tienen en forma de una matriz 48 t = 1,...N

49 /77 Identificacion de un modelo AR  La estimación de parámetros consiste en hallar la estima de  que minimiza el criterio. 49 Error de Predicción

50 /77 Relacion con la identificacion  En el modelo de regresión lineal se suele incorporar un término de perturbación (n) 50 Para modelar la parte de la salida que no puede ser explicada por el regresor lineal

51 /77 Naturaleza de (n)  Si se da una caracterización estocástica para (n), 51 (n) es un proceso estocástico

52 /77 Solucion: Minimos cuadrados  Asumamos que el sistema dinamico se puede representar por el modelo lineal 52 es el vector de regresion entradas y salidas retardadas es el vector de parametros

53 /77 Solucion: Minimos cuadrados  En estas condiciones 53 Se introducen los terminos N a fin de retener expresiones que sean computacionalmente factibles para señales de entrada cuasi-estacionarias

54 /77 Existencia de la solucion 54 El requisito necesario para garantizar una solución única es que la señal de excitación sea persistentemente excitada de orden mayor que d, siendo d el numero de parametros del modelo, [Söderström89].

55 /77 PROPIEDADES DEL MÉTODO DE LOS MINIMOS CUADRADOS 55

56 /77 Unicidad de la solucion  La principal ventaja de este método es que  Si se cumplen las condiciones de identificabilidad  la obtención del mínimo global está garantizada  Y la solucion es unica 56

57 /77 Naturaleza de los parametros  Si se da una caracterización estocástica para (n), 57 (n) es un proceso estocástico ¡El estimador por mínimos cuadrados es una variable aleatoria!

58 /77 Los parametros “verdaderos”  Supongamos la existencia de un juego de parametros “verdadero” 58 donde e(t) es un ruido blanco de media cero y variancia

59 /77 Propiedades de los parametros estimados 59 1. converge a cuando N tiende a infinito 2. La variable aleatoria se comporta como una distribución normal de media cero y covariancia

60 /77 Propiedades del ruido estimado 60 3. Un estimador de la variancia de e(t) es: siendo d el número de parámetros del modelo

61 /77 Observacion  si la perturbación e(t) no es un ruido blanco y la relación señal útil/señal ruido es importante,  la convergencia a no está garantizada. 61

62 /77 CRITERIO DE AKAIKE 62

63 /77 Criterio de Akaike  Una variante del método LS, conocido como Criterio de Akaike consiste en minimizar la función de pérdidas 63

64 /77 EJEMPLOS 64

65 /77 Ejemplo  Ejemplo: Supóngase el sistema 65 ¿Cuál es el tipo de estructura más apropiada a elegir para identificación?

66 /77 Eleccion de la estructura  El tipo de estructura más apropiada para identificación debe ser del tipo “Output Error” (OE). 66 Por tanto nb = 2, nf = 3 y nk = 2.

67 /77 Eleccion de la estructura: Ejemplo  El tipo de estructura más apropiada para identificación debe ser del tipo “Output Error” (OE). ¡ Sin embargo, en la mayoría de los casos el diseñador no dispone de la información sobre el sistema real !

68 /77 Ejemplo  Ejemplo: Supóngase el sistema Estimar los parámetros del modelo OE escogido Estimar un modelo ARX. Comparar resultados. 68

69 /77 69

70 /77 70

71 /77 71

72 /77 Ejercicio 72 Investigar las funciones mostradas del Toolbox de identificacion en matlab ar armax arx bj oe pem ivar ivx iv4 present

73 /77 Problemas  Ver el documento Tema 3_problemes.pdf  De los profesores Teresa Escobet y Bernardo Morcego  de la Escola Universitària Politècnica de Manresa [Escobet et al., 2003].

74 /77 Fuentes De Nicolao G., System Identification: Problems and perspectives. Dipartimento di Informatica e Sistemistica, Universiti di Pavia, Pavia, Italy. 1995. Passino Kevin M., Yurkovich Stephen, Fuzzy Control. Addison Wesley Longman, Inc. 1998 Recktenwald Gerald, A Curve-Fitting Cookbook for use with the NMM Toolbox. Mechanical Engineering Department, Portland State University, Portland, Oregon. October 17, 2000. Recktenwald G. W., Numerical Methods with MATLAB: Implementations and Applications. Prentice-Hall, Englewood Cliffs, NJ, 2000. Ljung Lennart, Linear System Identificación as Curve Fitting. Report no.: LiTH-ISY-R-2466. Division of Automatic Control. Department of Electrical Engineering Linkopings universitet, Linkoping, Sweden. August 7, 2002. Moler C. and Moler K., Numerical Computing with MATLAB. The MathWorks, Inc. and Stanford University. 2003. Sanjay Lall, Modern Control 1. Lecture Notes. Standford University. Winter quarter, 02-2003 74

75 /77 ULTIMA DIAPOSITIVA 75