La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Condiciones de extremo

Presentaciones similares


Presentación del tema: "Condiciones de extremo"— Transcripción de la presentación:

1 Condiciones de extremo
Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones Problema con restricciones de igualdad Problema con restricciones de desigualdad

2 Condiciones de extremo
Caso sin restricciones: minx f (x ) Condición: f (x )  f (y ) y  { z :  z - x    } Dificultad: comprobar dicha condición para todo y Solución: Condiciones en x sobre f y sus derivadas

3 Condiciones de extremo
El caso univariante: f’ (x ) = 0 , f’’ (x )  0 Extensión natural al caso multivariante: f (x ) = 0 2 f (x ) s.d.p.

4 Condiciones de extremo
Justificación intuitiva Basada en aproximaciones locales f (x +v ) - f (x )  f (x )T v f (x +v ) - f (x )  f (x )T v + ½vT2f (x )v Hipótesis: si la función tiene un mínimo, la aproximación local también lo tiene Condiciones para que las aproximaciones tengan mínimos

5 Condiciones de extremo
Caso lineal:  (v ;x ) = f (x )T v La aproximación lineal tiene un mínimo si f (x ) = 0 Caso cuadrático:  (v ;x ) = f (x )T v + ½vT2f (x )v Aprox. cuadrática tiene mínimo en v = 0 si f (x ) + 2f (x )v = 0, 2f (x ) s.d.p.

6 Condiciones de extremo
Ejemplo de condición de óptimo Ajustar los parámetros de un modelo: medida de defectos en un producto Distribución a ajustar: Gamma(a ,b ) Procedimiento: máxima verosimilitud

7 Condiciones de extremo
Ejemplo Función objetivo: f (a ,b ) = logL = -nb loga - n log (b ) + (b -1) i logxi - i xi /a Datos: n = 20, i logxi = 39.11, i xi = 167.5

8 Condiciones de extremo
Ejemplo: derivadas -nb /a + i xi /a2 f (x ) = -n loga - n log (b ) + i logxi nb /a2 - 2i xi /a n /a 2f (x ) = -n /a n 2 log (b ) No es posible aplicar las condiciones directamente

9 Condiciones de extremo
Ejemplo Para a = 1 y b = 1 tenemos f (x ) = , f (x ) = ( )T Para a = 2.7 y b = 3.1 tenemos f (x ) = -61.0, f (x ) = ( )T Para a = y b = tenemos f (x ) = -57.2, f (x ) = ( -3e-5 -6e-5 )T autovalores de 2f (x ) = y

10 Condiciones de extremo
Justificación formal Si x es solución, se deberá cumplir f (x + v ) - f (x )  0 para todo v , v  = 1 y todo  > 0 pequeño Desarrollo en serie de Taylor: necesita que f (x )T v + o ()  0 y esto sólo se cumple si f (x ) = 0

11 Condiciones de extremo
Justificación Si  es pequeño, f (x )T v define el signo Si f (x )  0, basta con tomar v = -f (x ) f (x + v ) - f (x )  -   f (x ) 2 < 0 y x no puede ser solución local Si no se cumple la condición: Moverse a lo largo de -f (x ) Existen direcciones mejores

12 Condiciones de extremo
f (x ) = 0 , condición necesaria Condición necesaria de segundo orden Supongamos que f (x ) = 0 , f (x + v ) - f (x ) = ½2 vT2f (x )v + o ( 2 ) El signo de f (x + v ) - f (x ) viene definido por el signo de vT2f (x )v Se tiene un mínimo si vT2f (x )v  0 v

13 Condiciones de extremo
Condición necesaria de segundo orden Hace falta que 2f (x ) sea s.d.p. Si no se cumple la condición, existen direcciones que cumplen vT2f (x )v < 0 a lo largo de estas direcciones f (x + v ) - f (x )  ½2 vT2f (x )v < 0 y x no puede ser un mínimo

14 Condiciones de extremo
Condición suficiente Si f (x ) = 0 y 2f (x ) es d.p., se tiene  > 0, v, v  = 1 vT2f (x )v   Esto implica que  > 0 tal que    , ½2vT2f (x )v +o (2)  ¼2vT2f (x )v  ¼2 y por tanto v,    se tiene que f (x + v ) - f (x )  ¼2  > 0 luego x es un mínimo

15 Condiciones de extremo
Utilidad de estas condiciones Comprobación de posibles soluciones: Medida de la calidad de un candidato Cálculo de extremos Resolver un sistema de ecuaciones no lineales Métodos directos/Métodos iterativos aproximados Comprobar la condición de segundo orden

16 Condiciones de extremo
Ejemplo: x1 min f (x )   (1+x12) (1+x22) Calcular máximos y mínimos Resolver sistema de ecuaciones no lineales para condiciones de primer orden Es posible en forma explícita en este caso En caso contrario, métodos numéricos

17 Condiciones de extremo
Derivadas: Denotaremos a = 1+x12 , b = 1+x22 (1 - x12)/a2b f (x ) = -2x1x2/ab2 2x1(x12 - 3)/a3b -2x1x2(1 - x12)/a2b2 2f (x ) = -2x1x2(1 - x12)/a2b2 2x1(x22 - 1)/ab3

18 Condiciones de extremo
Cálculo de soluciones para el ejemplo Igualando el gradiente a cero, 1 - x12 = 0, -2x1x2 = 0  x2 = 0, x1 = 1 Estudiando las segundas derivadas, En ( 1 0 )T -1/2 0 2f (x ) = En ( )T 1/2 0 0 1

19 Condiciones de extremo
Caso con restricciones de igualdad minx f (x ) s.a c (x ) = 0 Condición: c (x ) = 0, f (x )  f (y ) y  { z : c (z ) = 0 } Mismas dificultades que en caso anterior Valores y derivadas de f y c Cómo tener en cuenta las restricciones

20 Condiciones de extremo
Ejemplo Cartera con endeudamiento r = ( ) R = Condición sobre inversiones eT x = 1

21 Condiciones de extremo
Ejemplo (a) min xT R x (b) max rT x xT R x (c) max rT x s.a eT x = s.a eT x = s.a eT x = 1 (d) max rT x xT R x s.a eT x = 1 vT x = 0.5

22 Condiciones de extremo
Intuición gráfica Para una restricción, en el punto solución Gradiente de f. objetivo ortogonal a restricción Gradientes de f. objetivo y restricción paralelos Expresión formal: f (x ) = c (x )  Más de una restricción Gradientes paralelos? Gradiente de f. objetivo ortogonal a restricciones ¿Cómo se plantea (algebraicamente) ortogonalidad?

23 Condiciones de extremo
Planteamiento de ortogonalidad Gradiente f. obj. perpendicular a restricciones Perpendicular a vectores tangentes a cada restricción Vect. tangentes a restricción j : cj (x )T d = 0 A todas simultáneamente: c (x ) d = 0 Gradiente perpendicular a las restricciones: f (x )T d = 0 d  { u : c (x ) u = 0 }

24 Condiciones de extremo
Representación gráfica (i) -2 -1 1 2 -1.5 -0.5 0.5 1.5

25 Condiciones de extremo
Representación gráfica (ii) -2 -1 1 2 -1.5 -0.5 0.5 1.5

26 Condiciones de extremo
Aproximación lineal mind f (x ) + f (x )Td s.a c (x ) + c (x )d = 0 ¿Cuándo tiene un mínimo en x ? Para tener un mínimo, debe ser constante sobre las restricciones Para ello, el gradiente ha de ser perpendicular a dichas restricciones

27 Condiciones de extremo
Condiciones necesarias c (x ) = 0, f (x ) = c (x )T ¿Son suficientes? No Aproximación de segundo orden: mind f (x ) + f (x )Td + ½ dT 2f (x ) d s.a c (x ) + c (x )d = 0 Función convexa sobre las restricciones

28 Condiciones de extremo
Condiciones de segundo orden Se denota por Z una base de c (x )d = 0 ¿Es ZT 2f (x )Z s.d.p. cond. necesaria? Ejemplo: minx x12 + (x2 + 1)2 s.a x2 - x12 (x1 -  ) = 0 Soluciones para valores de  = 0, ½, 1

29 Condiciones de extremo
Hace falta incluir las restricciones ZT 2L (x , )Z s.d.p. L (x , ) = f (x ) - c (x )T L función lagrangiana: Combinación de f. objetivo y restricciones Condiciones de extremo con restricciones: equivalentes a problema sin restricciones Función objetivo: función lagrangiana

30 Condiciones de extremo
Ejemplo: Analizar los datos de la EPF para buscar estructuras de interés Proyectar sobre direcciones que maximicen el cuarto momento maxd i (xiTd )4 s.a dTd = 1 (datos estandarizados)

31 Condiciones de extremo
Ejemplo Datos:

32 Condiciones de extremo
Ejemplo: derivadas f (d ) = 4i (xiTd )3xi , c (d ) = 2dT Condiciones de extremo: Cuando f (d ) sea colineal con d No necesariamente cuando el gradiente sea cero Sistema de ecuaciones con n ecuaciones e incógnitas La solución no tiene por qué cumplir dTd = 1

33 Condiciones de extremo
Deducción de las condiciones f (x +v ) = f (x ) + f (x )T v + ½vT2f (x )v + o(v 2) No cualquier v es aceptable v, c (x + v ) = 0 Representación explícita de v curvas parametrizadas v ( ) = d +½ 2u +o ( 2) , c (x + v ( )) = 0

34 Condiciones de extremo
Representación explícita Condiciones sobre los parámetros Derivadas en  = 0 iguales a cero c (x + v ( ))’ = 0  c (x )d = 0 c (x + v ( ))” = 0  c (x )u + dT 2c (x ) d = 0 Valores aceptables de d y u

35 Condiciones de extremo
Condiciones de óptimo f (x +v ) = f (x ) + f (x )T v + o(v ) v = d + ½ 2u + o ( 2), c (x )d = 0 f (x +v ) = f (x ) +  f (x )T d + o ( ) Condición necesaria f (x )T d  0 d, c (x )d = 0

36 Condiciones de extremo
Condición necesaria de primer orden Representa d :d = Zw para w cualquiera Condición equivalente: f (x )T Zw  0 w  ZT f (x ) = 0 También equivalente a  , f (x ) = c (x )T Justificación Si la condición no se cumple ...

37 Condiciones de extremo
Condición necesaria de segundo orden Suponemos que ZTf (x ) = 0 f (x +v ) = f (x ) + ½vT2f (x )v + o(v 2) v  d + ½ 2u , c (x )u + dT2c (x )d = 0 f (x +v )=f (x )+½ 2 (f (x )Tu +dT2f (x )d ) + o(2 ) Problema: condiciones sobre u

38 Condiciones de extremo
Condición de segundo orden De la condición de primer orden f (x )Tu = Tc (x )u = -j j dT2cj (x )d f (x +v ) = f (x ) + ½2 dT2(f (x ) - Tc (x ))d + o(2 ) Condición necesaria: dT2(f (x )-Tc (x ))d  0  ZT2L (x,)Z s.d.p.

39 Condiciones de extremo
Cálculo de óptimos: Resolución de sistema de ecuaciones no lineales f (x ) = c (x )T c (x ) = 0 n + m ecuaciones e incógnitas Comprobación de condición de 2o orden para las soluciones

40 Condiciones de extremo
Ejemplo: x1 min  (1+x12) (1+x22) s.a x1x2 = 1 Cálculo de soluciones: (1 - x12)/a2b = x2 -2x1x2/ab2 = x1 x1x2 = 1 Solución: x1=3, x2=1/3, =33/32

41 Condiciones de extremo
Condiciones de regularidad ¿Basta con las condiciones anteriores? Cálculo de soluciones de minx (x32 + 1)(x12 + x2) s.a x2 - (x1 - 1)2 = 0 x2 = 0 El punto (1,0,0) es la solución pero no cumple las condiciones de primer orden

42 Condiciones de extremo
¿Qué sucede en este caso? 1 0 Z = , Z T f (x ) = ( 2 0 )T 0 1 Parece posible moverse a lo largo de curvas con d = - Z Z T f (x ) Pero se viola la primera restricción Mala representación de curvas factibles

43 Condiciones de extremo
Información lineal no es adecuada Problema: cambios bruscos de dimensión en espacios El problema no existe si c (x ) tiene rango completo Es condición suficiente, pero existen otras condiciones menos exigentes cualificaciones de restricciones

44 Condiciones de extremo
Condición necesaria general Condiciones de Fritz-John 0f (x ) = c (x )T , (0 ,  )  0 c (x ) = 0 Se cumplen independientemente de la cualificación de restricciones Son equivalentes a KKT si 0  0 Si c (x ) tiene rango máximo, 0  0

45 Condiciones de extremo
Condiciones de regularidad Condiciones bajo las que se cumple 0  0 Ejemplos: Cono de tangentes = direcciones de descenso La matriz Jacobiana en la solución tiene rango máximo Condiciones también suficientes para el caso con restricciones de desigualdad

46 Condiciones de extremo
Interpretación de los multiplicadores Propiedad: minx f (x ) s.a c (x ) = ej con solución x* ( ) Entonces df (x* ( ))  = j d =0 Sensibilidad de función objetivo a cambios en el lado derecho de las restricciones

47 Condiciones de extremo
Ejemplo: Derivadas f (d ) = 4i (xiTd )3xi , c (d ) = 2dT 2L (d, ) = 12i (xiTd )2xi xiT - 2I Para el punto d = (1/n) ( )T, f (d )=163.3, c (d )=0, c (d )=( ) f (d ) = ( )T

48 Condiciones de extremo
Ejemplo: ¿Es solución? Z = , ZT f (d ) = ¿Cómo obtener mejores soluciones? ZZT f (d )=( )T

49 Condiciones de extremo
Ejemplo: Supongamos d = ( )T f (d ) = 534.9, c (d )  0, c (d ) = ( ) f (d ) = ( )T ZT f (d ) = 0 ,  = -1070 autovalores de ZT 2LZ = -92, -103,

50 Condiciones de extremo
Ejemplo: 2 1 min ( ) x + ½xT x 1 -1 s.a ( 1 1 ) x = 2 Comprobar si son solución: x = ( 1/3 4/3 )T , ( 3/2 1/2 )T , ( 1 1 )T Encontrar la solución

51 Condiciones de extremo
Caso con restricciones de desigualdad minx f (x ) s.a c (x )  0 Similar caso con restricciones de igualdad Conociendo restricciones activas en solución Restricciones activas: cj (x ) = 0 Soluciones locales no dependen de restricciones lejanas

52 Condiciones de extremo
Diferencias con el caso de igualdad: Es posible moverse hacia el interior de la región factible Es necesario estudiar dos posibilidades: Comportamiento del problema sobre las restricciones activas Comportamiento del problema hacia el interior de la región factible

53 Condiciones de extremo
Motivación de las condiciones Cumplimiento de restricciones c (x )  0 Comportamiento sobre las restricciones: cond. primer orden restricciones activas ZT f (x ) = 0   , f (x ) = ĉ (x )T ĉ denota las restricciones activas

54 Condiciones de extremo
Motivación de las condiciones Movimiento hacia interior de región factible cj (x )   cj (x )  0 x* () f (x* ()) - f (x* (0))  0 ? x* (0)

55 Condiciones de extremo
Motivación de las condiciones Movimiento hacia interior de región factible Condición: l  0 Si lj < 0 y f (x ) = ĉ (x )T , definimos d ĉ (x ) d = ej f (x + d ) = f (x ) + f (x )Td + o ( ) f (x + d ) - f (x ) =  Tĉ (x ) d + o ( ) f (x + d ) - f (x ) =  j + o ( ) < 0

56 Condiciones de extremo
Justificación de las condiciones: Empleo de curvas parametrizadas Para que no exista solución: D ={ d : f (x )Td < 0 }, S ={ d : ĉ (x ) d  0 } D  S =  En el caso con restricciones de igualdad D ={ d : f (x )Td < 0 }, S ={ d : c (x ) d = 0 } ZT f (x ) = 0  D  S = 

57 Condiciones de extremo
Justificación de las condiciones: Con restricciones de desigualdad, f (x ) = ĉ (x )T ,   0  D  S =  Resultado: Lema de Farkas f (x ) = ĉ (x )T ĉ (x ) d = 0 y   f (x )T d < 0 Solo uno de los dos sistemas tiene solución

58 Condiciones de extremo
Lema de Farkas Justificación Si el primer sistema tiene solución f (x ) = ĉ (x )T  f (x )Td = Tĉ (x )d  0 Si el primer sistema no tiene solución f (x )  { u : u = ĉ (x )T  ,   0 } Hiperplano separador w , f (x )Tw < 0 , Tĉ (x )w  0   0  ĉ (x )Tw  0

59 Condiciones de extremo
Condiciones de segundo orden Condición necesaria Comportamiento sobre las restricciones, ZT 2L (x,) Z s.d.p. Las columnas de Z forman una base del subespacio { d : ĉ (x ) d = 0 } ¿Y en direcciones al interior de la región factible? Signo de los multiplicadores

60 Condiciones de extremo
Condición suficiente Para las restricciones activas, ZT 2L (x,) Z d.p. Si lj > 0, condición suficiente Si lj = 0 para algún j, hace falta estudiar curvatura hacia el interior de región factible Ampliar el subespacio generado por Z

61 Condiciones de extremo
Condición suficiente Si existen multiplicadores iguales a cero Z+T 2L (x,) Z+ d.p. Z+ denota una matriz cuyas columnas forman una base del subespacio { d : cj (x )T d = 0 , j j  0 } ¿Es condición necesaria? No

62 Condiciones de extremo
Condición suficiente Ejemplo 6 3 min (-9 -4) x + ½xT x 3 1 s.a x12 + x22  2 ¿Qué se cumple en (1,1)?

63 Condiciones de extremo
Resumen de condiciones Factibilidad: c (x )  0 C. primer orden: f (x ) = ĉ (x )T Signo multiplicadores:   0 C. segundo orden: ZT 2L (x ,  ) Z s.d.p. Cond. suficiente: Anteriores más Z+T 2L (x ,  ) Z+ d.p.

64 Condiciones de extremo
Justificación formal: Factibilidad: trivialmente necesaria Otras condiciones: curvas parametrizadas v ( ) = d +½ 2u +o ( 2), c (x +v ( ))  0 Condiciones sobre parámetros Restricciones activas, cj (x ) = 0 , en  = 0, cj (x + v ( ))’  0  cj (x )Td  0 Si cj (x + v ( ))’ = 0 , entonces cj (x +v ( ))”  0  cj (x )Tu +dT 2cj (x )d  0

65 Condiciones de extremo
Si primer orden no se cumple, ZT f (x )  0 Función objetivo a lo largo de curva factible f (x + v ( )) - f (x ) =  f (x )Td + o ( ) Si se toma d = - ZZT f (x ) , se cumple 0 = ĉ (x )d  0 luego tenemos una curva factible, y f (x + v ( )) - f (x ) = -  ZT f (x ) 2 +o ( ) < 0

66 Condiciones de extremo
Justificación formal Si no se cumple la condición sobre el signo de los multiplicadores, j , j < 0 Si definimos d tal que ĉ (x )d = ej , ĉ (x )d = ej  0 luego tenemos una curva factible, y f (x + v ( )) - f (x ) =  f (x )Td + o ( ) =  Tĉ (x )d + o ( ) =  j + o ( ) < 0

67 Condiciones de extremo
Justificación formal Si segundo orden no se cumple, w , wTZT 2L (x ,  )Zw < 0 Cambio en la función objetivo f (x +v ( )) = f (x ) +  f (x )Td + ½2(dT2f (x )d + f (x )Tu ) + o (2) Como se cumplen las condiciones de primer orden  f (x )Td =  Tĉ (x )d  0 Si Tĉ (x )d > 0 , x es óptimo a lo largo de d

68 Condiciones de extremo
Justificación formal Direcciones d tales que ĉ (x )d = 0  d = Zw Condiciones sobre curva de movimiento, cj (x )Tu + dT 2cj (x ) d  0 Seleccionar u de manera que se cumpla cj (x )Tu + dT 2cj (x ) d = 0  dT2f (x )d + f (x )Tu = dT2f (x )d + Tĉ (x )u = dT2L (x ,  )d = wTZT 2L (x ,  )Zw < 0

69 Condiciones de extremo
Condiciones suficientes Desarrollo en serie sobre una curva factible f (x +v ( )) - f (x ) =  f (x )Td + ½ 2(dT2f (x )d + f (x )Tu ) + o (2) De las condiciones, ĉ (x )d  0 ,   0  Tĉ (x )d  0  f (x )Td  0 Si f (x )Td = 0, entonces bien cj (x )d = 0 o bien j = 0

70 Condiciones de extremo
Condiciones suficientes Por tanto, si f (x )Td = 0 entonces d = Z+w El desarrollo en serie tiene ahora la forma f (x +v ( )) - f (x ) = ½2(dT2f (x )d + f (x )Tu ) + o (2) pero f (x )Tu = Tĉ (x )u = - j j dT2cj (x )d Sustituyendo en el desarrollo en serie f (x +v ( ))-f (x ) = ½2wTZ+T2L (x ,  )Z+w +o (2)

71 Condiciones de extremo
Aplicación de las condiciones Sistema de ecuaciones y desigualdades: c (x )  0 ,   0 Procedimiento: Seleccionar posibles desigualdades activas Soluciones con restricciones de igualdad Comprobar restantes desigualdades

72 Condiciones de extremo
Problema de optimización de carteras min ½xTRx s.a rTx   eTx = 1 x  0 Derivadas de las funciones del problema: f (x ) = Rx , c (x ) = ( r e I )T , 2L (x ,  ) = R Valores de los parámetros: r = ( ),  = 5

73 Condiciones de extremo
Ejemplo Valores de los parámetros R = Comprobar condiciones para x = ( )T

74 Condiciones de extremo
Ejemplo Cumplimiento de las restricciones rTx -  = 1.2, eTx - 1 = 0, x  0 Condiciones de primer orden f (x ) = Rx = ( )T ĉ (x ) = ( e e1 e2 e4 e5 e6 )T ,  = ( )T 2, 3, 4, 5, 6 < 0

75 Condiciones de extremo
Ejemplo Dirección de mejora: ĉ (x )p = ej  p = ( )T Otro valor a comprobar x = ( )T rTx -  = 0, eTx - 1 = 0, x  0 f (x ) = Rx = ( )T ĉ (x )=( r e e1 e2 e5 )T ,  =( )T

76 Condiciones de extremo
Ejemplo: 2 1 min ( ) x + ½xT x 1 -1 s.a ( 1 1 ) x  2 x  0 Comprobar si es solución: x = ( 2 0 )T Encontrar la solución

77 Condiciones de extremo
Ejemplo: x1 min  (1+x12) (1+x22) s.a -x1 + x2  ½ 2x1 - x2  1 4x1 + 2x2  -1 Probar las combinaciones posibles (7) Para cada una, resolver problema con restricciones de igualdad Número combinatorio de posibilidades


Descargar ppt "Condiciones de extremo"

Presentaciones similares


Anuncios Google