1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones Problema con restricciones de igualdad Problema con restricciones de desigualdad

2 Condiciones de extremo Caso sin restricciones: min x f (x ) Condición: f (x )  f (y )  y  { z :  z - x    } Dificultad: comprobar dicha condición para todo y Solución: Condiciones en x sobre f y sus derivadas

3 Condiciones de extremo El caso univariante: f’ (x ) = 0, f’’ (x )  0 Extensión natural al caso multivariante:  f (x ) = 0  2 f (x ) s.d.p.

4 Condiciones de extremo Justificación intuitiva Basada en aproximaciones locales f (x +v ) - f (x )   f (x ) T v f (x +v ) - f (x )   f (x ) T v + ½v T  2 f (x )v Hipótesis: si la función tiene un mínimo, la aproximación local también lo tiene Condiciones para que las aproximaciones tengan mínimos

5 Condiciones de extremo Caso lineal:  (v ;x ) =  f (x ) T v La aproximación lineal tiene un mínimo si  f (x ) = 0 Caso cuadrático:  (v ;x ) =  f (x ) T v + ½v T  2 f (x )v Aprox. cuadrática tiene mínimo en v = 0 si  f (x ) +  2 f (x )v = 0,  2 f (x ) s.d.p.

6 Condiciones de extremo Ejemplo de condición de óptimo Ajustar los parámetros de un modelo: medida de defectos en un producto Distribución a ajustar: Gamma(a,b ) Procedimiento: máxima verosimilitud

7 Condiciones de extremo Ejemplo Función objetivo: f (a,b ) = logL = -nb loga - n log  (b ) + (b -1)  i logx i -  i x i /a Datos: n = 20,  i logx i = 39.11,  i x i = 167.5

8 Condiciones de extremo Ejemplo: derivadas -nb /a +  i x i /a 2  f (x ) = -n loga - n  log  (b ) +  i logx i nb /a  i x i /a 3 -n /a  2 f (x ) = -n /a -n  2 log  (b ) No es posible aplicar las condiciones directamente

9 Condiciones de extremo Ejemplo Para a = 1 y b = 1 tenemos f (x ) = ,  f (x ) = ( ) T Para a = 2.7 y b = 3.1 tenemos f (x ) = -61.0,  f (x ) = ( ) T Para a = y b = tenemos f (x ) = -57.2,  f (x ) = ( -3e-5 -6e-5 ) T autovalores de  2 f (x ) = y -0.63

10 Condiciones de extremo Justificación formal Si x es solución, se deberá cumplir f (x +  v ) - f (x )  0 para todo v,  v  = 1 y todo  > 0 pequeño Desarrollo en serie de Taylor: necesita que  f (x ) T v + o (  )  0 y esto sólo se cumple si  f (x ) = 0

11 Condiciones de extremo Justificación Si  es pequeño,  f (x ) T v define el signo Si  f (x )  0, basta con tomar v = -  f (x ) f (x +  v ) - f (x )  -    f (x )  < 0 y x no puede ser solución local Si no se cumple la condición: Moverse a lo largo de -  f (x ) Existen direcciones mejores

12 Condiciones de extremo  f (x ) = 0, condición necesaria Condición necesaria de segundo orden Supongamos que  f (x ) = 0, f (x +  v ) - f (x ) = ½  2 v T  2 f (x )v + o (  2 ) El signo de f (x +  v ) - f (x ) viene definido por el signo de v T  2 f (x )v Se tiene un mínimo si v T  2 f (x )v  0  v

13 Condiciones de extremo Condición necesaria de segundo orden Hace falta que  2 f (x ) sea s.d.p. Si no se cumple la condición, existen direcciones que cumplen v T  2 f (x )v < 0 a lo largo de estas direcciones f (x +  v ) - f (x )  ½  2 v T  2 f (x )v < 0 y x no puede ser un mínimo

14 Condiciones de extremo Condición suficiente Si  f (x ) = 0 y  2 f (x ) es d.p., se tiene  > 0,  v,  v  = 1 v T  2 f (x )v   Esto implica que  > 0 tal que   , ½  2 v T  2 f (x )v +o (  2 )  ¼  2 v T  2 f (x )v  ¼  2  y por tanto  v,    se tiene que f (x +  v ) - f (x )  ¼  2  > 0 luego x es un mínimo

15 Condiciones de extremo Utilidad de estas condiciones Comprobación de posibles soluciones: Medida de la calidad de un candidato Cálculo de extremos Resolver un sistema de ecuaciones no lineales Métodos directos/Métodos iterativos aproximados Comprobar la condición de segundo orden

16 Condiciones de extremo Ejemplo: x 1 min f (x )   (1+x 1 2 ) (1+x 2 2 ) Calcular máximos y mínimos Resolver sistema de ecuaciones no lineales para condiciones de primer orden Es posible en forma explícita en este caso En caso contrario, métodos numéricos

17 Condiciones de extremo Derivadas: Denotaremos a = 1+x 1 2, b = 1+x 2 2 (1 - x 1 2 )/a 2 b  f (x ) = -2x 1 x 2 /ab 2 2x 1 (x )/a 3 b -2x 1 x 2 (1 - x 1 2 )/a 2 b 2  2 f (x ) = -2x 1 x 2 (1 - x 1 2 )/a 2 b 2 2x 1 (x )/ab 3

18 Condiciones de extremo Cálculo de soluciones para el ejemplo Igualando el gradiente a cero, 1 - x 1 2 = 0, -2x 1 x 2 = 0  x 2 = 0, x 1 =  1 Estudiando las segundas derivadas, En ( 1 0 ) T -1/2 0  2 f (x ) = 0 -1 En ( -1 0 ) T 1/2 0  2 f (x ) = 0 1

19 Condiciones de extremo Caso con restricciones de igualdad min x f (x ) s.a c (x ) = 0 Condición: c (x ) = 0, f (x )  f (y )  y  { z : c (z ) = 0 } Mismas dificultades que en caso anterior Valores y derivadas de f y c Cómo tener en cuenta las restricciones

20 Condiciones de extremo Ejemplo Cartera con endeudamiento r = ( ) R = Condición sobre inversiones e T x = 1

21 Condiciones de extremo Ejemplo (a) min x T R x (b) max r T x x T R x (c) max r T x s.a e T x = 1 s.a e T x = 1 s.a e T x = 1 (d) max r T x x T R x s.a e T x = 1 v T x = 0.5

22 Condiciones de extremo Intuición gráfica Para una restricción, en el punto solución Gradiente de f. objetivo ortogonal a restricción Gradientes de f. objetivo y restricción paralelos Expresión formal:  f (x ) =  c (x ) Más de una restricción Gradientes paralelos? Gradiente de f. objetivo ortogonal a restricciones ¿Cómo se plantea (algebraicamente) ortogonalidad?

23 Condiciones de extremo Planteamiento de ortogonalidad Gradiente f. obj. perpendicular a restricciones Perpendicular a vectores tangentes a cada restricción Vect. tangentes a restricción j :  c j (x ) T d = 0 A todas simultáneamente:  c (x ) d = 0 Gradiente perpendicular a las restricciones:  f (x ) T d = 0  d  { u :  c (x ) u = 0 }

24 Condiciones de extremo Representación gráfica (i)

25 Condiciones de extremo Representación gráfica (ii)

26 Condiciones de extremo Aproximación lineal min d f (x ) +  f (x ) T d s.a c (x ) +  c (x )d = 0 ¿Cuándo tiene un mínimo en x ? Para tener un mínimo, debe ser constante sobre las restricciones Para ello, el gradiente ha de ser perpendicular a dichas restricciones

27 Condiciones de extremo Condiciones necesarias c (x ) = 0,  f (x ) =  c (x ) T ¿Son suficientes? No Aproximación de segundo orden: min d f (x ) +  f (x ) T d + ½ d T  2 f (x ) d s.a c (x ) +  c (x )d = 0 Función convexa sobre las restricciones

28 Condiciones de extremo Condiciones de segundo orden Se denota por Z una base de  c (x )d = 0 ¿Es Z T  2 f (x )Z s.d.p. cond. necesaria? Ejemplo: min x x (x 2 + 1) 2 s.a x 2 - x 1 2 (x 1 -  ) = 0 Soluciones para valores de  = 0, ½, 1

29 Condiciones de extremo Hace falta incluir las restricciones Z T  2 L (x, )Z s.d.p. L (x, ) = f (x ) - c (x ) T L función lagrangiana: Combinación de f. objetivo y restricciones Condiciones de extremo con restricciones: equivalentes a problema sin restricciones Función objetivo: función lagrangiana

30 Condiciones de extremo Ejemplo: Analizar los datos de la EPF para buscar estructuras de interés Proyectar sobre direcciones que maximicen el cuarto momento max d  i (x i T d ) 4 s.a d T d = 1 (datos estandarizados)

31 Condiciones de extremo Ejemplo Datos:

32 Condiciones de extremo Ejemplo: derivadas  f (d ) = 4  i (x i T d ) 3 x i,  c (d ) = 2d T Condiciones de extremo: Cuando  f (d ) sea colineal con d No necesariamente cuando el gradiente sea cero Sistema de ecuaciones con n ecuaciones e incógnitas La solución no tiene por qué cumplir d T d = 1

33 Condiciones de extremo Deducción de las condiciones f (x +v ) = f (x ) +  f (x ) T v + ½v T  2 f (x )v + o(  v  2 ) No cualquier v es aceptable v, c (x + v ) = 0 Representación explícita de v curvas parametrizadas v (  ) =  d +½  2 u +o (  2 ), c (x + v (  )) = 0

34 Condiciones de extremo Representación explícita Condiciones sobre los parámetros Derivadas en  = 0 iguales a cero c (x + v (  ))’ = 0   c (x )d = 0 c (x + v (  ))” = 0   c (x )u + d T  2 c (x ) d = 0 Valores aceptables de d y u

35 Condiciones de extremo Condiciones de óptimo f (x +v ) = f (x ) +  f (x ) T v + o(  v  ) v =  d + ½  2 u + o (  2 ),  c (x )d = 0 f (x +v ) = f (x ) +   f (x ) T d + o (  ) Condición necesaria  f (x ) T d  0  d,  c (x )d = 0

36 Condiciones de extremo Condición necesaria de primer orden Representa d :d = Zw para w cualquiera Condición equivalente:  f (x ) T Zw  0  w  Z T  f (x ) = 0 También equivalente a ,  f (x ) =  c (x ) T Justificación Si la condición no se cumple...

37 Condiciones de extremo Condición necesaria de segundo orden Suponemos que Z T  f (x ) = 0 f (x +v ) = f (x ) + ½v T  2 f (x )v + o(  v  2 ) v   d + ½  2 u,  c (x )u + d T  2 c (x )d = 0 f (x +v )=f (x )+½  2 (  f (x ) T u +d T  2 f (x )d ) + o(  2 ) Problema: condiciones sobre u

38 Condiciones de extremo Condición de segundo orden De la condición de primer orden  f (x ) T u = T  c (x )u = -  j j d T  2 c j (x )d f (x +v ) = f (x ) + ½  2 d T  2 (f (x ) - T c (x ))d + o(  2 ) Condición necesaria: d T  2 (f (x )- T c (x ))d  0  Z T  2 L (x, )Z s.d.p.

39 Condiciones de extremo Cálculo de óptimos: Resolución de sistema de ecuaciones no lineales  f (x ) =  c (x ) T c (x ) = 0 n + m ecuaciones e incógnitas Comprobación de condición de 2 o orden para las soluciones

40 Condiciones de extremo Ejemplo: x 1 min  (1+x 1 2 ) (1+x 2 2 ) s.a x 1 x 2 = 1 Cálculo de soluciones: (1 - x 1 2 )/a 2 b = x 2 -2x 1 x 2 /ab 2 = x 1 x 1 x 2 = 1 Solución: x 1 =  3, x 2 =  1/  3, =  3  3/32

41 Condiciones de extremo Condiciones de regularidad ¿Basta con las condiciones anteriores? Cálculo de soluciones de min x (x )(x x 2 ) s.a x 2 - (x 1 - 1) 2 = 0 x 2 = 0 El punto (1,0,0) es la solución pero no cumple las condiciones de primer orden

42 Condiciones de extremo ¿Qué sucede en este caso? 1 0 Z = 0 0, Z T  f (x ) = ( 2 0 ) T 0 1 Parece posible moverse a lo largo de curvas con d = - Z Z T  f (x ) Pero se viola la primera restricción Mala representación de curvas factibles

43 Condiciones de extremo Información lineal no es adecuada Problema: cambios bruscos de dimensión en espacios El problema no existe si  c (x ) tiene rango completo Es condición suficiente, pero existen otras condiciones menos exigentes cualificaciones de restricciones

44 Condiciones de extremo Condición necesaria general Condiciones de Fritz-John 0  f (x ) =  c (x ) T, ( 0, )  0 c (x ) = 0 Se cumplen independientemente de la cualificación de restricciones Son equivalentes a KKT si 0  0 Si  c (x ) tiene rango máximo, 0  0

45 Condiciones de extremo Condiciones de regularidad Condiciones bajo las que se cumple 0  0 Ejemplos: Cono de tangentes = direcciones de descenso La matriz Jacobiana en la solución tiene rango máximo Condiciones también suficientes para el caso con restricciones de desigualdad

46 Condiciones de extremo Interpretación de los multiplicadores Propiedad: min x f (x ) s.a c (x ) =  e j con solución x * (  ) Entonces df (x * (  ))  = j d    =0 Sensibilidad de función objetivo a cambios en el lado derecho de las restricciones

47 Condiciones de extremo Ejemplo: Derivadas  f (d ) = 4  i (x i T d ) 3 x i,  c (d ) = 2d T  2 L (d, ) = 12  i (x i T d ) 2 x i x i T - 2 I Para el punto d = (1/  n) ( ) T, f (d )=163.3, c (d )=0,  c (d )=( )  f (d ) = ( ) T

48 Condiciones de extremo Ejemplo: ¿Es solución? Z = 0 1 0, Z T  f (d ) = ¿Cómo obtener mejores soluciones? ZZ T  f (d )=( ) T

49 Condiciones de extremo Ejemplo: Supongamos d = ( ) T f (d ) = 534.9, c (d )  0,  c (d ) = ( )  f (d ) = ( ) T Z T  f (d ) = 0, = autovalores de Z T  2 LZ = -92, -103,

50 Condiciones de extremo Ejemplo: 2 1 min ( -2 1 ) x + ½x T x 1 -1 s.a ( 1 1 ) x = 2 Comprobar si son solución: x = ( 1/3 4/3 ) T, ( 3/2 1/2 ) T, ( 1 1 ) T Encontrar la solución

51 Condiciones de extremo Caso con restricciones de desigualdad min x f (x ) s.a c (x )  0 Similar caso con restricciones de igualdad Conociendo restricciones activas en solución Restricciones activas: c j (x ) = 0 Soluciones locales no dependen de restricciones lejanas

52 Condiciones de extremo Diferencias con el caso de igualdad: Es posible moverse hacia el interior de la región factible Es necesario estudiar dos posibilidades: Comportamiento del problema sobre las restricciones activas Comportamiento del problema hacia el interior de la región factible

53 Condiciones de extremo Motivación de las condiciones Cumplimiento de restricciones c (x )  0 Comportamiento sobre las restricciones: cond. primer orden restricciones activas Z T  f (x ) = 0  ,  f (x ) =  ĉ (x ) T ĉ denota las restricciones activas

54 Condiciones de extremo Motivación de las condiciones Movimiento hacia interior de región factible c j (x )  0 c j (x )   x * (0) x * (  ) f (x * (  )) - f (x * (0))  0 ?

55 Condiciones de extremo Motivación de las condiciones Movimiento hacia interior de región factible Condición:  0 Si j < 0 y  f (x ) =  ĉ (x ) T, definimos d  ĉ (x ) d = e j f (x +  d ) = f (x ) +  f (x ) T d + o (  ) f (x +  d ) - f (x ) =  T  ĉ (x ) d + o (  ) f (x +  d ) - f (x ) =  j + o (  ) < 0

56 Condiciones de extremo Justificación de las condiciones: Empleo de curvas parametrizadas Para que no exista solución: D ={ d :  f (x ) T d < 0 }, S ={ d :  ĉ (x ) d  0 } D  S =  En el caso con restricciones de igualdad D ={ d :  f (x ) T d < 0 }, S ={ d :  c (x ) d = 0 } Z T  f (x ) = 0  D  S = 

57 Condiciones de extremo Justificación de las condiciones: Con restricciones de desigualdad,  f (x ) =  ĉ (x ) T,  0  D  S =  Resultado: Lema de Farkas  f (x ) =  ĉ (x ) T  ĉ (x ) d = 0 y  0  f (x ) T d < 0 Solo uno de los dos sistemas tiene solución

58 Condiciones de extremo Lema de Farkas Justificación Si el primer sistema tiene solución  f (x ) =  ĉ (x ) T   f (x ) T d = T  ĉ (x )d  0 Si el primer sistema no tiene solución  f (x )  { u : u =  ĉ (x ) T,  0 } Hiperplano separador  w,  f (x ) T w < 0, T  ĉ (x )w  0   0   ĉ (x ) T w  0

59 Condiciones de extremo Condiciones de segundo orden Condición necesaria Comportamiento sobre las restricciones, Z T  2 L (x, ) Z s.d.p. Las columnas de Z forman una base del subespacio { d :  ĉ (x ) d = 0 } ¿Y en direcciones al interior de la región factible? Signo de los multiplicadores

60 Condiciones de extremo Condición suficiente Para las restricciones activas, Z T  2 L (x, ) Z d.p. Si j  > 0, condición suficiente Si j  = 0 para algún j, hace falta estudiar curvatura hacia el interior de región factible Ampliar el subespacio generado por Z

61 Condiciones de extremo Condición suficiente Si existen multiplicadores iguales a cero Z + T  2 L (x, ) Z + d.p. Z + denota una matriz cuyas columnas forman una base del subespacio { d :  c j (x ) T d = 0,  j j  0 } ¿Es condición necesaria? No

62 Condiciones de extremo Condición suficiente Ejemplo 6 3 min (-9 -4) x + ½x T x 3 1 s.a x x 2 2  2 ¿Qué se cumple en (1,1)?

63 Condiciones de extremo Resumen de condiciones Factibilidad: c (x )  0 C. primer orden:  f (x ) =  ĉ (x ) T Signo multiplicadores:  0 C. segundo orden: Z T  2 L (x, ) Z s.d.p. Cond. suficiente: Anteriores más Z + T  2 L (x, ) Z + d.p.

64 Condiciones de extremo Justificación formal: Factibilidad: trivialmente necesaria Otras condiciones: curvas parametrizadas v (  ) =  d +½  2 u +o (  2 ), c (x +v (  ))  0 Condiciones sobre parámetros Restricciones activas, c j (x ) = 0, en  = 0, c j (x + v (  ))’  0   c j (x ) T d  0 Si c j (x + v (  ))’ = 0, entonces c j (x +v (  ))”  0   c j (x ) T u +d T  2 c j (x )d  0

65 Condiciones de extremo Si primer orden no se cumple, Z T  f (x )  0 Función objetivo a lo largo de curva factible f (x + v (  )) - f (x ) =   f (x ) T d + o (  ) Si se toma d = - ZZ T  f (x ), se cumple 0 =  ĉ (x )d  0 luego tenemos una curva factible, y f (x + v (  )) - f (x ) = -   Z T  f (x )  2 +o (  ) < 0

66 Condiciones de extremo Justificación formal Si no se cumple la condición sobre el signo de los multiplicadores,  j, j < 0 Si definimos d tal que  ĉ (x )d = e j,  ĉ (x )d = e j  0 luego tenemos una curva factible, y f (x + v (  )) - f (x ) =   f (x ) T d + o (  ) =  T  ĉ (x )d + o (  ) =  j + o (  ) < 0

67 Condiciones de extremo Justificación formal Si segundo orden no se cumple,  w, w T Z T  2 L (x, )Zw < 0 Cambio en la función objetivo f (x +v (  )) = f (x ) +   f (x ) T d + ½  2 (d T  2 f (x )d +  f (x ) T u ) + o (  2 ) Como se cumplen las condiciones de primer orden   f (x ) T d =  T  ĉ (x )d  0 Si T  ĉ (x )d > 0, x es óptimo a lo largo de d

68 Condiciones de extremo Justificación formal Direcciones d tales que  ĉ (x )d = 0  d = Zw Condiciones sobre curva de movimiento,  c j (x ) T u + d T  2 c j (x ) d  0 Seleccionar u de manera que se cumpla  c j (x ) T u + d T  2 c j (x ) d = 0  d T  2 f (x )d +  f (x ) T u = d T  2 f (x )d + T  ĉ (x )u = d T  2 L (x, )d = w T Z T  2 L (x, )Zw < 0

69 Condiciones de extremo Condiciones suficientes Desarrollo en serie sobre una curva factible f (x +v (  )) - f (x ) =   f (x ) T d + ½  2 (d T  2 f (x )d +  f (x ) T u ) + o (  2 ) De las condiciones,  ĉ (x )d  0,  0  T  ĉ (x )d  0   f (x ) T d  0 Si  f (x ) T d = 0, entonces bien  c j (x )d = 0 o bien j = 0

70 Condiciones de extremo Condiciones suficientes Por tanto, si  f (x ) T d = 0 entonces d = Z + w El desarrollo en serie tiene ahora la forma f (x +v (  )) - f (x ) = ½  2 (d T  2 f (x )d +  f (x ) T u ) + o (  2 ) pero  f (x ) T u = T  ĉ (x )u = -  j j d T  2 c j (x )d Sustituyendo en el desarrollo en serie f (x +v (  ))-f (x ) = ½  2 w T Z + T  2 L (x, )Z + w +o (  2 )

71 Condiciones de extremo Aplicación de las condiciones Sistema de ecuaciones y desigualdades: c (x )  0,  0 Procedimiento: Seleccionar posibles desigualdades activas Soluciones con restricciones de igualdad Comprobar restantes desigualdades

72 Condiciones de extremo Problema de optimización de carteras min ½x T Rx s.a r T x   e T x = 1 x  0 Derivadas de las funciones del problema:  f (x ) = Rx,  c (x ) = ( r e I ) T,  2 L (x, ) = R Valores de los parámetros: r = ( ),  = 5

73 Condiciones de extremo Ejemplo Valores de los parámetros R = Comprobar condiciones para x = ( ) T

74 Condiciones de extremo Ejemplo Cumplimiento de las restricciones r T x -  = 1.2, e T x - 1 = 0, x  0 Condiciones de primer orden  f (x ) = Rx = ( ) T  ĉ (x ) = ( e e 1 e 2 e 4 e 5 e 6 ) T, = ( ) T 2, 3, 4, 5, 6 < 0

75 Condiciones de extremo Ejemplo Dirección de mejora:  ĉ (x )p = e j  p = ( ) T Otro valor a comprobar x = ( ) T r T x -  = 0, e T x - 1 = 0, x  0  f (x ) = Rx = ( ) T  ĉ (x )=( r e e 1 e 2 e 5 ) T, =( ) T

76 Condiciones de extremo Ejemplo: 2 1 min ( -2 1 ) x + ½x T x 1 -1 s.a ( 1 1 ) x  2 x  0 Comprobar si es solución: x = ( 2 0 ) T Encontrar la solución

77 Condiciones de extremo Ejemplo: x 1 min  (1+x 1 2 ) (1+x 2 2 ) s.a -x 1 + x 2  ½ 2x 1 - x 2  1 4x 1 + 2x 2  -1 Probar las combinaciones posibles (7) Para cada una, resolver problema con restricciones de igualdad Número combinatorio de posibilidades