Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones Problema con restricciones de igualdad Problema con restricciones de desigualdad

Condiciones de extremo Caso sin restricciones: minx f (x ) Condición: f (x )  f (y ) y  { z :  z - x    } Dificultad: comprobar dicha condición para todo y Solución: Condiciones en x sobre f y sus derivadas

Condiciones de extremo El caso univariante: f’ (x ) = 0 , f’’ (x )  0 Extensión natural al caso multivariante: f (x ) = 0 2 f (x ) s.d.p.

Condiciones de extremo Justificación intuitiva Basada en aproximaciones locales f (x +v ) - f (x )  f (x )T v f (x +v ) - f (x )  f (x )T v + ½vT2f (x )v Hipótesis: si la función tiene un mínimo, la aproximación local también lo tiene Condiciones para que las aproximaciones tengan mínimos

Condiciones de extremo Caso lineal:  (v ;x ) = f (x )T v La aproximación lineal tiene un mínimo si f (x ) = 0 Caso cuadrático:  (v ;x ) = f (x )T v + ½vT2f (x )v Aprox. cuadrática tiene mínimo en v = 0 si f (x ) + 2f (x )v = 0, 2f (x ) s.d.p.

Condiciones de extremo Ejemplo de condición de óptimo Ajustar los parámetros de un modelo: medida de defectos en un producto Distribución a ajustar: Gamma(a ,b ) Procedimiento: máxima verosimilitud

Condiciones de extremo Ejemplo Función objetivo: f (a ,b ) = logL = -nb loga - n log (b ) + (b -1) i logxi - i xi /a Datos: n = 20, i logxi = 39.11, i xi = 167.5

Condiciones de extremo Ejemplo: derivadas -nb /a + i xi /a2 f (x ) = -n loga - n log (b ) + i logxi nb /a2 - 2i xi /a3 -n /a 2f (x ) = -n /a -n 2 log (b ) No es posible aplicar las condiciones directamente

Condiciones de extremo Ejemplo Para a = 1 y b = 1 tenemos f (x ) = -167.5, f (x ) = ( 147.5 50.7 )T Para a = 2.7 y b = 3.1 tenemos f (x ) = -61.0, f (x ) = ( 11.9 6.8 )T Para a = 2.6997 y b = 3.1022 tenemos f (x ) = -57.2, f (x ) = ( -3e-5 -6e-5 )T autovalores de 2f (x ) = -15.5 y -0.63

Condiciones de extremo Justificación formal Si x es solución, se deberá cumplir f (x + v ) - f (x )  0 para todo v , v  = 1 y todo  > 0 pequeño Desarrollo en serie de Taylor: necesita que f (x )T v + o ()  0 y esto sólo se cumple si f (x ) = 0

Condiciones de extremo Justificación Si  es pequeño, f (x )T v define el signo Si f (x )  0, basta con tomar v = -f (x ) f (x + v ) - f (x )  -   f (x ) 2 < 0 y x no puede ser solución local Si no se cumple la condición: Moverse a lo largo de -f (x ) Existen direcciones mejores

Condiciones de extremo f (x ) = 0 , condición necesaria Condición necesaria de segundo orden Supongamos que f (x ) = 0 , f (x + v ) - f (x ) = ½2 vT2f (x )v + o ( 2 ) El signo de f (x + v ) - f (x ) viene definido por el signo de vT2f (x )v Se tiene un mínimo si vT2f (x )v  0 v

Condiciones de extremo Condición necesaria de segundo orden Hace falta que 2f (x ) sea s.d.p. Si no se cumple la condición, existen direcciones que cumplen vT2f (x )v < 0 a lo largo de estas direcciones f (x + v ) - f (x )  ½2 vT2f (x )v < 0 y x no puede ser un mínimo

Condiciones de extremo Condición suficiente Si f (x ) = 0 y 2f (x ) es d.p., se tiene  > 0, v, v  = 1 vT2f (x )v   Esto implica que  > 0 tal que    , ½2vT2f (x )v +o (2)  ¼2vT2f (x )v  ¼2 y por tanto v,    se tiene que f (x + v ) - f (x )  ¼2  > 0 luego x es un mínimo

Condiciones de extremo Utilidad de estas condiciones Comprobación de posibles soluciones: Medida de la calidad de un candidato Cálculo de extremos Resolver un sistema de ecuaciones no lineales Métodos directos/Métodos iterativos aproximados Comprobar la condición de segundo orden

Condiciones de extremo Ejemplo: x1 min f (x )   (1+x12) (1+x22) Calcular máximos y mínimos Resolver sistema de ecuaciones no lineales para condiciones de primer orden Es posible en forma explícita en este caso En caso contrario, métodos numéricos

Condiciones de extremo Derivadas: Denotaremos a = 1+x12 , b = 1+x22 (1 - x12)/a2b f (x ) = -2x1x2/ab2 2x1(x12 - 3)/a3b -2x1x2(1 - x12)/a2b2 2f (x ) = -2x1x2(1 - x12)/a2b2 2x1(x22 - 1)/ab3

Condiciones de extremo Cálculo de soluciones para el ejemplo Igualando el gradiente a cero, 1 - x12 = 0, -2x1x2 = 0  x2 = 0, x1 = 1 Estudiando las segundas derivadas, En ( 1 0 )T -1/2 0 2f (x ) = 0 -1 En ( -1 0 )T 1/2 0 0 1

Condiciones de extremo Caso con restricciones de igualdad minx f (x ) s.a c (x ) = 0 Condición: c (x ) = 0, f (x )  f (y ) y  { z : c (z ) = 0 } Mismas dificultades que en caso anterior Valores y derivadas de f y c Cómo tener en cuenta las restricciones

Condiciones de extremo Ejemplo Cartera con endeudamiento r = ( 1.6 4.6 6.2 5.6 0.7 -0.4 ) 28 59 27 40 19 -23 59 252 87 133 28 -21 R = 27 87 224 66 -21 -60 40 133 66 151 -16 -71 19 28 -21 -16 75 21 -23 -21 -60 -71 21 86 Condición sobre inversiones eT x = 1

Condiciones de extremo Ejemplo (a) min xT R x (b) max rT x - 0.1 xT R x (c) max rT x s.a eT x = 1 s.a eT x = 1 s.a eT x = 1 (d) max rT x - 0.1 xT R x s.a eT x = 1 vT x = 0.5

Condiciones de extremo Intuición gráfica Para una restricción, en el punto solución Gradiente de f. objetivo ortogonal a restricción Gradientes de f. objetivo y restricción paralelos Expresión formal: f (x ) = c (x )  Más de una restricción Gradientes paralelos? Gradiente de f. objetivo ortogonal a restricciones ¿Cómo se plantea (algebraicamente) ortogonalidad?

Condiciones de extremo Planteamiento de ortogonalidad Gradiente f. obj. perpendicular a restricciones Perpendicular a vectores tangentes a cada restricción Vect. tangentes a restricción j : cj (x )T d = 0 A todas simultáneamente: c (x ) d = 0 Gradiente perpendicular a las restricciones: f (x )T d = 0 d  { u : c (x ) u = 0 }

Condiciones de extremo Representación gráfica (i) -2 -1 1 2 -1.5 -0.5 0.5 1.5

Condiciones de extremo Representación gráfica (ii) -2 -1 1 2 -1.5 -0.5 0.5 1.5

Condiciones de extremo Aproximación lineal mind f (x ) + f (x )Td s.a c (x ) + c (x )d = 0 ¿Cuándo tiene un mínimo en x ? Para tener un mínimo, debe ser constante sobre las restricciones Para ello, el gradiente ha de ser perpendicular a dichas restricciones

Condiciones de extremo Condiciones necesarias c (x ) = 0, f (x ) = c (x )T ¿Son suficientes? No Aproximación de segundo orden: mind f (x ) + f (x )Td + ½ dT 2f (x ) d s.a c (x ) + c (x )d = 0 Función convexa sobre las restricciones

Condiciones de extremo Condiciones de segundo orden Se denota por Z una base de c (x )d = 0 ¿Es ZT 2f (x )Z s.d.p. cond. necesaria? Ejemplo: minx x12 + (x2 + 1)2 s.a x2 - x12 (x1 -  ) = 0 Soluciones para valores de  = 0, ½, 1

Condiciones de extremo Hace falta incluir las restricciones ZT 2L (x , )Z s.d.p. L (x , ) = f (x ) - c (x )T L función lagrangiana: Combinación de f. objetivo y restricciones Condiciones de extremo con restricciones: equivalentes a problema sin restricciones Función objetivo: función lagrangiana

Condiciones de extremo Ejemplo: Analizar los datos de la EPF para buscar estructuras de interés Proyectar sobre direcciones que maximicen el cuarto momento maxd i (xiTd )4 s.a dTd = 1 (datos estandarizados)

Condiciones de extremo Ejemplo Datos:

Condiciones de extremo Ejemplo: derivadas f (d ) = 4i (xiTd )3xi , c (d ) = 2dT Condiciones de extremo: Cuando f (d ) sea colineal con d No necesariamente cuando el gradiente sea cero Sistema de ecuaciones con n ecuaciones e incógnitas La solución no tiene por qué cumplir dTd = 1

Condiciones de extremo Deducción de las condiciones f (x +v ) = f (x ) + f (x )T v + ½vT2f (x )v + o(v 2) No cualquier v es aceptable v, c (x + v ) = 0 Representación explícita de v curvas parametrizadas v ( ) = d +½ 2u +o ( 2) , c (x + v ( )) = 0

Condiciones de extremo Representación explícita Condiciones sobre los parámetros Derivadas en  = 0 iguales a cero c (x + v ( ))’ = 0  c (x )d = 0 c (x + v ( ))” = 0  c (x )u + dT 2c (x ) d = 0 Valores aceptables de d y u

Condiciones de extremo Condiciones de óptimo f (x +v ) = f (x ) + f (x )T v + o(v ) v = d + ½ 2u + o ( 2), c (x )d = 0 f (x +v ) = f (x ) +  f (x )T d + o ( ) Condición necesaria f (x )T d  0 d, c (x )d = 0

Condiciones de extremo Condición necesaria de primer orden Representa d :d = Zw para w cualquiera Condición equivalente: f (x )T Zw  0 w  ZT f (x ) = 0 También equivalente a  , f (x ) = c (x )T Justificación Si la condición no se cumple ...

Condiciones de extremo Condición necesaria de segundo orden Suponemos que ZTf (x ) = 0 f (x +v ) = f (x ) + ½vT2f (x )v + o(v 2) v  d + ½ 2u , c (x )u + dT2c (x )d = 0 f (x +v )=f (x )+½ 2 (f (x )Tu +dT2f (x )d ) + o(2 ) Problema: condiciones sobre u

Condiciones de extremo Condición de segundo orden De la condición de primer orden f (x )Tu = Tc (x )u = -j j dT2cj (x )d f (x +v ) = f (x ) + ½2 dT2(f (x ) - Tc (x ))d + o(2 ) Condición necesaria: dT2(f (x )-Tc (x ))d  0  ZT2L (x,)Z s.d.p.

Condiciones de extremo Cálculo de óptimos: Resolución de sistema de ecuaciones no lineales f (x ) = c (x )T c (x ) = 0 n + m ecuaciones e incógnitas Comprobación de condición de 2o orden para las soluciones

Condiciones de extremo Ejemplo: x1 min  (1+x12) (1+x22) s.a x1x2 = 1 Cálculo de soluciones: (1 - x12)/a2b = x2 -2x1x2/ab2 = x1 x1x2 = 1 Solución: x1=3, x2=1/3, =33/32

Condiciones de extremo Condiciones de regularidad ¿Basta con las condiciones anteriores? Cálculo de soluciones de minx (x32 + 1)(x12 + x2) s.a x2 - (x1 - 1)2 = 0 x2 = 0 El punto (1,0,0) es la solución pero no cumple las condiciones de primer orden

Condiciones de extremo ¿Qué sucede en este caso? 1 0 Z = 0 0 , Z T f (x ) = ( 2 0 )T 0 1 Parece posible moverse a lo largo de curvas con d = - Z Z T f (x ) Pero se viola la primera restricción Mala representación de curvas factibles

Condiciones de extremo Información lineal no es adecuada Problema: cambios bruscos de dimensión en espacios El problema no existe si c (x ) tiene rango completo Es condición suficiente, pero existen otras condiciones menos exigentes cualificaciones de restricciones

Condiciones de extremo Condición necesaria general Condiciones de Fritz-John 0f (x ) = c (x )T , (0 ,  )  0 c (x ) = 0 Se cumplen independientemente de la cualificación de restricciones Son equivalentes a KKT si 0  0 Si c (x ) tiene rango máximo, 0  0

Condiciones de extremo Condiciones de regularidad Condiciones bajo las que se cumple 0  0 Ejemplos: Cono de tangentes = direcciones de descenso La matriz Jacobiana en la solución tiene rango máximo Condiciones también suficientes para el caso con restricciones de desigualdad

Condiciones de extremo Interpretación de los multiplicadores Propiedad: minx f (x ) s.a c (x ) = ej con solución x* ( ) Entonces df (x* ( ))  = j d =0 Sensibilidad de función objetivo a cambios en el lado derecho de las restricciones

Condiciones de extremo Ejemplo: Derivadas f (d ) = 4i (xiTd )3xi , c (d ) = 2dT 2L (d, ) = 12i (xiTd )2xi xiT - 2I Para el punto d = (1/n) ( 1 ... 1 )T, f (d )=163.3, c (d )=0, c (d )=( 1 1 1 1 ) f (d ) = ( 135.9 249.5 491.6 429.6 )T

Condiciones de extremo Ejemplo: ¿Es solución? -1 -1 -1 1 0 0 113.6 Z = 0 1 0 , ZT f (d ) = 355.7 0 0 1 293.7 ¿Cómo obtener mejores soluciones? ZZT f (d )=( -763.0 113.6 355.7 293.7 )T

Condiciones de extremo Ejemplo: Supongamos d = ( 0.02 0.14 0.98 0.11 )T f (d ) = 534.9, c (d )  0, c (d ) = ( 0.04 0.28 1.97 0.22 ) f (d ) = ( -42 -300 -2105 -234 )T ZT f (d ) = 0 ,  = -1070 autovalores de ZT 2LZ = -92, -103, -46821

Condiciones de extremo Ejemplo: 2 1 min ( -2 1 ) x + ½xT x 1 -1 s.a ( 1 1 ) x = 2 Comprobar si son solución: x = ( 1/3 4/3 )T , ( 3/2 1/2 )T , ( 1 1 )T Encontrar la solución

Condiciones de extremo Caso con restricciones de desigualdad minx f (x ) s.a c (x )  0 Similar caso con restricciones de igualdad Conociendo restricciones activas en solución Restricciones activas: cj (x ) = 0 Soluciones locales no dependen de restricciones lejanas

Condiciones de extremo Diferencias con el caso de igualdad: Es posible moverse hacia el interior de la región factible Es necesario estudiar dos posibilidades: Comportamiento del problema sobre las restricciones activas Comportamiento del problema hacia el interior de la región factible

Condiciones de extremo Motivación de las condiciones Cumplimiento de restricciones c (x )  0 Comportamiento sobre las restricciones: cond. primer orden restricciones activas ZT f (x ) = 0   , f (x ) = ĉ (x )T ĉ denota las restricciones activas

Condiciones de extremo Motivación de las condiciones Movimiento hacia interior de región factible cj (x )   cj (x )  0 x* () f (x* ()) - f (x* (0))  0 ? x* (0)

Condiciones de extremo Motivación de las condiciones Movimiento hacia interior de región factible Condición: l  0 Si lj < 0 y f (x ) = ĉ (x )T , definimos d ĉ (x ) d = ej f (x + d ) = f (x ) + f (x )Td + o ( ) f (x + d ) - f (x ) =  Tĉ (x ) d + o ( ) f (x + d ) - f (x ) =  j + o ( ) < 0

Condiciones de extremo Justificación de las condiciones: Empleo de curvas parametrizadas Para que no exista solución: D ={ d : f (x )Td < 0 }, S ={ d : ĉ (x ) d  0 } D  S =  En el caso con restricciones de igualdad D ={ d : f (x )Td < 0 }, S ={ d : c (x ) d = 0 } ZT f (x ) = 0  D  S = 

Condiciones de extremo Justificación de las condiciones: Con restricciones de desigualdad, f (x ) = ĉ (x )T ,   0  D  S =  Resultado: Lema de Farkas f (x ) = ĉ (x )T ĉ (x ) d = 0 y   0 f (x )T d < 0 Solo uno de los dos sistemas tiene solución

Condiciones de extremo Lema de Farkas Justificación Si el primer sistema tiene solución f (x ) = ĉ (x )T  f (x )Td = Tĉ (x )d  0 Si el primer sistema no tiene solución f (x )  { u : u = ĉ (x )T  ,   0 } Hiperplano separador w , f (x )Tw < 0 , Tĉ (x )w  0   0  ĉ (x )Tw  0

Condiciones de extremo Condiciones de segundo orden Condición necesaria Comportamiento sobre las restricciones, ZT 2L (x,) Z s.d.p. Las columnas de Z forman una base del subespacio { d : ĉ (x ) d = 0 } ¿Y en direcciones al interior de la región factible? Signo de los multiplicadores

Condiciones de extremo Condición suficiente Para las restricciones activas, ZT 2L (x,) Z d.p. Si lj > 0, condición suficiente Si lj = 0 para algún j, hace falta estudiar curvatura hacia el interior de región factible Ampliar el subespacio generado por Z

Condiciones de extremo Condición suficiente Si existen multiplicadores iguales a cero Z+T 2L (x,) Z+ d.p. Z+ denota una matriz cuyas columnas forman una base del subespacio { d : cj (x )T d = 0 , j j  0 } ¿Es condición necesaria? No

Condiciones de extremo Condición suficiente Ejemplo 6 3 min (-9 -4) x + ½xT x 3 1 s.a x12 + x22  2 ¿Qué se cumple en (1,1)?

Condiciones de extremo Resumen de condiciones Factibilidad: c (x )  0 C. primer orden: f (x ) = ĉ (x )T Signo multiplicadores:   0 C. segundo orden: ZT 2L (x ,  ) Z s.d.p. Cond. suficiente: Anteriores más Z+T 2L (x ,  ) Z+ d.p.

Condiciones de extremo Justificación formal: Factibilidad: trivialmente necesaria Otras condiciones: curvas parametrizadas v ( ) = d +½ 2u +o ( 2), c (x +v ( ))  0 Condiciones sobre parámetros Restricciones activas, cj (x ) = 0 , en  = 0, cj (x + v ( ))’  0  cj (x )Td  0 Si cj (x + v ( ))’ = 0 , entonces cj (x +v ( ))”  0  cj (x )Tu +dT 2cj (x )d  0

Condiciones de extremo Si primer orden no se cumple, ZT f (x )  0 Función objetivo a lo largo de curva factible f (x + v ( )) - f (x ) =  f (x )Td + o ( ) Si se toma d = - ZZT f (x ) , se cumple 0 = ĉ (x )d  0 luego tenemos una curva factible, y f (x + v ( )) - f (x ) = -  ZT f (x ) 2 +o ( ) < 0

Condiciones de extremo Justificación formal Si no se cumple la condición sobre el signo de los multiplicadores, j , j < 0 Si definimos d tal que ĉ (x )d = ej , ĉ (x )d = ej  0 luego tenemos una curva factible, y f (x + v ( )) - f (x ) =  f (x )Td + o ( ) =  Tĉ (x )d + o ( ) =  j + o ( ) < 0

Condiciones de extremo Justificación formal Si segundo orden no se cumple, w , wTZT 2L (x ,  )Zw < 0 Cambio en la función objetivo f (x +v ( )) = f (x ) +  f (x )Td + ½2(dT2f (x )d + f (x )Tu ) + o (2) Como se cumplen las condiciones de primer orden  f (x )Td =  Tĉ (x )d  0 Si Tĉ (x )d > 0 , x es óptimo a lo largo de d

Condiciones de extremo Justificación formal Direcciones d tales que ĉ (x )d = 0  d = Zw Condiciones sobre curva de movimiento, cj (x )Tu + dT 2cj (x ) d  0 Seleccionar u de manera que se cumpla cj (x )Tu + dT 2cj (x ) d = 0  dT2f (x )d + f (x )Tu = dT2f (x )d + Tĉ (x )u = dT2L (x ,  )d = wTZT 2L (x ,  )Zw < 0

Condiciones de extremo Condiciones suficientes Desarrollo en serie sobre una curva factible f (x +v ( )) - f (x ) =  f (x )Td + ½ 2(dT2f (x )d + f (x )Tu ) + o (2) De las condiciones, ĉ (x )d  0 ,   0  Tĉ (x )d  0  f (x )Td  0 Si f (x )Td = 0, entonces bien cj (x )d = 0 o bien j = 0

Condiciones de extremo Condiciones suficientes Por tanto, si f (x )Td = 0 entonces d = Z+w El desarrollo en serie tiene ahora la forma f (x +v ( )) - f (x ) = ½2(dT2f (x )d + f (x )Tu ) + o (2) pero f (x )Tu = Tĉ (x )u = - j j dT2cj (x )d Sustituyendo en el desarrollo en serie f (x +v ( ))-f (x ) = ½2wTZ+T2L (x ,  )Z+w +o (2)

Condiciones de extremo Aplicación de las condiciones Sistema de ecuaciones y desigualdades: c (x )  0 ,   0 Procedimiento: Seleccionar posibles desigualdades activas Soluciones con restricciones de igualdad Comprobar restantes desigualdades

Condiciones de extremo Problema de optimización de carteras min ½xTRx s.a rTx   eTx = 1 x  0 Derivadas de las funciones del problema: f (x ) = Rx , c (x ) = ( r e I )T , 2L (x ,  ) = R Valores de los parámetros: r = ( 1.6 4.6 6.2 5.6 0.7 -0.4 ),  = 5

Condiciones de extremo Ejemplo Valores de los parámetros 26 56 28 45 21 -19 56 248 89 141 31 -15 R = 28 89 223 63 -22 -63 45 141 63 137 -22 -82 21 31 -22 -22 72 16 -19 -15 -63 -82 16 77 Comprobar condiciones para x = ( 0 0 1 0 0 0 )T

Condiciones de extremo Ejemplo Cumplimiento de las restricciones rTx -  = 1.2, eTx - 1 = 0, x  0 Condiciones de primer orden f (x ) = Rx = ( 28 89 223 63 -22 -73 )T ĉ (x ) = ( e e1 e2 e4 e5 e6 )T ,  = ( 223 -195 -134 -160 -245 -296 )T 2, 3, 4, 5, 6 < 0

Condiciones de extremo Ejemplo Dirección de mejora: ĉ (x )p = ej  p = ( 0 0 -1 0 0 1 )T Otro valor a comprobar x = ( 0 0 0.32 0.55 0 0.13 )T rTx -  = 0, eTx - 1 = 0, x  0 f (x ) = Rx = ( 31 104 96 84 -17 -58 )T ĉ (x )=( r e e1 e2 e5 )T ,  =( 23 -48 40 44 15 )T

Condiciones de extremo Ejemplo: 2 1 min ( -2 1 ) x + ½xT x 1 -1 s.a ( 1 1 ) x  2 x  0 Comprobar si es solución: x = ( 2 0 )T Encontrar la solución

Condiciones de extremo Ejemplo: x1 min  (1+x12) (1+x22) s.a -x1 + x2  ½ 2x1 - x2  1 4x1 + 2x2  -1 Probar las combinaciones posibles (7) Para cada una, resolver problema con restricciones de igualdad Número combinatorio de posibilidades