Descargar la presentación
La descarga está en progreso. Por favor, espere
1
Condiciones de extremo
Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones Problema con restricciones de igualdad Problema con restricciones de desigualdad
2
Condiciones de extremo
Caso sin restricciones: minx f (x ) Condición: f (x ) f (y ) y { z : z - x } Dificultad: comprobar dicha condición para todo y Solución: Condiciones en x sobre f y sus derivadas
3
Condiciones de extremo
El caso univariante: f’ (x ) = 0 , f’’ (x ) 0 Extensión natural al caso multivariante: f (x ) = 0 2 f (x ) s.d.p.
4
Condiciones de extremo
Justificación intuitiva Basada en aproximaciones locales f (x +v ) - f (x ) f (x )T v f (x +v ) - f (x ) f (x )T v + ½vT2f (x )v Hipótesis: si la función tiene un mínimo, la aproximación local también lo tiene Condiciones para que las aproximaciones tengan mínimos
5
Condiciones de extremo
Caso lineal: (v ;x ) = f (x )T v La aproximación lineal tiene un mínimo si f (x ) = 0 Caso cuadrático: (v ;x ) = f (x )T v + ½vT2f (x )v Aprox. cuadrática tiene mínimo en v = 0 si f (x ) + 2f (x )v = 0, 2f (x ) s.d.p.
6
Condiciones de extremo
Ejemplo de condición de óptimo Ajustar los parámetros de un modelo: medida de defectos en un producto Distribución a ajustar: Gamma(a ,b ) Procedimiento: máxima verosimilitud
7
Condiciones de extremo
Ejemplo Función objetivo: f (a ,b ) = logL = -nb loga - n log (b ) + (b -1) i logxi - i xi /a Datos: n = 20, i logxi = 39.11, i xi = 167.5
8
Condiciones de extremo
Ejemplo: derivadas -nb /a + i xi /a2 f (x ) = -n loga - n log (b ) + i logxi nb /a2 - 2i xi /a n /a 2f (x ) = -n /a n 2 log (b ) No es posible aplicar las condiciones directamente
9
Condiciones de extremo
Ejemplo Para a = 1 y b = 1 tenemos f (x ) = , f (x ) = ( )T Para a = 2.7 y b = 3.1 tenemos f (x ) = -61.0, f (x ) = ( )T Para a = y b = tenemos f (x ) = -57.2, f (x ) = ( -3e-5 -6e-5 )T autovalores de 2f (x ) = y
10
Condiciones de extremo
Justificación formal Si x es solución, se deberá cumplir f (x + v ) - f (x ) 0 para todo v , v = 1 y todo > 0 pequeño Desarrollo en serie de Taylor: necesita que f (x )T v + o () 0 y esto sólo se cumple si f (x ) = 0
11
Condiciones de extremo
Justificación Si es pequeño, f (x )T v define el signo Si f (x ) 0, basta con tomar v = -f (x ) f (x + v ) - f (x ) - f (x ) 2 < 0 y x no puede ser solución local Si no se cumple la condición: Moverse a lo largo de -f (x ) Existen direcciones mejores
12
Condiciones de extremo
f (x ) = 0 , condición necesaria Condición necesaria de segundo orden Supongamos que f (x ) = 0 , f (x + v ) - f (x ) = ½2 vT2f (x )v + o ( 2 ) El signo de f (x + v ) - f (x ) viene definido por el signo de vT2f (x )v Se tiene un mínimo si vT2f (x )v 0 v
13
Condiciones de extremo
Condición necesaria de segundo orden Hace falta que 2f (x ) sea s.d.p. Si no se cumple la condición, existen direcciones que cumplen vT2f (x )v < 0 a lo largo de estas direcciones f (x + v ) - f (x ) ½2 vT2f (x )v < 0 y x no puede ser un mínimo
14
Condiciones de extremo
Condición suficiente Si f (x ) = 0 y 2f (x ) es d.p., se tiene > 0, v, v = 1 vT2f (x )v Esto implica que > 0 tal que , ½2vT2f (x )v +o (2) ¼2vT2f (x )v ¼2 y por tanto v, se tiene que f (x + v ) - f (x ) ¼2 > 0 luego x es un mínimo
15
Condiciones de extremo
Utilidad de estas condiciones Comprobación de posibles soluciones: Medida de la calidad de un candidato Cálculo de extremos Resolver un sistema de ecuaciones no lineales Métodos directos/Métodos iterativos aproximados Comprobar la condición de segundo orden
16
Condiciones de extremo
Ejemplo: x1 min f (x ) (1+x12) (1+x22) Calcular máximos y mínimos Resolver sistema de ecuaciones no lineales para condiciones de primer orden Es posible en forma explícita en este caso En caso contrario, métodos numéricos
17
Condiciones de extremo
Derivadas: Denotaremos a = 1+x12 , b = 1+x22 (1 - x12)/a2b f (x ) = -2x1x2/ab2 2x1(x12 - 3)/a3b -2x1x2(1 - x12)/a2b2 2f (x ) = -2x1x2(1 - x12)/a2b2 2x1(x22 - 1)/ab3
18
Condiciones de extremo
Cálculo de soluciones para el ejemplo Igualando el gradiente a cero, 1 - x12 = 0, -2x1x2 = 0 x2 = 0, x1 = 1 Estudiando las segundas derivadas, En ( 1 0 )T -1/2 0 2f (x ) = En ( )T 1/2 0 0 1
19
Condiciones de extremo
Caso con restricciones de igualdad minx f (x ) s.a c (x ) = 0 Condición: c (x ) = 0, f (x ) f (y ) y { z : c (z ) = 0 } Mismas dificultades que en caso anterior Valores y derivadas de f y c Cómo tener en cuenta las restricciones
20
Condiciones de extremo
Ejemplo Cartera con endeudamiento r = ( ) R = Condición sobre inversiones eT x = 1
21
Condiciones de extremo
Ejemplo (a) min xT R x (b) max rT x xT R x (c) max rT x s.a eT x = s.a eT x = s.a eT x = 1 (d) max rT x xT R x s.a eT x = 1 vT x = 0.5
22
Condiciones de extremo
Intuición gráfica Para una restricción, en el punto solución Gradiente de f. objetivo ortogonal a restricción Gradientes de f. objetivo y restricción paralelos Expresión formal: f (x ) = c (x ) Más de una restricción Gradientes paralelos? Gradiente de f. objetivo ortogonal a restricciones ¿Cómo se plantea (algebraicamente) ortogonalidad?
23
Condiciones de extremo
Planteamiento de ortogonalidad Gradiente f. obj. perpendicular a restricciones Perpendicular a vectores tangentes a cada restricción Vect. tangentes a restricción j : cj (x )T d = 0 A todas simultáneamente: c (x ) d = 0 Gradiente perpendicular a las restricciones: f (x )T d = 0 d { u : c (x ) u = 0 }
24
Condiciones de extremo
Representación gráfica (i) -2 -1 1 2 -1.5 -0.5 0.5 1.5
25
Condiciones de extremo
Representación gráfica (ii) -2 -1 1 2 -1.5 -0.5 0.5 1.5
26
Condiciones de extremo
Aproximación lineal mind f (x ) + f (x )Td s.a c (x ) + c (x )d = 0 ¿Cuándo tiene un mínimo en x ? Para tener un mínimo, debe ser constante sobre las restricciones Para ello, el gradiente ha de ser perpendicular a dichas restricciones
27
Condiciones de extremo
Condiciones necesarias c (x ) = 0, f (x ) = c (x )T ¿Son suficientes? No Aproximación de segundo orden: mind f (x ) + f (x )Td + ½ dT 2f (x ) d s.a c (x ) + c (x )d = 0 Función convexa sobre las restricciones
28
Condiciones de extremo
Condiciones de segundo orden Se denota por Z una base de c (x )d = 0 ¿Es ZT 2f (x )Z s.d.p. cond. necesaria? Ejemplo: minx x12 + (x2 + 1)2 s.a x2 - x12 (x1 - ) = 0 Soluciones para valores de = 0, ½, 1
29
Condiciones de extremo
Hace falta incluir las restricciones ZT 2L (x , )Z s.d.p. L (x , ) = f (x ) - c (x )T L función lagrangiana: Combinación de f. objetivo y restricciones Condiciones de extremo con restricciones: equivalentes a problema sin restricciones Función objetivo: función lagrangiana
30
Condiciones de extremo
Ejemplo: Analizar los datos de la EPF para buscar estructuras de interés Proyectar sobre direcciones que maximicen el cuarto momento maxd i (xiTd )4 s.a dTd = 1 (datos estandarizados)
31
Condiciones de extremo
Ejemplo Datos:
32
Condiciones de extremo
Ejemplo: derivadas f (d ) = 4i (xiTd )3xi , c (d ) = 2dT Condiciones de extremo: Cuando f (d ) sea colineal con d No necesariamente cuando el gradiente sea cero Sistema de ecuaciones con n ecuaciones e incógnitas La solución no tiene por qué cumplir dTd = 1
33
Condiciones de extremo
Deducción de las condiciones f (x +v ) = f (x ) + f (x )T v + ½vT2f (x )v + o(v 2) No cualquier v es aceptable v, c (x + v ) = 0 Representación explícita de v curvas parametrizadas v ( ) = d +½ 2u +o ( 2) , c (x + v ( )) = 0
34
Condiciones de extremo
Representación explícita Condiciones sobre los parámetros Derivadas en = 0 iguales a cero c (x + v ( ))’ = 0 c (x )d = 0 c (x + v ( ))” = 0 c (x )u + dT 2c (x ) d = 0 Valores aceptables de d y u
35
Condiciones de extremo
Condiciones de óptimo f (x +v ) = f (x ) + f (x )T v + o(v ) v = d + ½ 2u + o ( 2), c (x )d = 0 f (x +v ) = f (x ) + f (x )T d + o ( ) Condición necesaria f (x )T d 0 d, c (x )d = 0
36
Condiciones de extremo
Condición necesaria de primer orden Representa d :d = Zw para w cualquiera Condición equivalente: f (x )T Zw 0 w ZT f (x ) = 0 También equivalente a , f (x ) = c (x )T Justificación Si la condición no se cumple ...
37
Condiciones de extremo
Condición necesaria de segundo orden Suponemos que ZTf (x ) = 0 f (x +v ) = f (x ) + ½vT2f (x )v + o(v 2) v d + ½ 2u , c (x )u + dT2c (x )d = 0 f (x +v )=f (x )+½ 2 (f (x )Tu +dT2f (x )d ) + o(2 ) Problema: condiciones sobre u
38
Condiciones de extremo
Condición de segundo orden De la condición de primer orden f (x )Tu = Tc (x )u = -j j dT2cj (x )d f (x +v ) = f (x ) + ½2 dT2(f (x ) - Tc (x ))d + o(2 ) Condición necesaria: dT2(f (x )-Tc (x ))d 0 ZT2L (x,)Z s.d.p.
39
Condiciones de extremo
Cálculo de óptimos: Resolución de sistema de ecuaciones no lineales f (x ) = c (x )T c (x ) = 0 n + m ecuaciones e incógnitas Comprobación de condición de 2o orden para las soluciones
40
Condiciones de extremo
Ejemplo: x1 min (1+x12) (1+x22) s.a x1x2 = 1 Cálculo de soluciones: (1 - x12)/a2b = x2 -2x1x2/ab2 = x1 x1x2 = 1 Solución: x1=3, x2=1/3, =33/32
41
Condiciones de extremo
Condiciones de regularidad ¿Basta con las condiciones anteriores? Cálculo de soluciones de minx (x32 + 1)(x12 + x2) s.a x2 - (x1 - 1)2 = 0 x2 = 0 El punto (1,0,0) es la solución pero no cumple las condiciones de primer orden
42
Condiciones de extremo
¿Qué sucede en este caso? 1 0 Z = , Z T f (x ) = ( 2 0 )T 0 1 Parece posible moverse a lo largo de curvas con d = - Z Z T f (x ) Pero se viola la primera restricción Mala representación de curvas factibles
43
Condiciones de extremo
Información lineal no es adecuada Problema: cambios bruscos de dimensión en espacios El problema no existe si c (x ) tiene rango completo Es condición suficiente, pero existen otras condiciones menos exigentes cualificaciones de restricciones
44
Condiciones de extremo
Condición necesaria general Condiciones de Fritz-John 0f (x ) = c (x )T , (0 , ) 0 c (x ) = 0 Se cumplen independientemente de la cualificación de restricciones Son equivalentes a KKT si 0 0 Si c (x ) tiene rango máximo, 0 0
45
Condiciones de extremo
Condiciones de regularidad Condiciones bajo las que se cumple 0 0 Ejemplos: Cono de tangentes = direcciones de descenso La matriz Jacobiana en la solución tiene rango máximo Condiciones también suficientes para el caso con restricciones de desigualdad
46
Condiciones de extremo
Interpretación de los multiplicadores Propiedad: minx f (x ) s.a c (x ) = ej con solución x* ( ) Entonces df (x* ( )) = j d =0 Sensibilidad de función objetivo a cambios en el lado derecho de las restricciones
47
Condiciones de extremo
Ejemplo: Derivadas f (d ) = 4i (xiTd )3xi , c (d ) = 2dT 2L (d, ) = 12i (xiTd )2xi xiT - 2I Para el punto d = (1/n) ( )T, f (d )=163.3, c (d )=0, c (d )=( ) f (d ) = ( )T
48
Condiciones de extremo
Ejemplo: ¿Es solución? Z = , ZT f (d ) = ¿Cómo obtener mejores soluciones? ZZT f (d )=( )T
49
Condiciones de extremo
Ejemplo: Supongamos d = ( )T f (d ) = 534.9, c (d ) 0, c (d ) = ( ) f (d ) = ( )T ZT f (d ) = 0 , = -1070 autovalores de ZT 2LZ = -92, -103,
50
Condiciones de extremo
Ejemplo: 2 1 min ( ) x + ½xT x 1 -1 s.a ( 1 1 ) x = 2 Comprobar si son solución: x = ( 1/3 4/3 )T , ( 3/2 1/2 )T , ( 1 1 )T Encontrar la solución
51
Condiciones de extremo
Caso con restricciones de desigualdad minx f (x ) s.a c (x ) 0 Similar caso con restricciones de igualdad Conociendo restricciones activas en solución Restricciones activas: cj (x ) = 0 Soluciones locales no dependen de restricciones lejanas
52
Condiciones de extremo
Diferencias con el caso de igualdad: Es posible moverse hacia el interior de la región factible Es necesario estudiar dos posibilidades: Comportamiento del problema sobre las restricciones activas Comportamiento del problema hacia el interior de la región factible
53
Condiciones de extremo
Motivación de las condiciones Cumplimiento de restricciones c (x ) 0 Comportamiento sobre las restricciones: cond. primer orden restricciones activas ZT f (x ) = 0 , f (x ) = ĉ (x )T ĉ denota las restricciones activas
54
Condiciones de extremo
Motivación de las condiciones Movimiento hacia interior de región factible cj (x ) cj (x ) 0 x* () f (x* ()) - f (x* (0)) 0 ? x* (0)
55
Condiciones de extremo
Motivación de las condiciones Movimiento hacia interior de región factible Condición: l 0 Si lj < 0 y f (x ) = ĉ (x )T , definimos d ĉ (x ) d = ej f (x + d ) = f (x ) + f (x )Td + o ( ) f (x + d ) - f (x ) = Tĉ (x ) d + o ( ) f (x + d ) - f (x ) = j + o ( ) < 0
56
Condiciones de extremo
Justificación de las condiciones: Empleo de curvas parametrizadas Para que no exista solución: D ={ d : f (x )Td < 0 }, S ={ d : ĉ (x ) d 0 } D S = En el caso con restricciones de igualdad D ={ d : f (x )Td < 0 }, S ={ d : c (x ) d = 0 } ZT f (x ) = 0 D S =
57
Condiciones de extremo
Justificación de las condiciones: Con restricciones de desigualdad, f (x ) = ĉ (x )T , 0 D S = Resultado: Lema de Farkas f (x ) = ĉ (x )T ĉ (x ) d = 0 y f (x )T d < 0 Solo uno de los dos sistemas tiene solución
58
Condiciones de extremo
Lema de Farkas Justificación Si el primer sistema tiene solución f (x ) = ĉ (x )T f (x )Td = Tĉ (x )d 0 Si el primer sistema no tiene solución f (x ) { u : u = ĉ (x )T , 0 } Hiperplano separador w , f (x )Tw < 0 , Tĉ (x )w 0 0 ĉ (x )Tw 0
59
Condiciones de extremo
Condiciones de segundo orden Condición necesaria Comportamiento sobre las restricciones, ZT 2L (x,) Z s.d.p. Las columnas de Z forman una base del subespacio { d : ĉ (x ) d = 0 } ¿Y en direcciones al interior de la región factible? Signo de los multiplicadores
60
Condiciones de extremo
Condición suficiente Para las restricciones activas, ZT 2L (x,) Z d.p. Si lj > 0, condición suficiente Si lj = 0 para algún j, hace falta estudiar curvatura hacia el interior de región factible Ampliar el subespacio generado por Z
61
Condiciones de extremo
Condición suficiente Si existen multiplicadores iguales a cero Z+T 2L (x,) Z+ d.p. Z+ denota una matriz cuyas columnas forman una base del subespacio { d : cj (x )T d = 0 , j j 0 } ¿Es condición necesaria? No
62
Condiciones de extremo
Condición suficiente Ejemplo 6 3 min (-9 -4) x + ½xT x 3 1 s.a x12 + x22 2 ¿Qué se cumple en (1,1)?
63
Condiciones de extremo
Resumen de condiciones Factibilidad: c (x ) 0 C. primer orden: f (x ) = ĉ (x )T Signo multiplicadores: 0 C. segundo orden: ZT 2L (x , ) Z s.d.p. Cond. suficiente: Anteriores más Z+T 2L (x , ) Z+ d.p.
64
Condiciones de extremo
Justificación formal: Factibilidad: trivialmente necesaria Otras condiciones: curvas parametrizadas v ( ) = d +½ 2u +o ( 2), c (x +v ( )) 0 Condiciones sobre parámetros Restricciones activas, cj (x ) = 0 , en = 0, cj (x + v ( ))’ 0 cj (x )Td 0 Si cj (x + v ( ))’ = 0 , entonces cj (x +v ( ))” 0 cj (x )Tu +dT 2cj (x )d 0
65
Condiciones de extremo
Si primer orden no se cumple, ZT f (x ) 0 Función objetivo a lo largo de curva factible f (x + v ( )) - f (x ) = f (x )Td + o ( ) Si se toma d = - ZZT f (x ) , se cumple 0 = ĉ (x )d 0 luego tenemos una curva factible, y f (x + v ( )) - f (x ) = - ZT f (x ) 2 +o ( ) < 0
66
Condiciones de extremo
Justificación formal Si no se cumple la condición sobre el signo de los multiplicadores, j , j < 0 Si definimos d tal que ĉ (x )d = ej , ĉ (x )d = ej 0 luego tenemos una curva factible, y f (x + v ( )) - f (x ) = f (x )Td + o ( ) = Tĉ (x )d + o ( ) = j + o ( ) < 0
67
Condiciones de extremo
Justificación formal Si segundo orden no se cumple, w , wTZT 2L (x , )Zw < 0 Cambio en la función objetivo f (x +v ( )) = f (x ) + f (x )Td + ½2(dT2f (x )d + f (x )Tu ) + o (2) Como se cumplen las condiciones de primer orden f (x )Td = Tĉ (x )d 0 Si Tĉ (x )d > 0 , x es óptimo a lo largo de d
68
Condiciones de extremo
Justificación formal Direcciones d tales que ĉ (x )d = 0 d = Zw Condiciones sobre curva de movimiento, cj (x )Tu + dT 2cj (x ) d 0 Seleccionar u de manera que se cumpla cj (x )Tu + dT 2cj (x ) d = 0 dT2f (x )d + f (x )Tu = dT2f (x )d + Tĉ (x )u = dT2L (x , )d = wTZT 2L (x , )Zw < 0
69
Condiciones de extremo
Condiciones suficientes Desarrollo en serie sobre una curva factible f (x +v ( )) - f (x ) = f (x )Td + ½ 2(dT2f (x )d + f (x )Tu ) + o (2) De las condiciones, ĉ (x )d 0 , 0 Tĉ (x )d 0 f (x )Td 0 Si f (x )Td = 0, entonces bien cj (x )d = 0 o bien j = 0
70
Condiciones de extremo
Condiciones suficientes Por tanto, si f (x )Td = 0 entonces d = Z+w El desarrollo en serie tiene ahora la forma f (x +v ( )) - f (x ) = ½2(dT2f (x )d + f (x )Tu ) + o (2) pero f (x )Tu = Tĉ (x )u = - j j dT2cj (x )d Sustituyendo en el desarrollo en serie f (x +v ( ))-f (x ) = ½2wTZ+T2L (x , )Z+w +o (2)
71
Condiciones de extremo
Aplicación de las condiciones Sistema de ecuaciones y desigualdades: c (x ) 0 , 0 Procedimiento: Seleccionar posibles desigualdades activas Soluciones con restricciones de igualdad Comprobar restantes desigualdades
72
Condiciones de extremo
Problema de optimización de carteras min ½xTRx s.a rTx eTx = 1 x 0 Derivadas de las funciones del problema: f (x ) = Rx , c (x ) = ( r e I )T , 2L (x , ) = R Valores de los parámetros: r = ( ), = 5
73
Condiciones de extremo
Ejemplo Valores de los parámetros R = Comprobar condiciones para x = ( )T
74
Condiciones de extremo
Ejemplo Cumplimiento de las restricciones rTx - = 1.2, eTx - 1 = 0, x 0 Condiciones de primer orden f (x ) = Rx = ( )T ĉ (x ) = ( e e1 e2 e4 e5 e6 )T , = ( )T 2, 3, 4, 5, 6 < 0
75
Condiciones de extremo
Ejemplo Dirección de mejora: ĉ (x )p = ej p = ( )T Otro valor a comprobar x = ( )T rTx - = 0, eTx - 1 = 0, x 0 f (x ) = Rx = ( )T ĉ (x )=( r e e1 e2 e5 )T , =( )T
76
Condiciones de extremo
Ejemplo: 2 1 min ( ) x + ½xT x 1 -1 s.a ( 1 1 ) x 2 x 0 Comprobar si es solución: x = ( 2 0 )T Encontrar la solución
77
Condiciones de extremo
Ejemplo: x1 min (1+x12) (1+x22) s.a -x1 + x2 ½ 2x1 - x2 1 4x1 + 2x2 -1 Probar las combinaciones posibles (7) Para cada una, resolver problema con restricciones de igualdad Número combinatorio de posibilidades
Presentaciones similares
© 2024 SlidePlayer.es Inc.
All rights reserved.