Optimización para Ingenieros La Universidad del Zulia Facultad de Ingeniería División de Estudios para Graduados Programa: Computación Aplicada Asignatura: Optimización para Ingenieros Programación No Lineal Repaso de funciones continuas Prof. Luis Zerpa, M.Sc. Email: lzerpa@ica.luz.ve

Programación Nolineal (Non Linear Programming NLP) NLP: Conjunto de técnicas para optimizar funciones no-lineales sujetas a restricciones de igualdad o desigualdad. Tanto las funciones como las restricciones pueden ser de una o más variables Formulación general de un problema de optimización Encontrar x tal que se minimice una función objetivo f(x) sujeto a restricciones: gi(x) = bi (i=1,…, m) gj(x)  bj (j=m,…, k) Donde x es un vector de n variables independientes

Características de los problemas que trataremos mayormente en el curso Funciones objetivo y restricciones continuas con sus primeras derivadas parciales también continuas (suaves) Esto garantiza que pequeños cambios en x conlleve a pequeños cambios en valores asociados Inecuaciones estrictas no son permitidas (< ó >) solo se permiten restricciones de  ,  e  El problema debe ser determinístico Todas las variables deben ser reales, ninguna puede tomar únicamente valores enteros. (Continuous Programming) S dominio de f y gi sea una región conectada

Tipos de Problemas No-lineales Sin restricciones Con restricciones Tamaño de los Problemas Una forma de medir la complejidad de los problemas es en función del número de variables o del número de restricciones Pequeña Escala: hasta 5 variables y restricciones  puede ser resuelto a mano Escala intermedia: de 5 a 100 variables y restricciones  Computador Personal o Servidor de Propósito General Gran Escala: más de 100 y quizás 1000 variables y restricciones  Mainframe para cálculo científico (cray), explotando la estructura del problema con algoritmos paralelos

Tipos de Problemas No-lineales En el curso se estudiarán la teoría y los métodos que permiten efectivamente la solución de la más amplia variedad de problemas (pequeña y mediana escala principalmente) A pesar de que un gran número de algoritmos han sido propuestos para la solución del problema general de optimización no lineal, sólo unos pocos han demostrado ser efectivos cuando se aplican a problemas de “gran – escala” No existe un método general de optimización no lineal en el sentido como es SIMPLEX para problemas lineales Ninguno es tan superior para ser clasificado como la “panacea” universal de la NLP

Criterios de Comparación de Algoritmos Número de evaluaciones de la función objetivo Confiabilidad (Éxito en alcanzar la solución) Rapidez Tiempo de Preparación del usuario (sobre parametrización) Precisión de la solución Grado de satisfacción de las restricciones Dificultad

Algoritmos Iterativos y Convergencia La mayoría de los algoritmos de NLP son iterativos En programación lineal existe una secuencia de longitud finita para alcanzar la solución En NLP la secuencia generalmente no alcanza la solución óptima sino que converge hacia ella En problemas no lineales se determina una solución lo suficientemente cercana a la óptima Solución Óptima

Algoritmos Iterativos y Convergencia La teoría de algoritmos iterativos se divide en: Diseño del Algoritmo Convergencia Global: Análisis de convergencia global (si eventualmente converge) Convergencia Local: Análisis de convergencia local (la razón a la cual el algoritmo converge en la Solución óptima) “Una buena teoría es mejor que miles de corridas” Esto da una idea de la manejabilidad de los problemas mediante un análisis simple lo cual es muy importante

Funciones de una variable Continuidad de una función en un número Se dice que f es continua en el número a si y solo si las siguientes 3 condiciones se satisfacen: existe Discontinuidad removible Discontinuidad Esencial

Teoremas sobre Continuidad Teorema: Si f y g son continuas en a entonces: f + g es continua en a f – g es continua en a f x g es continua en a f ÷ g es continua en a suponiendo que g(a) ≠ 0 Teorema: Una función polominal es continua en cualquier valor de las variables independientes

Continuidad en un Intervalo Definición: Continuidad por la derecha Se dice que f es continua por la derecha del número a si y solo si satisface las siguientes condiciones: Continuidad por la izquierda Se dice que f es continua por la izquierda del número a si y solo si,

Continuidad en un Intervalo Definición: Una función cuyo dominio incluye el intervalo cerrado [a,b] se dice que es continua en [a,b] si y solo si es continua en el intervalo abierto (a,b), así como es continua por la derecha de a y continua por la izquierda de b a b Definición: f es continua en [a,b) si y solo si es continua en (a,b) y continua por la derecha de a Definición: f es continua en (a,b] si y solo si es continua en (a,b) y continua por la izquierda de b

Diferenciabilidad y Continuidad La continuidad de una función no implica la diferenciabilidad de dicha función en ese número Sin embargo, la diferenciabilidad si implica la continuidad Teorema: Si una función es diferenciable en x1, entonces f es continua en x1

Derivada de una Función La pendiente de la recta tangente a f(x) en el punto (x, f(x)) x f(x)

Valores Máximos y Mínimos de una Función de una Variable La derivada puede utilizarse para determinar los puntos donde la tangente es horizontal (derivada = 0) Extremos Relativos Definición: La función f se dice que tiene un valor máximo relativo en “c”, si existe un intervalo abierto que contenga a “c” sobre el cual está definida la función f tal que f(c) ≥ f(x) para toda x en este intervalo

Valores Máximos y Mínimos de una Función de una Variable Extremos Relativos Definición: La función f se dice que tiene un valor mínimo relativo en “c”, si existe un intervalo abierto que contenga a “c” sobre el cual f está definido tal que f(c) ≤ f(x) para toda x en este intervalo

¿Dónde Localizar los Posibles Valores Extremos? Teorema: Si f(x) existe para todos los valores de x en el intervalo abierto (a,b) y si f tiene un extremo relativo en “c”, donde a < c < b, entonces f ´(c) existe y f ´(c) = 0 Si f es una función diferenciable, los únicos lugares posibles para puntos extremos es donde f ´(x) = 0

¿Dónde Localizar los Posibles Valores Extremos? Sin embargo, f ´(x) puede ser cero y no obstante en ese valor f no tiene un valor extremo (Punto de Silla) Más aún f puede tener un extremo relativo en un número y f’ puede no existir allí

¿Dónde Localizar los Posibles Valores Extremos? En Resumen Si una función está definida en un número “c” es una condición necesaria, pero no suficiente, para que f tenga un extremo relativo en “c” que f ´(c) = 0 ó que f ´(c) no exista Definición: Si c es un número en el dominio de la función f y si f ´(c) = 0 ó f ´(c) no existe, entonces “c” se llama punto crítico de f

Extremos Absolutos Frecuentemente estamos en una función definida en un intervalo dado, y deseamos encontrar el valor mayor o menor de la función en el intervalo Estos intervalos pueden ser cerrados, abiertos o cerrados a un extremo y abierto en otro. El valor máximo absoluto es el mayor valor dentro del intervalo, y el valor mínimo absoluto es el mínimo valor de la función dentro del intervalo

Extremos Absolutos en un Intervalo Definición: La función f se dice que tiene un valor máximo absoluto en un intervalo, si existe algún número “c” en el intervalo tal que f(c) ≥ f(x) para toda x en el intervalo. En tal caso f(c) es el valor máximo absoluto de f en el intervalo Definición: La función f se dice que tiene un valor mínimo absoluto en un intervalo si existe algún número “c” en el intervalo tal que f(c) ≤ f(x) para toda x en el intervalo. En tal caso f(c) es el valor mínimo absoluto de f en el intervalo Valor extremo absoluto es un mínimo o máximo absoluto de la función en el intervalo También se puede hablar de extremo absoluto de una función cuando no se especifica ningún intervalo, en este caso se dice que es un extremo global de la función

Teorema del Valor Extremo Si una función f es continua en el intervalo cerrado [a,b], entonces f tiene un valor máximo absoluto y un valor mínimo absoluto en [a,b] Un extremo absoluto de una función en un intervalo cerrado debe ser un extremo relativo o ser un valor de la función en un extremo del intervalo

Procedimientos para la determinación de extremos absolutos en intervalo cerrado Identificar valores de la función en los números críticos de f en [a,b] Encontrar f(a) y f(b) El mayor de estos es el máximo absoluto y el menor es el mínimo absoluto

Teorema de Rolle (Michel Rolle 1652-1719) Sea f una función continua en un intervalo cerrado, diferenciable en el intervalo abierto (a,b) y sean f(a) = 0 y f(b) = 0, existe al menos un número “c” entre a y b donde f ´(c) = 0 Debe notarse que puede haber más de un número en el intervalo abierto para el cual la derivada es cero

Teorema del Valor Medio Sea f una función continua tal que: es continua en el intervalo cerrado [a,b] es diferenciable en el intervalo abierto (a,b) entonces existe un número “c” en el intervalo abierto (a,b) tal que: La tangente RT es paralela a la secante RS

Funciones Crecientes y Decrecientes y Criterio de la Primera Derivada Definición: Una función definida en un intervalo se dice que es creciente en ese intervalo si y solo si: f(x1) < f(x2) siempre que x1 < x2 donde x1 y x2 son números del intervalo Definición: Una función definida en un intervalo se dice que es decreciente en ese intervalo si y solo si: f(x1) > f(x2) siempre que x1 < x2 donde x1 y x2 son números del intervalo Si una función es creciente o decreciente en un intervalo, entonces se dice que f es monótona

Funciones Crecientes y Decrecientes y Criterio de la Primera Derivada Teorema: Si una función continua en el intervalo cerrado [a,b] y diferenciable en el intervalo abierto (a,b) Si f ´(x) > 0 para toda x  es creciente en el intervalo Si f ´(x) < 0 para toda x  es decreciente en el intervalo

Criterio de la Primera derivada para Extremos Relativos Si una función continua en el intervalo abierto (a,b) que contiene un número crítico “c” y f es diferenciable, excepto, posiblemente en “c” . Si c es un extremo entonces: f ´(x1) > 0 donde x1 < c f ´(x2) > 0 donde c < x2 en este caso c es un máximo relativo Máximo Relativo Lo contrario aplica para Mínimo Relativo 

Criterio de la Segunda Derivada Sea “c” un número crítico de una función en la cual f ´(c) = 0 y f existe para todos los valores de x en algún intervalo abierto que contenga a “c”. Entonces si f ´´(c) existe y, Si f ´´(c) < 0, f tiene un valor máximo relativo en “c” Si f ´´(c) > 0, f tiene un valor mínimo relativo en “c” Nótese que si f ´´(c) = 0 nada puede concluirse Teorema: Sea f una función continua en el intervalo I que contiene al número crítico c. Si f(c) es un extremo relativo de f en I y es el único, entonces f(c) es un extremo absoluto de f en I. Además, Si f(c) es un máximo relativo  es un máximo absoluto Si f(c) es un mínimo relativo  es un mínimo absoluto

Formula de Taylor (Brook Taylor 1685 – 1731) Ciertas funciones pueden ser aproximadas por polinomios y el polinomio puede ser usado cuando la diferencia es pequeña Teorema: Sea f una función tal que f y sus n primeras derivadas son continuas en el intervalo cerrado [a,b]. Además, fn+1(x) existe para toda x en el intervalo abierto (a,b). Entonces hay un número  en el intervalo abierto (a,b) tal que, Si n = 0  f(b) = f(a) + f ´()(b – a)  Teorema del valor medio

Polinomio de Taylor Residuo

Funciones de Varias Variables (Campos Escalares) Continuidad de Campos Escalares Sea f una función de varias variables y a un vector de variables, se dice que f es continua en a si si esta falla entonces existe una discontinuidad esencial si esta falla entonces existe una discontinuidad evitable

Funciones de Varias Variables (Campos Escalares) Operaciones sobre funciones continuas Si f y g son continuas en a entonces: f + g f – g f x g f ÷ g es continua, si g(a) ≠ 0 Son continuas

Derivada direccional D f(p) = f(p)T  La derivada direccional permite tener información del comportamiento de la función si sus variables se modifican siguiendo el sentido indicado por el vector gradiente La Derivada direccional de f en p según el vector unitario  [ D f(p) ] es el producto escalar del gradiente en p, por  : D f(p) = f(p)T  ¿En qué sentido deberían desplazarse las variables de f, partiendo del punto p, para que los valores de f crezcan más rápidamente?

Derivada direccional Como la rapidez está dada por : f(p)T  En esta expresión se suponen ya conocidos f y p; faltando conocer “” que haga máximo el producto escalar Siendo f(p)T  = f(p).  Cos  = f(p).(1). Cos  Donde :  , es el ángulo formado por los vectores f(p) y  f(p)T , será máximo si y sólo si Cos  es máximo, ósea cuando  = 0 y f(p) con  son colineales. Lo cual significa que el vector unitario  debe tener el mismo sentido que el vector gradiente de f en p significa que el vector gradiente de una función f en un punto p, f(p), de su dominio se orienta en el sentido en el cual f crece mas rápidamente

Derivada direccional f(x,y) = -20 + 3x2 +y2 f = [6x 2y]

Gradiente Derivadas Parciales: Son derivadas direccionales especiales, las direcciones son las de los ejes coordenados Definición: Si f:u  R, u  Rn, la derivada de f en un punto x0  u es el vector cuyos componentes son las derivadas parciales de f en x0. A esto se le llama Gradiente

Diferenciabilidad de funciones de varias variables Teorema: Si f : u  R, u  Rn, es diferenciable en x entonces es continua en x El reciproco es falso: Una función puede ser continua sin ser diferenciable Teorema: (Condición de suficiencia de diferenciabilidad) Si f : u  R, u  Rn, posee derivadas parciales continuas en x0  u entonces f es diferenciable en x0 Sin embargo, una función puede ser diferenciable en un punto sin que sus derivadas parciales sean continuas, en dicho punto Definición: Decimos que una función es de clase Ck en u  Rn, y escribimos f  Ck(u), si todas sus derivadas parciales de orden k existen y son continuas en u

Formula de Taylor en Varias Variables En una notación mas convencional y compacta donde, Gradiente Hessiano

Extensión de los Criterios de Existencia de Máximo y Mínimos Los puntos críticos son aquellos donde f = 0 o no existe Alguna medida de “positividad” del Hessiano nos dirá si es un máximo o un mínimo Teorema de Weierstrass (Extensión del teorema de Valor Extremo): Una función continua f, definida en un conjunto compacto S cerrado y acotado (definido y no se va a infinito) tiene al menos un mínimo y un máximo en S

Formas cuadráticas Definición: Una forma cuadrática es cualquier campo escalar (Rn  R), definido para todo x en Rn que sigue la siguiente forma: donde aij  R puede ser cero Una forma cuadrática no incluye ningún término lineal Cualquier forma cuadrática puede ser expresada en notación matricial como donde aij son elementos de la matriz A

Formas cuadráticas Es claro que para todo i  j Por lo tanto una forma cuadrática puede ser representada equivalentemente por muchas matrices A o conjuntos de coeficientes aij Sin embargo, para una forma cuadrática q(x) dada existe sólo una matriz simétrica (cuadrada tal que D = DT) que satisface q(x) = xTDx cuyos elementos están definidos por: para todo i  j

Formas cuadráticas Ejemplo

Propiedades de las formas cuadráticas Definición: la forma cuadrática q(x) = xTDx es definida positiva si q(x) > 0 para todo x ≠ 0 en En Definición: la forma cuadrática q(x) = xTDx es semidefinida positiva si q(x) ≥ 0 para todo x  En, pero q(x) no es definida positiva Definición: la forma cuadrática q(x) = xTDx es definida negativa si q(x) < 0 para todo x ≠ 0 en En Definición: la forma cuadrática q(x) = xTDx es semidefinida negativa si q(x)  0 para todo x  En, pero q(x) no es definida negativa La matriz D (única y simétrica) de una forma cuadrática definida positiva es definida positiva

Propiedades de las formas cuadráticas Si no satisface ninguna de las cuatro definiciones anteriores se dice que la forma cuadrática es indefinida. Esto es si q(x1) > 0 y q(x2) < 0 es indefinida, donde x1 y x2  Rn Es definida positiva Es definida negativa

Propiedades de las formas cuadráticas Sea D una matriz simétrica de n x n definida positiva, entonces: D-1 existe D-1 es definida positiva ADAT es semidefinida positiva para cualquier matriz A mxn

Clasificación de formas cuadráticas Método de los autovalores Sea q(x) = xTDx una forma cuadrática, con D matriz simétrica. Sean 1, 2,… n los n autovalores de la matriz D. Entonces: q(x) es definida positiva si y sólo si i > 0  i q(x) es definida negativa si y sólo si i < 0  i q(x) es semidefinida positiva si y sólo i  0  i, siendo al menos un j = 0 q(x) es semidefinida negativa si y sólo i  0  i, siendo al menos un j = 0 q(x) es indefinida si y sólo si algún i > 0 y algún j < 0

Funciones Convexas Estamos particularmente interesados en la optimización de este tipo de funciones sobre los llamados conjuntos convexos Definición: Un conjunto X en En(Rn) es convexo si y sólo si para dos puntos cualquiera x1 y x2 en X y cualquier valor escalar 0    1, el punto x =  x1 + (1 - ) x2 también está dentro de X Una esfera, un triángulo, el espacio Rn, una línea recta y un punto son conjuntos convexos. Un hiperplano también es un conjunto convexo

Funciones Convexas Definición: Una función escalar f(x) es una función convexa definida sobre un conjunto convexo X en En si para dos puntos cualquiera x1 y x2 en X donde 0    1

Funciones Convexas Las funciones convexas tienen una caracterización geométrica simple e informativa Teorema: Cualquier función lineal f(x) = cTx es tanto cóncava como convexa Teorema: Si f(x) es convexa  -f(x) es cóncava (y viceversa) Teorema: La suma de 2 o más funciones convexas es convexa Teorema: Cualquier forma cuadrática semidefinida positiva q(x) = xTDx donde D es simétrica, es una función convexa en todo En, y si D es definida positiva es estrictamente convexa Teorema: Cualquier forma cuadrática semidefinida negativa q(x) = xTDx donde D es simétrica, es una función cóncava en todo En, y si D es definida negativa es estrictamente cóncava

Funciones Convexas Dada una función cuadrática representada como es convexa o cóncava si q(x) es convexa o cóncava Podemos notar la similitud con el polinomio de Taylor

Funciones Convexas Teorema: Si la función f(x) está definida y es convexa sobre un conjunto convexo X en En, luego cualquier mínimo local (con restricción) de f(x) en X es un mínimo global en X Teorema: Si la función f(x) está definida y es cóncava sobre un conjunto convexo X en En, luego cualquier máximo local (con restricción) de f(x) en X es un máximo global en X Teorema: Si una función f(x) es convexa sobre un conjunto X compacto y convexo (cerrado y limitado) en En entonces al menos un máximo global se encuentra sobre el borde de X

Criterios de la primera y segunda derivada Teorema: Supongamos que f(x) tiene primeras derivadas parciales continuas. Luego f(x) es cóncava sobre alguna región R en En si y sólo si similarmente, f(x) es convexa sobre alguna región R en En si y sólo si

Criterios de la primera y segunda derivada Teorema: Sea f(x) una función  C2 (segundas derivadas parciales existen y son continuas). Entonces f(x) es convexa sobre una región R en En si y sólo si su Hessiano es definido o semidefinido positivo para toda x de la región R

Criterios de la primera y segunda derivada Teorema de Schwartz: Si f(x,y) es tal que son continuas en un entorno de un punto (x0,y0), entonces existe y se cumple que Como la matriz Hessiano es simétrica la definición definida y semidefinida positiva para formas cuadráticas es aplicable directamente Una función puede ser convexa o concava y su Hessiano puede “desaparecer” en algunos puntos (matriz de ceros)