Computacion Inteligente Optimización basada en la derivada

Contenido El gradiente conjugado

EL GRADIENTE CONJUGADO

De ahora en adelante se asume que queremos minimizar la funcion cuadratica: A simetrica

El gradiente de la funcion esta dado por Si A simetrica

Encontrar el minimo de la funcion es equivalente a resolver el problema lineal: Si A simetrica

Ejemplo: Encontrar x tal que Ax = b. La solucion es la interseccion de las lineas

Cada elipsoide tiene f(x) constante En general, la solucion x está en el punto de interseccion de n hiperplanos, cada uno de dimension n – 1.

Cual es el problema con el steepest descent? Podemos repetir las mismas direcciones una y otra vez… ¿No sería mejor si cada vez que damos un paso, lo damos todo en esa direccion la primera vez?

Cual es el problema con el steepest descent? Podemos repetir las mismas direcciones una y otra vez… El gradiente conjugado requiere n evaluationes del gradiente y n busquedas lineales.

Primero, definamos el error como solucion ei es un vector que indica qué tan lejos estamos de la solucion. Start point

Tomemos un conjunto de direcciones de busqueda ortogonales (son una base en Rn) En cada direccion de busqueda, daremos exactamente un paso cada paso tendrá la longitud justa para llegar a

Por ejemplo, usando para dj los ejes de cordenadas como direcciones de busqueda… Desafortunadamente, este metodo solo funciona si ya conocemos la respuesta ortogonal

Tenemos

Una solucion: asumir Dado , cómo calcular ? 90º Como en el steepest descend Siendo asi, nunca sera necesario dar de nuevo un paso en la direccion de di

Una solucion: asumir Siendo asi, 90º Pero no hemos logrado nada porque no podemos calcular αi sin conocer ei. Pero si conocemos ei el problema ya estaba resuelto

Dado , cómo calcular ? Una solucion: asumir No sirve!

Dado , cómo calcular ? ASUMAMOS

Dado , cómo calcular ? HAGAMOS la derivada direccional CERO

Dado , cómo calcular ? Esto es Se puede calcular

Como hallar ? Ya que los vectores de busqueda forman una base Por otro lado

Queremos que despues de n pasos el error sea 0: Una idea: si entonces: Entonces si:

Asi, buscamos tal que Un calculo simple muestra que si tomamos La seleccion correcta es

Un algoritmo del gradiente conjugado: Step 4: and repeat n times Step 1: Data Step 0: Step 3: Step 2: The conjugate gradient method is a simple and effective modification of the optimum steepest descent method. For the optimum steepest descent method, the search directions for consecutive steps are always perpendicular to one another which slows down the process of optimization. The search directions for the conjugate direction method tend to cut diagonally through the orthogonal search directions from the optimum steepest descent method. This method begins by checking to see if the gradient at the starting point is close to zero. If it is, then we’re at the bottom of the hill and therefore done. If not, then the next point is found by optimizing along this search direction. Then the gradient and a quantity called beta is calculated at the new point. Beta is the ratio of the norms of the gradients. The new search direction is then calculated to as a compination of the gradient plus beta times the previous search direction. The gradient is checked to see if it is close to zero. Again, if it is, then the search is over. Then the optimum is found along this search direction resulting in the next point. We now return to step 4 and repeat the process until we reach the minimum of the objective function.

Sources J-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani, Slides for Ch. 5 of “Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence”, First Edition, Prentice Hall, 1997. Djamel Bouchaffra. Soft Computing. Course materials. Oakland University. Fall 2005 Lucidi delle lezioni, Soft Computing. Materiale Didattico. Dipartimento di Elettronica e Informazione. Politecnico di Milano. 2004 Jeen-Shing Wang, Course: Introduction to Neural Networks. Lecture notes. Department of Electrical Engineering. National Cheng Kung University. Fall, 2005

Sources Carlo Tomasi, Mathematical Methods for Robotics and Vision. Stanford University. Fall 2000 Petros Ioannou, Jing Sun, Robust Adaptive Control. Prentice-Hall, Inc, Upper Saddle River: NJ, 1996 Jonathan Richard Shewchuk, An Introduction to the Conjugate Gradient Method Without the Agonizing Pain. Edition 11/4. School of Computer Science. Carnegie Mellon University. Pittsburgh. August 4, 1994 Gordon C. Everstine, Selected Topics in Linear Algebra. The GeorgeWashington University. 8 June 2004