1 Problemas de decisión Tipo particular de problemas de optimización Sistemas que evolucionan con el tiempo Se toman decisiones en momentos sucesivos de tiempo Decisiones dependen del estado del sistema Políticas óptimas: mejores decisiones para un estado dado Programación dinámica

2 Problema de inventarios Demanda prevista para los próximos 12 meses: Costes Costes de pedido - fijos:200 - variables:10 Costes de inventario:2 Costes de ventas perdidas:25 Ejemplo 1

3 Variables: Meses en los que se hace un pedido Tamaño del pedido Supondremos que los valores posibles son prefijados: 0 – 100 – 200 – 300 – 400 – 500 Función objetivo: Coste total de operación del sistema Restricciones: Tamaño de los inventarios, ventas perdidas Ejemplo 1

4 Generación de energía eléctrica Precios estimados para próximas 12 horas Variables Niveles de producción de una unidad Objetivo Máximo beneficio Ejemplo 2

5 Costes de generación C (€) = 41 E E 2 Zona de operación permisible: 100 – 300 Mwh Coste de arranque: € Costes de cambios en el nivel de generación: 150 € Máxima tasa de cambio: 50 Mwh/h Ejemplo 2

6 Variables: Niveles de generación Supondremos los siguientes valores aceptables Restricciones: Máximo cambio en los niveles de generación Máximo/mínimo nivel de generación  Incluido en los valores aceptables Ejemplo 2

7 Formulación del problema Elementos del problema Variables de estado Información necesaria para conocer la situación del sistema, x t Variables de decisión Acciones a tomar para modificar el estado, y t Ley de movimiento Relación entre variables de estado y de decisión x t+1 = g t ( x t, y t )

8 Formulación del problema Elementos del problema (ii) Función de costes  t  t f t ( x t, y t ) +  ( x T ) Factor de descuento,  t  Medida de preferencia por ingresos actuales frente a ingresos futuros  Solo es importante para horizontes largos Valor final,  ( x T )  Preferencia por que el sistema termine en un estado u otro  T, horizonte de planificación

9 Formulación del problema Problema de programación matemática Min  t  t f t ( x t, y t ) +  ( x T ) s.a x t+1 = g t ( x t, y t ) y t  Y Se quiere calcular la política óptima Funciones y t = a t ( x t ) que proporcionen el óptimo para el problema anterior  No solo los valores óptimos de las variables  Solución más robusta

10 Cálculo de soluciones Demasiado costoso explorar todas las alternativas Seleccionar algunas alternativas: Principio del máximo Solo algunas alternativas satisfacen condiciones necesarias para estar en un máximo  Se estudian distintas partes de la solución  Todas ellas deben parecer ser parte del óptimo Principio del Máximo

11 Variables de estado: Situación del sistema en cada periodo Inventarios, nivel de generación Variables de control: Decisiones a tomar Momentos de pedido, tamaños de pedido, cambios en niveles de generación Principio del Máximo

12 Descripción Problema a resolver en un intervalo de tiempo [0,T ] partiendo de x 0 Trayectoria óptima de variables de estado, x t *, t  [0,T ] Propiedad de la trayectoria óptima: Si empezamos desde x t *, obtenemos la misma trayectoria Principio del Máximo

13 Consecuencias: Construir una trayectoria óptima a partir de partes pequeñas El problema se reduce a una serie de problemas de menor tamaño Ventajoso si costes de solución crecen más rápido que linealmente Problemas menores: para un periodo único Limitación: Como x t * no se conoce, probar todos los valores Principio del Máximo

14 IlustraciónxtT x0x0x0x0 Principio del Máximo

15 Ilustraciónxt+1Tt xtxtxtxt xt’xt’xt’xt’ 1 2 1>2? Principio del Máximo

16 Aplicación Partimos de la situación en T Para cada estado, coste del estado V T (x ) Para cada periodo de tiempo y cada estado, calculamos: acción óptima en t compatible con costes óptimos de t +1 a T Principio del Máximo

17 Aplicación Formalmente, calculamos una función de valor V t ( x ) = min y { f t ( x, y ) + V t+1 (g t ( x, y )) } para cada valor de x y de t Una vez obtenidos los valores para t = 0 Seleccionar valor correspondiente a estado inicial Reconstruir camino de mínimo coste Principio del Máximo

18 Principio del Máximo Procedimiento de solución 1. Se calcula el valor de la función V T ( x ) =  ( x ) 2. Para el periodo T – 1 se calcula V T-1 ( x ) como V T-1 ( x ) = min y { f T-1 ( x, y ) + V T (g T-1 ( x, y )) } Para cada valor de x se calcula el valor de f T-1 ( x, y ) + V T (g T-1 ( x, y )) para todos los valores de y Se selecciona el menor y se conserva el valor de y(x) que corresponde al mínimo (política óptima)

19 Principio del máximo Procedimiento de solución 3. Se repite el proceso hasta t = 0 Se obtiene V 0 ( x 0 ) 4. Se reconstruye la trayectoria óptima a partir de los valores de y(x) Se parte de x 0 y se obtiene y 0 = y(x 0 ) Se calcula x 1 = g 0 ( x 0, y 0 ) Se repite el proceso hasta obtener x T

20 Gestión de inventarios Estado: nivel de inventario Variables de control: pedidos Objetivo: costes Horizonte de tiempo: 12 periodos Valor final Valoración inventarios periodo 13 V 13 (I 13 ) = -10I 13 Ejemplo 1

21 Aplicación del procedimiento Para el periodo 12, V 12 (I ) = min P {f (I,P ) + V 13 (I 13 (I,P ))} I 13 (I,P ) = max (0, I + P - D 12 ) Cálculo de valores (I = 100, P = 300): I 13 = I + P - D = = 50 f (I,P ) = K + cP + hI =   100 = 3300 V (I,P ) = f (I,P ) + V (I 13 ) = = 2800 Ejemplo 1

22 Valores para I = 100, Valor óptimo para I = 100, V 12 (100) = 2800, si P = 300 ó 400 Valores óptimos Ejemplo 1

23 Repetir proceso para otros periodos Cálculos para I = 150, P = 0, t = 11: I 12 =I +P -D = = -50, I 12 = 0 f (I,P )= hI + sD  = 2   50 = 1550 V (I,P )=f (I,P )+V (I 12 )= =5150 Valor óptimo para I = 150, t = 11: V 11 (150) = 4600, si P = 100 Ejemplo 1

24 Resultados Inicio del periodo 7 ¿Qué sucedería si I 7 = 200? Ejemplo 1

25 Solución óptima para I 7 = 200 Calcular valores a partir del periodo 7 Usando el tamaño óptimo de pedido, calcular el inventario en el periodo 8 Repetir hasta el periodo 13 Ejemplo 1

26 ¿Qué sucedería si I 7 = 50? Utilizar la información en tabla óptima Repetir el procedimiento para obtener Ejemplo 1

27 Generación de energía eléctrica Estado: nivel de generación Variables de control: cambio de nivel Objetivo: beneficio Horizonte de tiempo: 12 horas Valor final: valoración de nivel de generación 500 si P 13 > 0 V 13 (P 13 ) = 0 si P 13 = 0 Ejemplo 2

28 Cálculos Para t = 12, V 12 (P ) = max  {f (P,  ) + V 13 (P 13 (P,  ))} P 13 (P,  ) = P + ,  = 0,  50 Valores para P = 100,  = 50: P 13 = P +  = 150 f (P,  )=pP - aP - bP 2 - c = 61.6 (P = 125) V (P,  )=f (P,  )+V (P 13 )= =561.6 Ejemplo 2

29 Otros cálculos Para P = 100, Valor óptimo para P = 100, V 12 (100) = 565, si  = 0 Valores óptimos Ejemplo 2

30 Resultados Inicio del periodo 7  ¿Qué sucede si P 7 = 200? Ejemplo 2

31 Solución óptima para P 7 = 200 De los valores en la tabla óptima Valores de las variables de control  Código de colores en la tabla Ejemplo 2

32 Renovación de equipos Coste de compra:100 Costes de operación: Ejemplo 3

33 Encontrar política de renovación óptima Para un horizonte de 6 años Para un horizonte de 7 años Para un horizonte infinito Factor de descuento: 0.95 Condición inicial: edad del equipo Problema adicional: horizonte infinito Ejemplo 3

34 Formulación del problema: Variable de estado: Edad del equipo Variable de decisión: Renovar o no en un periodo dado Costes: operación, compra, valor residual Función de valor: coste total Ejemplo 3

35 Solución Suponiendo un horizonte a 5 años: V 6 (e ) = V r (e ) Periodo 5: V 5 (e ) = min { C a - V r (e ) + C o (1) +  V 6 (2), C o (e ) +  V 6 (e + 1) } Ejemplo 3

36 Resultados Si el equipo tiene una edad de dos años Horizonte a 6 años: Renovar pasados 5 años Horizonte a 7 años: Renovar pasados 4 años ¿Como seleccionar entre ambas opciones?  Resolver con horizonte infinito Ejemplo 3

37 Para que el problema tenga solución Datos estacionarios Definir y trabajar con coste por periodo Fórmula de solución J (x ) = min u {c (u ) +  J (y (x,u ))} Procedimientos de solución: Iteraciones sucesivas Iteración en políticas Horizonte Infinito

38 Cálculos para horizonte infinito J 0 = 0, J k+1 = min u {c u +  P u J k } J 100 = ( ) Decisiones: ( NR NR NR NR NR R ) Política óptima: Renovar tras 6 periodos Ejemplo 3

39 Extensiones: Datos aleatorios Se optimiza el valor esperado V t (x ) = min u E {c t (u t,w t ) + V t+1 (x t+1 (x,u t,w t ))} Tiempo continuo Solución directa solo es posible en casos especiales Discretizar el tiempo Principio del Máximo

40 Resumen Técnica potente pero compleja Existen herramientas computacionales eficientes Tanto para formulación como para solución Soluciones no son siempre intuitivas Herramientas adaptadas a propiedades del modelo Programación lineal Programación dinámica

41 Ejemplo 4 Hillier y Lieberman Un estudiante tiene 10 días para preparar los exámenes de 4 cursos Asignar días de estudio a cada curso Cada día asignado a un único curso Estimación de mejoras en calificaciones  Optimizando la mejora en las calificaciones ABCD

42 Ejemplo 5 Hillier y Lieberman Se quiere diseñar un sistema que requiere de cuatro componentes Para mejorar la fiabilidad se pueden instalar varias unidades de cada componente en paralelo Las probabilidades de funcionamiento correcto y los costes se dan en las tablas siguientes El presupuesto disponible es de 1000€ C1C2C3C4 10,550,60,70,5 20,650,70,80,65 30,850,80,90,8 C1C2C3C

43 Ejemplo 6 Valoración de opciones Te ofrecen una opción para comprar acciones Vencimiento en 3 meses Precio de ejercicio 24€ Estimación del comportamiento de la acción Promedio de cambio semanal 0,5€ Desviación típica 1€ En realidad estos valores debieran darse sobre las tasas de cambio Valor de la opción en función del valor de la acción

44 Ejemplo 7 Hillier y Lieberman Campaña de publicidad 3 etapas: ofertas especiales, anuncios y fidelización Etapa 1: m = 10 x 1 - x 1 2 Etapa 2: f 2 = x 2 Etapa 3: f 3 = x 3 Presupuesto total: 4 M€ Maximizar m f 2 f 3