Sistemas de ayuda a la decisión Tema 4. Modelos Gráficos Tablas y Árboles de Decisión y Diagramas de Influencia Indice 1) Tablas de decisión: definición y construcción. 2) Tablas de decisión: evaluación y análisis. 3) Árboles de decisión: definición y construcción. 4) Árboles de decisión: evaluación y análisis. 5) Diagramas de influencia: definición y construcción. 6) Diagramas de Influencia: evaluación y análisis 7) Software.

Modelos Gráficos. Sistemas de ayuda a la decisión Expert Systems and Probabilistic Network Models E. Castillo, J.M. Gutiérrez, and A.S. Hadi Springer-Verlag, 1997 An introduction to graphical models Kevin P. Murphy, 10 May 2001 Pattern Recognition and Machine Learning Christopher M. Bishop Copyright c 2002–2006, 8 Graphical Models Probabilistic Graphical Models Principles and Techniques Daphne Koller and Nir Friedman The MIT Press, 2010 Cambridge, Massachusetts London, England Bayesian Networks and Decision Graphs Finn V. Jensen and Thomas D. Nielsen Published by Springer Verlag 2007

Modelos Gráficos. Tablas de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Tablas de Decisión La forma más elemental de representación Ilustra de forma sencilla los conceptos básicos Elementos : decisión + estado → consecuencia a + θ → c(a, θ) ∈ C Orígenes en el trabajo de von Neumann y Morgenstern (1944) sobre juegos en forma normal

Modelos Gráficos. Tablas de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Tablas de Decisión Caso discreto (A y  discretos): Asignar creencias: Asignar preferencias: Calcular la utilidad esperada de cada alternativa ai La decisión de máxima utilidad esperada a∗, se propone como alternativa óptima

Modelos Gráficos. Tablas de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Tablas de Decisión Caso continuo (A y  continuos): Análogo, proponiéndose: ← utilidad esperada a∗ tal que ← alternativa óptima Típicamente un problema de programación no lineal Ejemplo: desarrollo de software

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Tablas muy limitadas en la práctica: sólo 1 momento de elección Típicamente, problemas reales son dinámicos, con decisiones encadenadas y alternancia de la ocurrencia de distintos fenómenos aleatorios Orígenes en Raiffa y Schlaifer (1961), a partir de von Neumann y Morgenstern (1944) sobre juegos en forma extensiva Elementos :

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Esqueleto (estructura): de izquierda a derecha (transcurrir del tiempo), desde la raíz hasta nodos terminales –Info cualitativa– Relaciones entre los elementos y los juicios del decisor a través de probabilidades y utilidades –Info cuantitativa– Probabilidades condicionadas a que sucesos a su izquierda ya han ocurrido y decisiones previas se han tomado

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Árbol: conjunto de estrategias o políticas que indican planes de acción sobre qué elección se hará en cada punto de decisión que puede alcanzarse con tal plan Evaluar un árbol para identificar una estrategia óptima Método regresivo de la programación dinámica (principio de optimalidad, Bellman y Dreyfus’62): sup. hemos tomado ciertas decisiones y la naturaleza ha adoptado ciertos estados, habremos llegado a un nodo que podrá ser: terminal → y le asignaremos la utilidad de la consecuencia; de azar → la EU máxima, a partir de ese nodo; de decisión → la EU de la decisión de máxima utilidad esperada, a partir de ese nodo ⇒ Análisis del problema en forma extensiva

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Formalización: bi ramas, cada una j de un nodo i tiene un nodo sucesor nij, probabilidad pij(si), donde si son los valores de todas las variables de los nodos predecesores de i Mejor valor asociado a cada nodo i dependerá de si: si ti = terminal si ti = decisión si ti = azar donde (si, i → j) indica que ha ocurrido si y se transita del nodo i al j. Si i es el nodo raíz, entonces si = ∅

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Ejemplo: Helicóptero Ejemplo 5.2, página 180 Fundamentos de los sistemas de ayuda a la decisión, Sixto Rios et al. RAMA, 2001

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Estados de maniobrabilidad: P(e1) = 0.3, P(e2) = 0.4 Piloto puede cometer errores y la prueba es sólo simulada: P(ra|e1) = 0.9, P(ra|e2) = 0.65, P(ra|e3) = 0.15 ⇒ necesitamos P(E|R) y P(R), mediante Tma. de Bayes: Coste de la prueba=600 euros Ejemplo: Helicóptero

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Ejemplo: Helicóptero

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Incertidumbre asociada con la estrategia óptima o con otra de interés Toma los valores 0, 0.25, 0.43 y 0.85 con Ps 0.045 (=0.575 × 0.078), 0.425, 0.260 (=0.575 × 0.452) y 0.270 (=0.575 ×0.470), respect. Ejemplo: Helicóptero

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Herramientas matemáticamente equivalentes Tabla ⇒ Árbol  Árbol ⇒ Tabla: hay que enumerar las posibles estrategias y calcular la distribución conjunta (preproceso con cálculos no locales) Ejemplo helicóptero : Probabilidades: P(R,E) = P(R|E)P(E) = P(E|R)P(R) Estrategias: A1 = hacer la prueba; A2 = no hacerla Si se hace: a1(ra) = c ; a1(rn) = c a2(ra) = c ; a2(rn) = ￢c a3(ra) = ￢c ; a3(rn) = c a4(ra) = ￢c ; a4(rn) = ￢c

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Ejemplo: Helicóptero ⇒ Análisis del problema en forma normal Contiene las EU de todas las estrategias, no sólo de la óptima Árbol: Tabla:

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Expresivos, intuitivos: caminos completos Crecimiento exponencial ⇒ requisitos computacionales también (el algoritmo enumera al atravesar todos los caminos) No separa la información cualitativa y cuantitativa Árboles esquemáticos (generalización)

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Simétrico: todos escenarios con mismas variables y en la misma Secuencia Helicóptero: 2 asimetrías: resultados de la prueba sólo si se realiza ésta; estado del helicóptero sólo se revelará si se compra Puede tratar problemas asimétricos Menor carga computacional y fácil interpretacion

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Representación deficiente de relaciones probabilísticas (ad hoc) Preproceso de probabilidades para la representación (el problema de los 2 árboles) Cálculos con la distribución conjunta

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Coalescencia (replicación de subárboles) se detecta ad hoc Restricciones información explícitas, pero requiere orden total (no siempre especificado)

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Coalescencia depende de cómo se complete el orden

Modelos Gráficos. Árboles de Decisión Sistemas de ayuda a la decisión Modelos Gráficos. Árboles de Decisión Puede tratar utilidad separable, con cálculos locales Ejemplo: Helicóptero

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Concebidos inicialmente como método de representación más compacta [Miller et al. (1976), Howard y Matheson (1983, reeditado en 2005)] En ’80: algoritmos de evaluación de DI funcionando sobre el propio diagrama [Olmsted (1983), Shachter (1986)] Elementos : DI es un grafo dirigido G = (N,A) Arcos condicionales: dependencias probabilisticas y funcionales, Arcos informativos: precedencia temporal, informacion disponible por etapas

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Con sólo nodos de azar: Subyacente distribución conjunta de todas las v.a. ⇒ arcos representan un orden de asignación de las Probabilidades Condicionadas (pueden invertirse) a) Independencia total b) Independencia parcial c) Dependencia completa d) Independencia condicional (de A y C, dado B) Ciclos no permitidos

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Con todo tipo de nodos: En d), el decisor está mejor informado que en c) en el momento de la decisión → EU ≥ a la del caso c) En e), la v.a. no tiene efecto sobre v → puede considerarse irrelevante respecto a la decisión Ciclos decisión/decisión o decisión/azar tampoco permitidos No pueden invertirse arcos desde/hacia decisiones

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Uso de : DI orientado: con un nodo de valor DI regular: 1. es acíclico 2. el nodo de valor (si existe) no tiene sucesores 3. ∃ un camino dirigido que contiene todos los nodos de decisión Propiedad 3 equivale a requerir un orden total de las decisiones ⇒ requiere la memorización del DI: Si D1 precede a D2 en un DI regular, ⇒ {D1}∪I(D1) ⊂ I(D2)

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia En cada nodo i del DI, un conjunto i, una variable Xi, y una aplicación i de azar: Xi es v.a. con espacio muestral i; se define πi(xi|xC(i)) = P(Xi = xi|XC(i) = xC(i)) (CPT) i de valor: U : C(i) → i (utilidad; luego EU) i de decisión: Xi es la decisión y i es el conjunto de alternativas. ⇒ su aplicación asociada: d∗i : I(i) → i (las alternativas óptimas, dado el estado de información del decisor en el momento de tomar la decisión) será salida del algoritmo Las aplicaciones πi y U son entrada del algoritmo de evaluación y luego se irán redefiniendo al avanzar éste Luego, DI es DAG G = (N,A) y también esta info cuantitativa

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Evaluación mediante el algoritmo de inversión de arcos Esencialmente misma idea que en árboles, pero se aprovecha la estructura gráfica para obtener ventajas computacionales Transformaciones: gráficas y numéricas El algoritmo combina ideas de programación dinámica y fórmula de Bayes Eliminación de sumideros: Se puede borrar un nodo sumidero de un DI orientado y regular [Independientemente de su valor, ningún otro nodo se ve afectado]

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Eliminación de nodo de azar : Si X ∈ C(v) y es su único sucesor en un DI regular y orientado, puede eliminarse por esperanza condicionada, heredando v los predecesores de X

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Eliminación de nodo de decisión: Si en un DI regular y orientado no hay sumideros, D ∈ C(v) tal que C(v)\{D} ⊂ I(D), puede eliminarse maximizando la utilidad esperada (condicionada), registrándose la mejor decisión. v no hereda los predecesores de D, pudiendo aparecer nuevos sumideros

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Inversión de arcos entre nodos de azar: Dado el arco (X, Y ), si ∄ otro camino dirigido entre X e Y en un DI regular, puede sustituirse por el arco (Y,X) mediante la aplicación del Tma. Bayes, con herencia mutua de predecesores

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Combinamos las transformaciones [Olmsted (1983), Shachter (1986)] Existencia de nodo de azar eliminable: Si no hay sumideros y se han añadido los arcos de memoria, y si v tiene predecesores pero no puede eliminarse ningún nodo de decisión ⇒ existe un nodo de azar ∈ C(v) pero no es predecesor informativo de ningún nodo de decisión, y puede eliminarse, tal vez tras inversión de arcos Eliminará todos los nodos hasta que sólo permanezca el de valor En ese momento se tendrán las decisiones óptimas (en cada nodo de decisión) y la máxima utilidad esperada (en v)

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia 1. Verificar que el DI es regular, orientado, y añadir arcos de memoria 2. Eliminar sumideros 3. Mientras C(v)  ∅, Si ∃i ∈ C ∩ C(v): S(i) = {v}, eliminar nodo de azar i si no, si ∃i ∈ D ∩ C(v): C(v)\{i} ⊂ I(i), eliminar nodo de decisión i eliminar sumideros creados si no, encontrar i ∈ C ∩ C(v): D ∩ S(i) = ∅ mientras C ∩ S(i)  ∅ encontrar j ∈ C ∩S(i): ¬∃ otro camino de i a j invertir (i, j)

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero Invertir (E,R):

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero Eliminar E:

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero Eliminar C,R, P:

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Evaluación mediante el algoritmo de eliminación de variables 2 conjuntos de potenciales: P (probabilidades) y U (utilidades) PX = {p ∈ P|X ∈ dom(p)}, UX = {u ∈ U|X ∈ dom(u)} 1. Escoger un orden de eliminación de variables, respetando el orden dado entre las decisiones 2. Eliminar X: X de azar: b) X de decisión: 3. Modificar los conjuntos de potenciales:

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Compacidad: cada variable añadida al problema expande su tamaño linealmente ⇒ Algoritmo de reducción de nodos más que de enumeración de los caminos posibles Separa la información cualitativa y cuantitativa Representación eficiente de relaciones probabilísticas: Relaciones probabilísticas explícitas Representación directa de probabilidades (no hay problema de los 2 árboles) Sólo probabilidades condicionadas (sí en modelos causales); si no, preproceso

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Computación local y aprovechamiento de la independencia condicional (i.c.): Todas las transformaciones se basan en la i.c., explícita en el diagrama (base de la coalescencia) ⇒ ↓ cálculos, tiempo de ejecución y requisitos de memoria Computación local para calcular las condicionadas deseadas en la evaluación (Tma. Bayes usando sólo variables necesarias) Orden parcial de restricciones info: representado directamente en los arcos informativos (árboles requerían orden completo) Dependencia del orden de eliminación de nodos: influye en esfuerzo computacional ) heurísticas para encontrar buenas secuencias: Kong, genético nuestro...

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Dificultad para modelizar asimetrías Simetrizar: aumento del tamaño del problema (con estados artificiales), menos intuitivos y más carga computacional Helicóptero: añadir arco (P,R), añadir ¬r para R, utilidades iguales cuando el estado es ¬c: U(hacer, ¬c, ei) = 0.25 y U(no hacer, ¬c, ei) = 0.26, i Otros modelos: DI asimétricos [Smith, Holtzman y Matheson’93]; d. decisión secuenciales [Covaliu y Oliver’95]; unconstrained DI [Jensen y Vomlelová’02]... Utilidad separable: DI varios nodos de valor [Tatman y Shachter’90] Variables continuas: DI gaussianos [Shachter y Kenley’89], simulación [Bielza, Müller y Ríos Insua’99]..., discretización,...

Modelos Gráficos. Diagramas de influencia Sistemas de ayuda a la decisión Modelos Gráficos. Diagramas de influencia Diagramas de Influencia versus Árboles de Decisión DIAGRAMAS ÁRBOLES 1. palabra clave independencia escenario condicional 2. compacidad sí no (explosión combinatoria) 3. represent. probabilidades directa con preproceso (condicionadas) (problema dos árboles) 4. relaciones probabilísticas explícitas no (se detectan ad hoc) 5. modelización no sí de asimetrías 6. algoritmo reducción nodos enumeración caminos 7. computación local sí no para condicionadas 8. I.C. sí no

MODELIZACIÓN Modelos de Problemas de Decisión Sixto Ríos, 1995, Alianza Universidad, AU822 Sistemas de ayuda a la decisión Modelos de Problemas de Decisión A: Fenómeno o sistema real C: Modelo empiríco D: Conceptualización MODELIZACIÓN Nueva modelización L: Descripción, Predicción Exploración, Decisión,… E: Modelo matemático F: Proceso lógico-deductivo SI NO H: Desconceptualización e interpretación K: Validación I: Relaciones empíricas G: Relaciones matemáticas