1 Eliminación de variables para diagramas de influencia con nodos super valor Manuel Luque Gallego Proyecto Elvira II San Sebastián de Mayo de 2004

2 Índice Introducción Introducción Problema Problema Eliminación de variables para DI con nodos SV Eliminación de variables para DI con nodos SV Ejemplo de evaluación Ejemplo de evaluación Conclusiones Conclusiones Perspectivas futuras y Elvira Perspectivas futuras y Elvira

3 Introducción Diagramas de influencia Diagramas de influencia Comunicación entre analistas de decisiones y expertos Comunicación entre analistas de decisiones y expertos Evaluación directa Evaluación directa Representación compacta de la estructura probabilista Representación compacta de la estructura probabilista Éxito en ámbitos médicos Éxito en ámbitos médicos

4 Introducción Problema médico: Carcinoma pulmonar no microcítico Problema médico: Carcinoma pulmonar no microcítico

5 Introducción Evaluación de DI: Evaluación de DI: MEU =  C0 max D1  C1 max D2... max Dn  Cn p(C|D)V Eliminación Ci:  Eliminación Ci:  Eliminación Di: max Eliminación Di: max Secuencia de eliminación legal según <. Secuencia de eliminación legal según <. Separabilidad Separabilidad Aplicar operadores a parte de nuestra función de valor Aplicar operadores a parte de nuestra función de valor Reducción de la dimensionalidad de las operaciones Reducción de la dimensionalidad de las operaciones Aparición en los DI de los nodos super-valor Aparición en los DI de los nodos super-valor

6 Introducción Explotación de la separabilidad de la función de utilidad en el problema del carcinoma pulmonar no microcítico Explotación de la separabilidad de la función de utilidad en el problema del carcinoma pulmonar no microcítico

7 Problema planteado Posibilidades de evaluación Posibilidades de evaluación Opción A: Algoritmos para DI sin nodos SV Opción A: Algoritmos para DI sin nodos SV Opción B: Algoritmo de Tatman y Shachter para DI con nodos SV Opción B: Algoritmo de Tatman y Shachter para DI con nodos SV Opción A: (Eliminación de variables para DI) Opción A: (Eliminación de variables para DI) Ventaja: Eficiencia del algoritmo para DI Ventaja: Eficiencia del algoritmo para DI Inconvenientes: Inconvenientes: Pérdida de la separabilidad de la función de valor Pérdida de la separabilidad de la función de valor Determinación de las variables requeridas Determinación de las variables requeridas

8 Problema planteado Inconvenientes de la opción A Inconvenientes de la opción A Pérdida de la separabilidad de la función de valor Pérdida de la separabilidad de la función de valor Suma (o producto) implícita de los nodos de valor Suma (o producto) implícita de los nodos de valor Potenciales de utilidad de mayor tamaño Potenciales de utilidad de mayor tamaño

9 Problema planteado Inconvenientes de la opción A Inconvenientes de la opción A Determinación de las variables requeridas Determinación de las variables requeridas Eliminación según orden total  Eliminar A Eliminación según orden total  Eliminar A Eliminación de A une V1 y V2 Eliminación de A une V1 y V2

10 Problema planteado Inconvenientes de la opción A Inconvenientes de la opción A DI tras la eliminación de A  Aparecen como requeridas variables que no lo eran (en este caso B) DI tras la eliminación de A  Aparecen como requeridas variables que no lo eran (en este caso B)

11 Problema planteado Opción B: (Algoritmo de Tatman y Shachter) Opción B: (Algoritmo de Tatman y Shachter) Ventaja: Conservación de la separabilidad de la función de valor Ventaja: Conservación de la separabilidad de la función de valor Inconvenientes: Inconvenientes: Ineficiencia de la inversión de arcos Ineficiencia de la inversión de arcos Pronta destrucción de la estructura de nodos super-valor en algunos casos Pronta destrucción de la estructura de nodos super-valor en algunos casos Determinación de las variables requeridas Determinación de las variables requeridas

12 Problema planteado Inconvenientes de la opción B Inconvenientes de la opción B Ineficiencia de la inversión de arcos Ineficiencia de la inversión de arcos

13 Problema planteado Inconvenientes de la opción B Inconvenientes de la opción B Pronta destrucción de la estructura de nodos super-valor Pronta destrucción de la estructura de nodos super-valor

14 Problema planteado Inconvenientes de la opción B Inconvenientes de la opción B Tras eliminar A y proceder a eliminar D ésta requerirá B, cuando no debería Tras eliminar A y proceder a eliminar D ésta requerirá B, cuando no debería

15 Eliminación de variables para DI con nodos SV Objetivos Objetivos Eliminar la necesidad de invertir arcos Eliminar la necesidad de invertir arcos Mantener el máximo tiempo posible la separabilidad de la función de valor Mantener el máximo tiempo posible la separabilidad de la función de valor Mejora en la determinación de las variables requeridas Mejora en la determinación de las variables requeridas Potenciales de utilidad de menor tamaño Potenciales de utilidad de menor tamaño Mejora en la explicación del razonamiento Mejora en la explicación del razonamiento

16 Eliminación de variables para DI con nodos SV Planteamiento del problema: Evaluación Planteamiento del problema: Evaluación MEU =  C0 max D1  C1 max D2... max Dn  Cn p(C|D)V Eliminación Ci:  Eliminación Ci:  Eliminación Di: max Eliminación Di: max Secuencia de eliminación legal según <. Secuencia de eliminación legal según <. Matriz: p(C|D)V Matriz: p(C|D)V V puede presentar + y * anidados V puede presentar + y * anidados

17 Eliminación de variables para DI con nodos SV Ejemplo Ejemplo MEU =  B max D  A Φ 1 (A) Φ 2 (B) (U 1 (A)+(U 2 (A, D)*U 3 (B))) MEU =  B max D  A Φ 1 (A) Φ 2 (B) (U 1 (A)+(U 2 (A, D)*U 3 (B))) Matriz: Φ 1 (A) Φ 2 (B) (U 1 (A)+(U 2 (A, D)*U 3 (B))) Matriz: Φ 1 (A) Φ 2 (B) (U 1 (A)+(U 2 (A, D)*U 3 (B))) Eliminar A Eliminar A Sacar factor común Φ 2 (B) Sacar factor común Φ 2 (B) Dificultad de análisis con esta representación Dificultad de análisis con esta representación Representación unívoca de la matriz a través de un árbol Representación unívoca de la matriz a través de un árbol

18 Eliminación de variables para DI con nodos SV Representación en árbol Representación en árbol Dos tipos de nodos en el árbol Dos tipos de nodos en el árbol Operandos: Potenciales de probabilidad y de utilidad Operandos: Potenciales de probabilidad y de utilidad Operadores: + y * Operadores: + y * La raíz del árbol inicial siempre es un * La raíz del árbol inicial siempre es un * Hijos de la raíz son los potenciales de probabilidad y la estructura de nodos de valor Hijos de la raíz son los potenciales de probabilidad y la estructura de nodos de valor

19 Eliminación de variables para DI con nodos SV Evaluación Evaluación Eliminación de variables se traduce en transformaciones sobre el árbol Eliminación de variables se traduce en transformaciones sobre el árbol Dificultad: Dificultad: Estudio de las transformaciones lícitas a realizar sobre el árbol Estudio de las transformaciones lícitas a realizar sobre el árbol Estudio de la aplicación de los operadores  A y max D al árbol Estudio de la aplicación de los operadores  A y max D al árbol

20 Eliminación de variables para DI con nodos SV Operaciones lícitas a realizar sobre el árbol Operaciones lícitas a realizar sobre el árbol Operaciones de compactación Operaciones de compactación Secuencia de operadores del mismo tipo Secuencia de operadores del mismo tipo

21 Eliminación de variables para DI con nodos SV Operaciones lícitas a realizar sobre el árbol Operaciones lícitas a realizar sobre el árbol Operaciones de compactación Operaciones de compactación Reducción de nodos operadores con hijos operandos hoja Reducción de nodos operadores con hijos operandos hoja

22 Eliminación de variables para DI con nodos SV Operaciones lícitas a realizar sobre el árbol Operaciones lícitas a realizar sobre el árbol Aplicación de la propiedad distributiva Aplicación de la propiedad distributiva Son transformaciones de equivalencia aplicables en cualquier subárbol Son transformaciones de equivalencia aplicables en cualquier subárbol

23 Eliminación de variables para DI con nodos SV Eliminación de A aleatoria Eliminación de A aleatoria Comportamiento de  A con el + Comportamiento de  A con el +  A [ Φ 1 + Φ 2 ]=  A Φ 1 +  A Φ 2  A Φ 1 +  A Φ 2 La aplicación del operador  A a un árbol + supone aplicarlo a cada uno de sus hijos La aplicación del operador  A a un árbol + supone aplicarlo a cada uno de sus hijos

24 Eliminación de variables para DI con nodos SV Eliminación de A aleatoria Eliminación de A aleatoria Aplicación del operador  A a los potenciales hoja  Marginalizar el potencial en A Aplicación del operador  A a los potenciales hoja  Marginalizar el potencial en A Comportamiento de  A con el *, si Φ 1 no depende de A y Φ 2 sí depende de A Comportamiento de  A con el *, si Φ 1 no depende de A y Φ 2 sí depende de A  A [ Φ 1 * Φ 2 ] = Φ 1  A Φ 2

25 Eliminación de variables para DI con nodos SV Problema de la eliminación de A aleatoria con el * Problema de la eliminación de A aleatoria con el * Necesidad de que sólo una rama del * dependa de A para poder aplicar recursivamente el operador  A Necesidad de que sólo una rama del * dependa de A para poder aplicar recursivamente el operador  A

26 Eliminación de variables para DI con nodos SV Resolución del problema de la eliminación de A aleatoria con el * Resolución del problema de la eliminación de A aleatoria con el * Suposición de árbol factorizado  Hijos de * son + o bien potenciales hoja gracias a la aplicacación de las propiedades de compactación Suposición de árbol factorizado  Hijos de * son + o bien potenciales hoja gracias a la aplicacación de las propiedades de compactación Objetivo: Reducción del número de ramas dependientes de A en los * Objetivo: Reducción del número de ramas dependientes de A en los * Reducción del número de ramas dependientes de A a través de la compactación de potenciales hoja hijos de * dependientes de A Reducción del número de ramas dependientes de A a través de la compactación de potenciales hoja hijos de * dependientes de A

27 Eliminación de variables para DI con nodos SV Resolución del problema de la eliminación de A aleatoria con el * Resolución del problema de la eliminación de A aleatoria con el * Reducción del número de ramas dependientes de A a través de la aplicación de la propiedad distributiva entre ellas Reducción del número de ramas dependientes de A a través de la aplicación de la propiedad distributiva entre ellas

28 Eliminación de variables para DI con nodos SV Árbol obtenido tras aplicar la propiedad distributiva Árbol obtenido tras aplicar la propiedad distributiva

29 Eliminación de variables para DI con nodos SV Propiedad distributiva en la resolución del problema de la eliminación de A aleatoria con el * Propiedad distributiva en la resolución del problema de la eliminación de A aleatoria con el * Decidir qué * distribuir y respecto a qué dos ramas Decidir qué * distribuir y respecto a qué dos ramas Optimizaciones: Optimizaciones: Distribuir siempre los * de mayor profundidad en el árbol Distribuir siempre los * de mayor profundidad en el árbol Realizar todas las compactaciones posibles antes de distribuir y tras distribuir Realizar todas las compactaciones posibles antes de distribuir y tras distribuir Justificación de las optimizaciones: Justificación de las optimizaciones: Son cálculos que aunque se pospongan siempre habrá que realizarlos Son cálculos que aunque se pospongan siempre habrá que realizarlos Posponerlos puede llevar a tener que repetirlos en varias partes del árbol Posponerlos puede llevar a tener que repetirlos en varias partes del árbol

30 Eliminación de variables para DI con nodos SV Ejemplo de por qué no se ha de posponer la compactación Ejemplo de por qué no se ha de posponer la compactación Desarrollamos sólo un sumando en producto de sumas para preservar al máximo la estructura Desarrollamos sólo un sumando en producto de sumas para preservar al máximo la estructura

31 Eliminación de variables para DI con nodos SV Ejemplo tras aplicar distributiva Ejemplo tras aplicar distributiva

32 Eliminación de variables para DI con nodos SV Eliminación de D decisión Eliminación de D decisión Aplicación del operador max D a los potenciales hoja  Marginalizar el potencial en D Aplicación del operador max D a los potenciales hoja  Marginalizar el potencial en D Comportamiento del max D con un operador (+ ó *) : Comportamiento del max D con un operador (+ ó *) : max D [ Φ 1 op Φ 2 ]= Φ 1 op max D Φ 2 si Φ 1 no depende de A y Φ 2 sí depende de A Sólo se puede aplicar recursivamente el operador max D si hay una sola rama dependiente de D Sólo se puede aplicar recursivamente el operador max D si hay una sola rama dependiente de D Unir todas las ramas dependientes de D en una sola, reducirla en un potencial hoja y aplicar el operador max D Unir todas las ramas dependientes de D en una sola, reducirla en un potencial hoja y aplicar el operador max D

33 Eliminación de variables para DI con nodos SV Ejemplo de eliminación de decisión (I) Ejemplo de eliminación de decisión (I)

34 Eliminación de variables para DI con nodos SV Ejemplo de eliminación de decisión (II) Ejemplo de eliminación de decisión (II)

35 Eliminación de variables para DI con nodos SV Ejemplo de eliminación de decisión (III) Ejemplo de eliminación de decisión (III)

36 Eliminación de variables para DI con nodos SV Ejemplo de eliminación de decisión cuando más de una rama depende de la decisión Ejemplo de eliminación de decisión cuando más de una rama depende de la decisión

37 Eliminación de variables para DI con nodos SV Ejemplo de eliminación de decisión cuando más de una rama depende de la decisión Ejemplo de eliminación de decisión cuando más de una rama depende de la decisión Necesidad de reducir las ramas dependientes a una sola Necesidad de reducir las ramas dependientes a una sola

38 Eliminación de variables para DI con nodos SV Procedimiento general Procedimiento general Determinar el orden de eliminación de variables Determinar el orden de eliminación de variables Construir el árbol equivalente a la matriz y factorizarlo Construir el árbol equivalente a la matriz y factorizarlo MIENTRAS queden variables por eliminar MIENTRAS queden variables por eliminar Sea X la variable a eliminar Sea X la variable a eliminar SI X es variable aleatoria SI X es variable aleatoria Aplicar sucesivamente el proceso de compactar hojas y distribuir * en relación a X hasta que no queden nodos * que distribuir Aplicar sucesivamente el proceso de compactar hojas y distribuir * en relación a X hasta que no queden nodos * que distribuir Marginalizar en A en las hojas del árbol dependientes de A Marginalizar en A en las hojas del árbol dependientes de A Si X es decisión Si X es decisión Determinar el menor subárbol que abarque todas las ramas dependientes de D Determinar el menor subárbol que abarque todas las ramas dependientes de D Reducir a una hoja dicho subárbol Reducir a una hoja dicho subárbol Maximizar en D dicho potencial hoja Maximizar en D dicho potencial hoja FIN MIENTRAS FIN MIENTRAS Corrección y terminación del algoritmo Corrección y terminación del algoritmo

39 Ejemplo de evaluación MEU =  B max D  A Φ 1 (A) Φ 2 (B) (U 1 (A)+(U 2 (A, D)*U 3 (B))) MEU =  B max D  A Φ 1 (A) Φ 2 (B) (U 1 (A)+(U 2 (A, D)*U 3 (B))) Matriz: Φ 1 (A) Φ 2 (B) (U 1 (A)+(U 2 (A, D)*U 3 (B))) Matriz: Φ 1 (A) Φ 2 (B) (U 1 (A)+(U 2 (A, D)*U 3 (B)))

40 Ejemplo de evaluación Eliminar A Eliminar A Aplicar distributiva en el nodo raíz (único a distribuir) Aplicar distributiva en el nodo raíz (único a distribuir)

41 Ejemplo de evaluación Eliminar A Eliminar A Compactar tras distribuir Compactar tras distribuir Marginalizar en las hojas Marginalizar en las hojas

42 Ejemplo de evaluación Eliminar D Eliminar D Reducir subárbol con más de una rama Reducir subárbol con más de una rama

43 Ejemplo de evaluación Eliminar D Eliminar D No ha sido necesario reducir ningún subárbol No ha sido necesario reducir ningún subárbol La estrategia óptima para D no ha dependido de B La estrategia óptima para D no ha dependido de B

44 Ejemplo de evaluación Eliminar B Eliminar B Aplicar distributiva en el único nodo a distribuir (raíz) Aplicar distributiva en el único nodo a distribuir (raíz)

45 Ejemplo de evaluación Eliminar B Eliminar B Compactar tras distribuir Compactar tras distribuir Marginalizar en las hojas Marginalizar en las hojas

46 Conclusiones Se ha evitado la carga computacional de la inversión de arcos Se ha evitado la carga computacional de la inversión de arcos La separabilidad de la función de valor se preserva el máximo tiempo posible La separabilidad de la función de valor se preserva el máximo tiempo posible Realiza una menor destrucción de la estructura de nodos de valor que el algoritmo de Tatman y Shachter Realiza una menor destrucción de la estructura de nodos de valor que el algoritmo de Tatman y Shachter Sólo aplica la distributividad cuando es necesario y a las ramas imprescindibles Sólo aplica la distributividad cuando es necesario y a las ramas imprescindibles Potenciales de un tamaño menor durante la evaluación Potenciales de un tamaño menor durante la evaluación Mejora en la determinación de las variables requeridas Mejora en la determinación de las variables requeridas No es necesario “eliminar redundancia” antes de comenzar la evaluación No es necesario “eliminar redundancia” antes de comenzar la evaluación Variables requeridas para cada decisión son en el peor caso las mismas que con el algoritmo de Tatman y Shachter y un subconjunto en otros casos (ver ejemplo) Variables requeridas para cada decisión son en el peor caso las mismas que con el algoritmo de Tatman y Shachter y un subconjunto en otros casos (ver ejemplo) Lo mismo le sucede respecto al algoritmo de eliminación de variables de Jensen “tradicional” Lo mismo le sucede respecto al algoritmo de eliminación de variables de Jensen “tradicional”

47 Perspectivas futuras y Elvira Situación actual de la “eliminación de redundancia” en Elvira Situación actual de la “eliminación de redundancia” en Elvira Realizada antes de la evaluación a través del algoritmo de Faguiouli y Zaffalon Realizada antes de la evaluación a través del algoritmo de Faguiouli y Zaffalon Método de eliminación de variables de Jensen “tradicional” con unión de los nodos de utilidad Método de eliminación de variables de Jensen “tradicional” con unión de los nodos de utilidad En este momento DI con nodos SV son evaluados con algoritmos para DI sin nodos SV (ReductionAndEvalID) En este momento DI con nodos SV son evaluados con algoritmos para DI sin nodos SV (ReductionAndEvalID) Incorporación del algoritmo propuesto a Elvira (VariableEliminationSV) Incorporación del algoritmo propuesto a Elvira (VariableEliminationSV) Estudio de mejoras en la aplicación de la distributividad Estudio de mejoras en la aplicación de la distributividad Selección de las ramas a distribuir Selección de las ramas a distribuir Reestructuración previa de las ramas antes de distribuir para conseguir mayor factorización tras ella (agrupar ramas no dependientes de la variable a eliminar) Reestructuración previa de las ramas antes de distribuir para conseguir mayor factorización tras ella (agrupar ramas no dependientes de la variable a eliminar) En la implementación el árbol se transforma en grafo dirigido para conseguir un ahorro en memoria tras distribuir (el ahorro en tiempo ya lo daba la compactación) al compartir subárboles En la implementación el árbol se transforma en grafo dirigido para conseguir un ahorro en memoria tras distribuir (el ahorro en tiempo ya lo daba la compactación) al compartir subárboles