Albacete, 2002 Diagramas de influencia en Elvira II.

Presentación del tema: "Albacete, 2002 Diagramas de influencia en Elvira II."— Transcripción de la presentación:

1 Albacete, 2002 Diagramas de influencia en Elvira II

2 Albacete, 2002 ÍNDICE 1.- Diagramas de Influencia 2.- Métodos de evaluación 3.- Clases disponibles 4.- Asimetrías 5.- Aproximación

3 Albacete, 2002 1.- Diagramas de influencia Los diagramas de influencia permiten representar problemas de decisión, tal y como los percibe el decisor. Permiten tanto representar la información del problema como abordar su análisis Los diagramas de influencia son grafos dirigidos y acíclicos, con tres tipos de nodos: nodos de azar nodos de decisión nodos de valor

4 Albacete, 2002 1. Diagramas de Influencia (II) Nodos de azar: variables aleatorias o eventos aleatorios influyentes en el proceso de toma de decisión. Si el nodo es determinístico, su valor queda determinado en función de los valores de sus padres Nodos de decisión: variables bajo control del decisor Nodos de valor: cuantifican las preferencias de los expertos

5 Albacete, 2002 1. Diagramas de Influencia (III) Los arcos entre nodos representan las relaciones entre sus variables asociadas, y pueden ser: informativos: inciden sobre nodos de decisión. Información disponible en el momento de decidir condicionales: inciden sobre nodos de azar y sobre el nodo de utilidad. Representan dependencia probabilística (o funcional) entre nodos (y no necesariamente causalidad) Tratamiento CBrb Ingreso Edad Pes o CBrbCHmg Enf1Enf2 Daño EdadPeso Marginales: P(Enf1), P(Enf2), P(Peso), P(Edad) Condicionadas: P(CHmg|Enf1, Enf2), P(CBrb|CHmg), P(Daño|CBrb, Peso, Edad)

6 Albacete, 2002 Cost e total Cost e 1 Cost e 2 Cost e 3 Distribuciones: P(Coste 1|.....) P(Coste 2|.....) P(Coste 3|.....) Función: Coste total k 1 *(Coste 1) + k 2 *(Coste 2) + k 3 *(Coste 3) V1V2V3 D1 D2 Utilidad V1 V2 V3 D1 D2 ------------------------------------------- 100 v11 v21 v31 d11 d21 39 v11 v21 v31 d11 d22.......................................................... 45 v1n v2m v3p d1q d2r 1. Diagramas de Influencia (IV)

7 Albacete, 2002 Métodos de evaluación - evaluación directa (Shachter, Shachter y Peot, Zhang y Poole, Zhang et al, etc). Idea original: Olmsted (1983) - evaluación indirecta : transforman previamente el DI en alguna otra estructura : árboles de decisión, grafos de de- cisión, redes bayesianas,... (Howard y Matheson, Cooper, Qi y Poole, Qi, etc) 1. Diagramas de Influencia (V)

8 Albacete, 2002 2.- Métodos de evaluación A)Método de inversión de arcos Mientras haya antecesores del nodo de valor - Eliminar nodo de azar (herencia sobre el nodo de valor) X AB U AB U U(X) U(A,B))

9 Albacete, 2002 - Eliminar nodo de decisión: AB U X C AB U C U(X, A, B) U(A, B) Sumidero 2. Métodos de evaluación (II)

10 Albacete, 2002 - Invertir arco: AB D C F E U AB D C F E U P(A|C, D) P(B|A, E, F) P(A|B, C, D, E, F) P(B|C, D, E, F) 2. Métodos de evaluación (III)

11 Albacete, 2002 B)Método de eliminación de variables - Determinar orden temporal, en función de los arcos informativos I n : los nodos que no son antecesores de ningún nodo de decisión I n-1 : nodos antecesores de D n....................................................... I 0 : nodos antecesores de D 1 2. Métodos de evaluación (IV)

12 Albacete, 2002 Se van seleccionando variables a eliminar respetando el orden parcial anteriormente determinado. Cuando se selecciona una variable X, los potenciales se actualizan de la siguiente forma: Si X es una variable de azar: 2. Métodos de evaluación (V)

13 Albacete, 2002 2. Métodos de evaluación (VI) Si X es una variable de decisión: El conjunto final de potenciales, tras la eliminación de X queda:

14 Albacete, 2002 3.- Clases disponibles en Elvira A) Clase IDiagram Bnet IDiagram - Comprobación de características y acceso a nodos: a) hasCycles b) directedLinks c) pathBetweenDecisions d) onlyOneValueNode e) numberOfDecisions Métodosf) decisionReadyToRemove g) firstDecision h) getDecisionList i) getBarrenNode j) getValueNode k) getNode l) getProblemSize

15 Albacete, 2002 - Manipulación sobre el DI: m) addNonForgettingArcs n) eliminateRedundancy ñ) removeBarrenNodes o) addLinks Métodos p) copy q) qualitativeCopy r) evaluate (mediante ArcReversal) s) save t) print 3. Clases disponibles en Elvira (II)

16 Albacete, 2002 B) Clase ArcReversal 3. Clases disponibles en Elvira (III) Propagation ArcReversal - Constructores: a) ArcReversal() b) ArcReversal(IDiagram) - Comprobación de características y acceso c) getInitialRelations Métodosd) initialConditions - Evaluación y manipulación del DI e) evaluateDiagram f) removeChanceNode g) removeDecisionNode h) reverseArc i) modifyUtilityRelation j) modifyUtilityLinks IDiagram RelationList

17 Albacete, 2002 3. Clases disponibles en Elvira (IV) - Evaluación y manipulación del DI k) modifyRelations l) modifyLinks m) getExpectedUtility n) maximizeUtility ñ) getPosteriorDistributions o) storeDecisionTable p) giveInstantiationOrder q) getMarginalsNames r) checkInstantiationOrder s) variablesInDecisionTables

18 Albacete, 2002 C) Clase QualitativeArcReversl 3. Clases disponibles en Elvira (V) Propagation ArcReversal QualitativeArcReversal - Constructores: a) QualitativeArcReversal(IDiagram) - Acceso a datos miembro b) getOrderOfElimination Métodosc) getOrderOfInstantiation - Evaluación y manipulación del DI d) produceOrderOfInstantiation e) evaluateDiagram f) removeChanceNode g) removeDecisionNode h) reverseArc

19 Albacete, 2002 D) Clase ARWithPotentialTree 3. Clases disponibles en Elvira (VI) Propagation ArcReversal ARWithPotentialTree - Constructores: a) ARWithPotentialTree(IDiagram) - Transformación de relaciones Métodos b) transformInitialRelations: Este método convierte los valores de utilidades y probabilidades de PotentialTable a PotentialTree (con la posibilidad de aplicar los métodos de árboles que permiten aproximar)

20 Albacete, 2002 E) Clase VariableElimination Funcionalidad compartida para redes Bayesianas y diagramas de influencia 3. Clases disponibles en Elvira (VII) - Métodos relacionados con DI a) getPosteriorDistributionsID b) combinePotentialsOfNode c) propagate Incorporación de método nextToRemoveId en la clase PairTable, que determina la próxima variable a eliminar. Este método de evaluación no altera la estructura del diagrama: trabaja con sus potenciales, sobre una copia de las relaciones. Propagation VariableElimination

21 Albacete, 2002 F) Clase VEWithPotentialTree 3. Clases disponibles en Elvira (VIII) Propagation VariableElimination VEWithPotentialTree - Constructores: a) VEWithPotentialTree(Bnet,Evidence) a) VEWithPotentialTree(Bnet) - Transformación de relaciones Métodos b) transformInitialRelations: Este método convierte los valores de utilidades y probabilidades de PotentialTable a PotentialTree (con la posibilidad de aplicar los métodos de árboles que permiten aproximar)

22 Albacete, 2002 4.- Asimetrías Dado un valor de un nodo X el nodo Y sólo puede tomar ciertos valores. La restricción origina una matriz de restricciones MR(X,Y). Y 1 Y 2....... Y n ------------------------------------------- X 1 1 0....... 0 X 2 1 1....... 0.......................................................... X m 0 1....... 1 El tratamiento de las restricciones simplifica la evaluación

23 Albacete, 2002 Asimetrías en Elvira: a)forma general, de modo que se pueda expresar cualquier tipo de relación. Expresiones lógicas b) las restricciones, asimetrías, se convierten en potenciales que se utilizan en la evaluación del DI c) al usar árboles se pueden producir podas 4. Asimetrías (II)

24 Albacete, 2002 ValuesSet Node Permite definir un conjunto de valores para un nodo (deben estar incluidos en su dominio, aunque también pudiera ser vacío). El tipo de operación a realizar se reduce a ver si un valor para la variable está incluido en este conjunto. Es decir, dado un valor x i para la variable X, esta clase permite determinar si Se puede establecer un flag de negación, de forma que la comprobación a realizar sería: Clases para tratar las asimetrías A) ValuesSet Vector 4. Asimetrías (III)

25 Albacete, 2002 Datos miembro: a)Node node b)Vector values c)boolean negated Métodos: a)Constructor (Node, Vector, boolean) b)checkValue (String) Este es el elemento básico que permite componer expresiones lógicas, mediante las clases LogicalNode y LogicalExpression 4. Asimetrías (IV)

26 Albacete, 2002 LogicalNode ValuesSet Datos miembro: a) int kind (si el nodo es operador u operando) b) int operator (clase de operador: AND, OR, NOT, etc) c) boolean negated d) LogicalNode leftOperand e) LogicalNode rightOperand f) ValuesSet valuesSet g) Vector variables h) Vector index i) boolean result j) int observedValue B) LogicalNode Vector LogicalNode (operator) LogicalNode (operand) LogicalNode (operand) 4. Asimetrías (V)

27 Albacete, 2002 Métodos: a)Constructor (int operator) b)Constructor (ValuesSet values) c)indexVariables d)evaluateConfiguration La idea es que esta clase permita crear objetos que representen relaciones lógicas entre variables, para expresar las relaciones que se pueden establecer entre las variables del modelo. Por encima de esta clase está LogicalExpression, que vincula dos relaciones lógicas en el esquema clásico antecedente  consecuente El antecedente y el consecuente son objetos de la clase LogicalNode 4. Asimetrías (VI)

28 Albacete, 2002 LogicalExpression LogicalNode Datos miembro: a) LogicalNode consecuent b) LogicalNode antecedent c) int operator d) Vector index e) PotentialTable result C) LogicalExpression Vector LogicalExpression (operator) LogicalNode (antecedent) LogicalNode (consecuent) 4. Asimetrías (VII) Potential PotentialTable

29 Albacete, 2002 Métodos: a)Constructor (LogicalExpression, LogicalExpression) b)Constructor (LogicalNode, LogicalNode, int) c)evaluate d)buildIndex El resultado es un PotentialTable que contiene todas las configuraciones válidas según esta restricción. Del PotentialTable se puede pasar fácilmente a un PotentialTree, de forma que se pueda incorporar a la evaluación de DI mediante árboles. Para mejorar el tratamiento de las restricciones se debería hacer una poda del PotentialTree, de forma que se redujera al máximo su tamaño y la expresión de la restricción fuera lo más compacta posible. 4. Asimetrías (VIII)

30 Albacete, 2002 Expresión de restricciones Relation var1 var2 var3 var4{ kind=constraint; values=logical-expression (var1={var11,var12} & !(var2={var21} | var3 != {var33}) -> var4={var41}); } también podría ser una doble implicación: 4. Asimetrías (IX)

31 Albacete, 2002 5.- Aproximación En problemas complejos, pese a aprovechar todo el conocimiento del problema, los potenciales obtenidos pueden ser enormes. En esta situación se puede aprovechar el uso de árboles reduciendo el número de hojas mediante aproximación. La idea consiste en organizar el árbol, de forma que las variables más significativas aparezcan cerca de la raíz del árbol, de forma que si se produce una poda se pierda la menor información posible.

32 Albacete, 2002 Árboles de probabilidad: medida de significación: distancia de Kullback-Leibler Árboles de utilidad: medida de significación: métrica L 2 (raíz cuadrada de las diferencias al cuadrado entre las utilidades de las configuraciones en los árboles podado y expandido) X YY 10035 997 x1x1 x2x2 y1y1 y2y2 y1y1 y2y2 X 67’553 x1x1 x2x2 Y 54’566 y1y1 y2y2 5. Aproximación (II)

33 Albacete, 2002 X YY 10035 997 x1x1 x2x2 y1y1 y2y2 y1y1 y2y2 X 67’553 x1x1 x2x2 Y 54’566 y1y1 y2y2 5. Aproximación (III)

34 Albacete, 2002 5. Aproximación (IV) La inclusión de restricciones limita el tamaño del modelo, al indicar las configuraciones admitidas y prohibidas. Al aproximar un árbol hemos de ordenar en significación las variables que participan en él. Esta información quizás puede utilizarse como explicación en las tablas de decisión, indicando qué variables resultan más significativas para la valoración del proceso de toma de decisiones.

35 Albacete, 2002

36

37 Alternativas para las decisiones Asimetrías: válidas 12.58% de combinaciones 3. Estructuración del problema (VII)

38 Albacete, 2002

39

40 4.- Adquisición del conocimiento A) INCERTIDUMBRE Fuentes: principalmente entrevistas con los expertos Metodología: protocolo SRI, procedimiento formal para la codificación de probabilidades a partir de entrevistas estructuradas. Objetivo: eliminar las posibles inconsistencias y sesgos en los juicios de los expertos. Entrevistas: motivación, estructuración, condicionamiento, asignación, verificación y agregación de juicios Variables de azar: 68 Variables de decisión: 5 Probabilidades: 13521 parámetros Utilidades: 5400 parámetros

41 Albacete, 2002 Mecanismos usados para simplificar la asignación 1) Discretización de variables (a propuesta de los expertos) 2) Modelos de agregación parcial, mediante variables intermedias 4. Adquisición del conocimiento (II) 42525 parámetros. Con restricciones: 5350. Con modelo final: 700

42 Albacete, 2002 4. Adquisición del conocimiento (III) 3) Reglas cualitativas. Conocimiento sobre el problema Ejemplo: CEco123  CEco12 CEco123 CEco12 Terapia3 = t 3i 1 2 3 4 5 1 2 3 45 Parámetros que no hay que asignar

43 Albacete, 2002 4. Adquisición del conocimiento (IV) 4) Modelos causales. Formas prototipo de agregación de probabilidades. Puerta-OR y Puerta-OR graduada (Pearl, 1988; Henrion, 1989; Díez, 1993; Pradhan et al., 1994) C1C1 C2C2 CkCk X C: configuración de valores para todas las causas Condiciones de la OR-graduada: a) En ausencia de causa no hay efecto b) Causas actuando independientemente c) grado de X es el máximo de los grados producidos por las causas actuando de forma independiente

44 Albacete, 2002 4. Adquisición del conocimiento (IV) Probabilidades: 13521 parámetros Formas de obtención: - historias clínicas y bibliografía médica (sólo 3.12% del total) - juicios subjetivos (96.88%) El uso de puertas-OR supone un notable ahorro. En las distribuciones en que se usa se necesitaría la especificación de 9216 parámetros. Con este mecanismo basta con 163 (el 1.66 % del total)

45 Albacete, 2002 5.- Implementación de IctNeo PROBLEMAS: A) Representación del conocimiento: gramática y compilador B) Evaluación del modelo: espacio de memoria - tiempo b1) Evaluación cualitativa: heurísticas + genético b2) Evaluación cuantitativa: eliminación de redundancia + restricciones + instanciación + recursividad SOLUCIÓN: C) Arquitectura general del sistema

46 Albacete, 2002 A) Representación del conocimiento: gramática y compilador Diagrama nombre_diagrama { Objeto NodoAzar1 {codigo=1; tipo=VARIABLE; discreta=_SI; valores=(valor 1, valor 2,....., valor n); padres=();/* Nodo sin padres */ probs=(P(1)=0.3, P(2)=0.05,..... P(n)=0.24); }............................................................................... Objeto Decisión1 {codigo=70; tipo=DECISIÓN; valores=(alternativa1, alternativa2); padres=(NodoAzar1, NodoAzar2); } Objeto NodoUtilidad {codigo=71; tipo=UTILIDAD; discreta=_SI; padres=(NodoAzar1, NodoAzar2, Decision1); utilidades=(U(1,1,1)=100,..... U(n,m,2)=34); } 5. Implementación de IctNeo (II)

47 Albacete, 2002 B) Evaluación del modelo: espacio de memoria necesario para evaluar el modelo y almacenar los resultados b1) Evaluación cualitativa: heurísticas + genético b2) Evaluación cuantitativa: eliminación de redundancia + restricciones + instanciación + recursividad b1) Evaluación cualitativa: Sólo se realizan las operaciones de modificación de la estructura del DI (no se actualizan probabilidades ni utilidades). Escaso coste computacional. Permite validar el modelo y estudiar las secuencias de borrado. 5. Implementación de IctNeo (III)

48 Albacete, 2002 Orden de borrado: afecta al coste computacional de la evaluación. Problema NP-completo. Heurísticas: Kong, 1986; Ezawa, 1986, etc. No dan resultados aceptables en problemas de gran tamaño o son de difícil aplicación. Alternativas: intento de búsqueda exhaustiva y algoritmo genético DI Original (DI 1 ) DI 12 DI 11 op 11 op 12 op 13 DI 112 DI 113 =DI 121 op 111 DI 122 op 121 op 122 Ya que DI 113 = DI 121 selecc. orden (op 11 -op 113 ) o (op 12 -op 121 ) con necesidades de almac. mínimas Op: operación Secuencia óptima de operación Operación descartada Operación seleccionada op 112 op 113 necesarios criterios de poda 5. Implementación de IctNeo (IV)

49 Albacete, 2002 Algoritmo genético: evidencia empírica sobre obtención de soluciones aceptables en tiempos razonables (Mitchell, 1998) Individuo: cada secuencia de operaciones para evaluar el DI Operadores específicos de cruce y mutación Dependencias entre los nodos. Individuos que implican evaluación con menor coste computacional tienen más probabilidad de propagar sus genes Mejora la solución aportada por las heurísticas y permite obtener secuencias válidas para problemas de gran tamaño 5. Implementación de IctNeo (V)

50 Albacete, 2002 b2) Evaluación cuantitativa: Realiza cambios estructurales y cuantitativos, actualizando valores de probabilidades y utilidades. Gran coste computacional. Como resultado proporciona las políticas óptimas a) Eliminación de redundancia (Fagiuoli y Zaffalon, 1998) 5. Implementación de IctNeo (VI) D1D1 D2D2 DkDk D1D1 D2D2 DkDk DkDk

51 Albacete, 2002 b) Restricciones: Dado un valor de un nodo X el nodo Y sólo puede tomar ciertos valores. La restricción origina una matriz de restricciones MR(X,Y). Y 1 Y 2....... Y n ------------------------------------------- X 1 1 0....... 0 X 2 1 1....... 0.......................................................... X m 0 1....... 1 Restricciones +, -, * La existencia de restricciones simplifica la evaluación 5. Implementación de IctNeo (VII)

52 Albacete, 2002 c) Instanciación: Reducir el tamaño del problema reduciendo la incertidumbre (Ezawa, 1998) x1x1 x2x2 x3x3 e1e1 e2e2 e3e3 0.2 0.7 0.1 0.4 0.5 0.3 0.1 0.6 X = x 1 x1x1 x2x2 x3x3 a1a1 a2a2 a3a3 0.1 0.9 0 0.2 0.6 0.8 0.1 P(A|X) A X = x 1 F G E B A F G E B P(E|X) Incorporación de evidencia sobre X (X = x1) 5. Implementación de IctNeo (IIX) Descomposición del problema original en subproblemas

53 Albacete, 2002 e) Recursividad: tiempo de cálculo por espacio de almacenamiento - DTer, DHBRb  fu(Dter,DHBrb) (+) - DTer  P(DTer|DTer1,DTer2) - DTer1, DTer2, DHBRb  fu(DTer1,DTer2,DHBrb) (-) - DTer 1  P(DTer1|Terapia1) - DTer2, DHBrb, Terapia1  fu(DTer2, DHBrb, Terapia1) (-) DHBrb  P(DHBrb| DHBrb1, DHBrb2) - DTer2, DHBrb1, DHBrb2, Terapia1  fu(DTer2, DHBrb1, DHBrb2, Terapia1) (-) DHBrb1  P(DHBrb1| CBrb1, EH1) -DTer2, DHBrb2, Terapia1, CBrb1, EH1  fu(DTer2, DHBrb2, Terapia1, CBrb1, EH1) (-) DHBrb2  P(DHBrb2| CBrb2, EH2) 5. Implementación de IctNeo (IX) Operación a realizar

54 Albacete, 2002 Evaluador Compilador Fichero de sintaxis Eliminación de redundancia Solución con mínimo requerimiento de espacio de memoria Interfaz de usuario: sistema de consulta y explicación Datos clínicos considerados Criterios de explicación Código Objeto Evaluación cualitativa: genético Evaluación cuantitativa: restricciones, recursividad, instanciación, KBM2L Base de conocimiento Nombre: Edad: Peso............................. CHgb1: CHgb2: CHgb3............................. Ayuda de IctNeo Historias clínicas 5. Implementación de IctNeo (X) C) Arquitectura general del sistema

55 Albacete, 2002 6.- Resultados Tablas de decisión de enorme tamaño: orden de 10 17 valores para la mayor de ellas. Condición de no olvido: alternativa LIMIDS (condición rechazada en el caso médico) Para poder evaluar se necesitan todas las técnicas vistas: - búsqueda orden de borrado - eliminación de redundancia - restricciones - recursividad - instanciación integración con KBM2L

56 Albacete, 2002 Instanciación: selección de variables a instanciar. 18 representando los datos administrativos que siempre van a estar disponibles. Con sus dominios, representa resolver 42.467.328 modelos simplificados. Simplificación: raza de la madre, niños nacidos a término, test exactos Al final se necesitan resolver 165.888 instancias. Las tablas generadas en cada evaluación contienen 3,13*10 7 valores. Tiempo total de computación (usando 4 máquinas) ~ 5000 horas Tablas resumidas mediante KBM2L: permiten evaluar el problema completo de forma incremental, ahorra espacio de almacenamiento y sirve como forma de explicación. 6. Resultados (II)

57 Albacete, 2002 a) Situación clara de no ingreso. - Concentraciones (nivel no patológico) b) Situación dudosa de ingreso. - Concentraciones: valores algo elevados - Buen estado del paciente: tests Coombs negativos, buen valor test de Apgar, no asfixia perinatal - Coste social, coste emocional, riesgo ingreso c) Ingreso + observación - Concentraciones (niveles patológicos) - Coloración amarillenta apreciable - Buen estado del paciente d) Ingreso + fototerapia - Concentraciones - mal estado del paciente - presencia de isoinmunización 6. Resultados (III) Ejemplo de perfil

58 Albacete, 2002 6. Resultados (IV)

59 Albacete, 2002 Validación: durante la construcción del modelo y con un modelo estable ya disponible. - Construcción del modelo: evaluación cualitativa - Modelo estable: análisis de sensibilidad Diagramas tornado EVPI sobre diagrama reducido - simulación Montecarlo variando valores de los parámetros considerados (de acuerdo a ciertas distribuciones) - elevado coste computacional - considera cambios en utilidades esperadas y políticas Conclusiones: gran interrelación entre parámetros considerados. Confirmar la presencia o ausencia de variables con listas KBM2L (pirámide) 6. Resultados (V)

60 Albacete, 2002 7.- Conclusiones y líneas futuras A) CONCLUSIONES - Desarrollo de SAD algo muy complejo - Necesidad de aprovechar todo el conocimiento - Gran esfuerzo para modelizar las preferencias y creencias pero muy útil - Aplicabilidad real de DI y técnicas del AD en problemas complejos - Evaluación muy costosa: tiempo y espacio - Desarrollo de herramientas útiles y reutilizables - Resultados validados mediante perfiles de tratamiento - Variables relevantes más allá de las inicialmente usadas

61 Albacete, 2002 B) LÍNEAS FUTURAS - Uso de imprecisión en probabilidades - Adaptabilidad de las preferencias - Mejorar mecanismos de búsqueda de secuencias de borrado - Posible manejo de potenciales para facilitar la evaluación - Aproximación de matrices dispersas - Evaluación mediante técnicas de simulación - Mecanismo de explicación - Mecanismo de aprendizaje - Arquitectura paralela de evaluación 7. Conclusiones y líneas futuras (II)